← 全部文章

用本地模型跑 Agent(Ollama)

Agent 不一定要用云模型。

用 Ollama 在本地跑,好处:

  • 免费、离线、数据不出场(隐私);
  • 可以接你的边缘设备(Jetson 上也能跑小模型)。

做法:主流 Agent 框架都支持 Ollama 统一接口,把 base_url 指到本地即可。

注意:小模型的工具调用能力弱。 → 先用能力强的模型把循环跑通,再换小模型做优化。

一句话:

先跑通,再跑小。

评论 0

还没有评论,来抢沙发~

登录 登录后即可参与评论