用本地模型跑 Agent(Ollama)
Agent 不一定要用云模型。
用 Ollama 在本地跑,好处:
- 免费、离线、数据不出场(隐私);
- 可以接你的边缘设备(Jetson 上也能跑小模型)。
做法:主流 Agent 框架都支持 Ollama 统一接口,把 base_url 指到本地即可。
注意:小模型的工具调用能力弱。 → 先用能力强的模型把循环跑通,再换小模型做优化。
一句话:
先跑通,再跑小。
Agent 不一定要用云模型。
用 Ollama 在本地跑,好处:
做法:主流 Agent 框架都支持 Ollama 统一接口,把 base_url 指到本地即可。
注意:小模型的工具调用能力弱。 → 先用能力强的模型把循环跑通,再换小模型做优化。
一句话:
先跑通,再跑小。
评论 0
还没有评论,来抢沙发~
登录 登录后即可参与评论