工具结果太大,别直接回喂给模型
Agent 最隐蔽的性能杀手:工具返回一大堆日志/文件,你原样塞回上下文——token 爆炸、变慢、模型还被淹死。真正的修法在『工具』这一侧:把取数口当打印口,就等着爆。
共 2 篇
Agent 最隐蔽的性能杀手:工具返回一大堆日志/文件,你原样塞回上下文——token 爆炸、变慢、模型还被淹死。真正的修法在『工具』这一侧:把取数口当打印口,就等着爆。
Agent 跑着跑着,messages 数组越滚越大:token 暴涨、变慢,最后直接撑爆上下文窗口。这不是小问题,是生产级 Agent 的头号工程问题。6 个解法 + 可跑代码。
用 RSS 阅读器订阅,有新文章会自动出现。
嵌入式 / 边缘 AI / AI Agent 的定制、开发与咨询。