小团队分享切换新 LLM 模型的痛点并探索评测工具想法

一个做 AI 产品的小团队发帖讨论每次新模型发布时的两难：新模型可能更便宜更快，但可能破坏原有 prompts、输出异常或影响 tool calls。他们正在探索一款工具，用应用中的真实样例测试新模型，展示哪些变差、哪些改善、是否值得切换，并提到 Promptfoo 和 Langfuse 等现有评测工具，希望确认这是不是其他团队的普遍问题。