AI Agent 监控平台怎么选：一个决策框架
对比 7 款 AI Agent 监控平台的真实价格、能否自托管、是否支持 OpenTelemetry，用 3 个问题帮你判断到底该选哪一个。
目录
我手上跑着好几条自动化 agent 流水线，负责在十几个站点上无人值守地发布和调整内容。第一次某个 agent 在凌晨三点悄悄开始输出格式错乱的内容，还连续跑了六个小时才有人发现，我就没再靠手动翻日志了，而是去找一个真正能用的 AI agent 监控平台。市面上大多数横评都是罗列功能清单。这篇文章反过来，先帮你回答三个真正决定选型的问题，再给出具体价格，最后说清楚每家产品实际会踩的坑。
先回答三个问题
不用逐个功能滚动对比，按顺序回答下面三个问题，基本就能锁定 1-2 个现实的候选项。
问题一：团队能自己维护基础设施，还是必须零运维？
如果团队里有人能负责一个 Postgres 实例加一份 Docker Compose 配置，自托管在流量爬升到几十万 trace 之后能省下 70%-90% 的费用。如果没人有精力去照看升级维护，就直接选纯 SaaS 方案，接受按 trace 计费。
- 能自己扛基础设施 → 看问题二，优先考虑 Langfuse（自托管）或 Arize Phoenix
- 需要零运维 → 看问题二，优先考虑 LangSmith、Braintrust 或 Helicone Cloud
问题二：团队是不是已经深度绑定某个框架，比如 LangChain？
如果你的 agent 是用 LangChain 或 LangGraph 搭的，LangSmith 的 tracing 只需要几行配置，是这份清单里集成最顺滑的。如果你的技术栈是框架无关的，比如用 CrewAI、自研 loop，或者直接调 OpenAI SDK，选一个原生支持 OpenTelemetry 的工具能避免以后重写埋点代码。
- 深度绑定 LangChain → LangSmith 这个"锁定"是值得的
- 框架无关或以后可能换栈 → 看问题三
问题三：需要靠评估分数来拦截上线，还是只想看清生产环境里发生了什么？
如果你希望人工或 LLM 评审的分数能直接拦住一个不合格的 prompt 版本上线，你需要的是一个真正有"评估-拦截"工作流的平台，而不只是仪表盘。如果你主要是想事后看清 trace、成本和延迟，一个更轻量的追踪工具会更便宜、上手更快。
- 需要评估拦截上线 → Braintrust 或 LangSmith
- 只需要看清已经发生的事 → Langfuse、Phoenix 或 Helicone
自托管 vs SaaS：对比表里不会告诉你的取舍
几乎每篇横评都会列一栏"能否自托管：是/否"。但这不是一道勾选题，而是一个真实的取舍，而且会随着用量变化而反转。
成本曲线在规模变大后会反转。 在低用量（每月 5 万 trace 以内）时，SaaS 的免费额度基本够用，自托管反而是纯负担：你在为几乎没有的数据维护一个数据库。可一旦月用量涨到几十万 trace，账就完全算不过来了。我查到的一份成本拆解显示，Langfuse Cloud 在月 100 万 trace 时大约要 919 美元/月，而同一套工具自托管的基础设施成本大约只要 150 美元/月，差了 6 倍。
自托管也意味着你要自己承担故障风险。 如果自己维护的 Postgres 实例挂了，监控数据恰好也会在系统可能出问题的那一刻停止流入。我在另一个项目上遇到过自建数据库宕机的情况，体验很糟。SaaS 平台帮你承担了这部分风险，代价是价格。
数据归属地是横评表格里从来不提的一点。 如果你的 agent 会接触用户 PII、医疗数据，或任何有严格留存规则的数据，把每一条 prompt 和回复都路由到第三方云上，这是一个需要在注册前谈清楚的合规问题，而不是事后补救。自托管的 Langfuse 或 Phoenix 能把 trace 数据留在自己的基础设施里，直接绕开这个问题。
各平台真实价格对比
这个领域价格变化很快，以下数字作为起点参考，正式做预算前请核实最新报价。下表数字为 2026 年年中各家官方公布的信息。
| 平台 | 起步价格 | 是否可自托管 | OpenTelemetry 支持 | 计费模式 |
|---|---|---|---|---|
| LangSmith | 39 美元/席位/月 + 每 1000 条基础 trace 0.5 美元 | 否（仅 SaaS） | 部分支持，在 LangChain 原生集成下最强 | 席位 + 用量 |
| Langfuse | 每月 5 万单位免费，之后 Core 29 美元/月，Pro 199 美元/月 | 是，MIT 协议，自托管与云版功能对等 | 是 | 按用量计费，自托管仅需承担基础设施成本 |
| Arize Phoenix | 免费（开源） | 是，Elastic License 2.0 | 是，基于 OpenInference/OTel 构建 | Arize AX（托管版）需定制报价 |
| Helicone | 每月 1 万请求免费，Pro 79 美元/月，Team 799 美元/月（含 SOC 2、HIPAA） | 是，Apache 2.0 | 有限，偏代理式日志而非完整分布式追踪 | 按请求计费 |
| Traceloop（OpenLLMetry） | SDK 免费，托管仪表盘价格需咨询 | 是，SDK 开源 | 是，从一开始就是 OTel 优先、厂商中立设计 | 托管版定制报价 |
| Braintrust | Pro 249 美元/月 | 未公布自托管方案 | 是，接受 OTel span，支持 28+ 框架 SDK | 席位 + 用量，本清单中入门价最高 |
| Portkey | Beta 免费方案，含 1GB 数据处理 + 1 万次评估分数 | 否（网关 + SaaS） | 是，可与应用层遥测数据关联 | 按用量计费，绑定网关使用 |
按团队阶段，我会怎么选
个人开发者或副业项目。 用现成的 VPS 自托管 Arize Phoenix。它免费，OTel 埋点意味着以后规模变大也不用重写代码，而且你暂时也不需要多复杂的告警能力，因为看仪表盘的就是你自己。
已经融资、且已经深度使用 LangChain 的小团队。 选 LangSmith。我通常会反对厂商锁定，但如果整个技术栈从头到尾都是 LangChain，为了省监控的钱去对抗这种集成是不划算的，以后换框架的成本会远超省下来的监控费用。
框架无关或预计以后会换技术栈的团队。 选 Langfuse。免费额度足够验证效果，而且自托管版本和付费云版功能完全对等，这一点其实比听起来更少见：大多数"开源"工具会把功能留在付费版里，Langfuse 没有这么做。
每周都在调整 agent 行为、又怕出回归问题的团队。 选 Braintrust。评估拦截上线的工作流是这个产品的核心卖点，不是附加功能，跟一个坏的 prompt 版本悄悄上线相比，249 美元/月并不贵。
受监管行业，每条 trace 都含 PII。 直接选自托管的 Langfuse 或 Phoenix，没有商量余地。任何纯 SaaS 方案都意味着你得先谈数据处理协议，这不是这个季度想处理的事。这也和我在另一篇关于生产环境 AI Agent 治理的实战笔记里讲的权限控制、输出校验相辅相成：监控让你看清发生了什么，治理决定一开始允许发生什么。
每个平台的真实短板
这里没有一个平台是完美的。以下是我希望厂商能主动承认、但大多数横评都会略过的短板：
- LangSmith 的费用增长方式会让只在低流量原型上测试过的人感到意外。每 1000 条基础 trace 0.5 美元，一旦 agent 开始循环调用就会迅速累积，而循环恰恰是你最想监控到的失败模式。
- Langfuse 的自托管确实免费，但"免费"意味着你要自己负责 Postgres 和 ClickHouse 的容量规划，这是一份真实的运维工作，不是勾一个选项那么简单。
- Arize Phoenix 的开源版在追踪和调试上很出色，但生产环境的告警能力和 on-call 集成明显比付费平台单薄。如果需要 PagerDuty 式的升级通知，基本要自己搭。
- Helicone 的代理架构意味着除非自托管，所有 LLM 调用都要经过它的基础设施，这会多一跳延迟和一个依赖点，大多数团队要等到出故障时才会意识到这一点。
- Traceloop 的托管版定价我没能在任何地方找到公开信息，意味着不咨询销售就不知道预不预算得起。至少开源 SDK 是免费的，不用找任何人就能直接用。
- Braintrust 没有公布自托管方案，所以需要数据留在本地的受监管团队，无论预算多少都直接被排除在外。
- Portkey 首先是一个网关，其次才是可观测性工具。如果你不希望 LLM 流量被第三方代理，它自己的免费额度并不能改变这个架构事实。
我是怎么评估这些平台的
我查阅了各平台自己的定价页面和最新文档，在厂商自身数字模糊的地方（这对 Traceloop 和 Portkey 尤其明显，它们的托管定价确实没有公开）交叉核对了独立的成本拆解文章，并根据平台是原生接收标准 OTel span 还是要求专有 SDK 来判断 OpenTelemetry 支持的权重。自托管状态是对照各项目公开的开源协议（MIT、Apache 2.0、Elastic License 2.0 或闭源）核实的，而不是看营销文案。这份清单没有纳入 Datadog、Honeycomb 这类通用 APM 工具，尽管上面几个平台大多都能把数据转发进去，因为这里要回答的问题本来就是 AI agent 原生的监控该怎么选，而不是通用基础设施可观测性。
如果你已经明确知道自己用的是哪个技术栈，我们的 AI agent 可观测性平台筛选工具 可以直接按你的具体框架（LangChain、LlamaIndex、CrewAI 等）筛选这些平台，不用再看一遍决策树。
常见问题
什么是 AI agent 监控平台？
它是一种用来捕获自主 AI agent 实际行为的工具：调用了哪些工具、经过了哪些 prompt 和回复、每一步花了多长时间、花费是多少。和通用 APM 工具不同，这类平台理解 token 用量、prompt 版本、多步 agent 循环这些 LLM 特有的概念。
我一定需要专门的监控平台吗，直接写日志到文件行不行？
日志文件在 agent 每天只跑几次的时候够用，但一旦每天跑到几百次，从一堆日志里找出那次出问题的运行就会很费时间。如果你每天运行的 agent 执行次数已经不少，专门的监控平台第一次帮你揪出静默故障时就已经回本了。
自托管 AI agent 监控真的免费吗？
软件本身的开源协议（MIT、Apache 2.0）确实免费，但你仍然要为服务器、数据库和维护时间付费。在有一定量级的 trace 规模下，这通常比 SaaS 便宜，但不是零成本。
哪个平台的 OpenTelemetry 支持做得最好？
Traceloop 的 OpenLLMetry 从设计之初就是 OTel 优先，是这里最厂商中立的选项。Langfuse 和 Arize Phoenix 也都原生支持 OTel。LangSmith 的 OTel 支持相对有限，在 LangChain 生态内表现最好。
以后换监控平台，需要重新埋点吗？
如果从第一天就用 OpenTelemetry 埋点（通过 Traceloop 的 SDK，或任何 OTel 原生工具），那不需要，因为 trace 格式是一个可移植的标准。如果一开始就用某个厂商的专有 SDK 埋点，换平台时大概率要重新做这部分工作。
为什么这篇对比没有给出一个唯一的"最佳选择"？
因为"最佳"完全取决于你的具体约束：预算、能不能自己维护基础设施、用的是哪个框架、合规规则对数据存放地点有没有硬性要求。一个独立开发者和一个受监管的金融科技团队不应该选到同一个平台，任何直接甩给你一个"最佳"答案的文章，其实是跳过了这部分最重要的判断。
关于作者： Jim Liu 是一名常驻悉尼的全栈开发者，负责搭建和运营 OpenAIToolsHub 站群背后的自动化内容与 SEO 流水线。他从 2024 年起就在生产环境里跑 AI agent 循环，专注写那些真正经得住真实流量考验的工具。