公司在研发 AI 功能,面向 AI 编程具有很强的不确定性,为了明确知道哪些步骤会有问题,我们调研了市面上几款主打 LLM 可观测性的产品:
这些产品的主要功能有:
我们最开始使用的是 Braintrust,对于免费账号,它每周有额度限制,很容易就达到限制了,因为不能自主托管,所以我们开始寻找替代产品。 刚巧 Arize 发了一个课程:AI Agents Mastery: From Architecture to Optimization,然后发现它有一款开源产品,叫 Phoenix(没错,跟 Elixir 的 Phoenix 同名,直觉上肯定很牛),可以自主托管,甚至只用 Google Colab 就能直接跑,环境都不用装。我们使用了一段时间,发现 Phoenix 确实不错,麻雀虽小五脏俱全,虽然 UI 是差了一点,但是核心功能一样不少,而且刚拿了融资,release 速度飞快。
最近会陆续把使用 Phoenix 的心得写成博客,这是第一篇:https://blog.leonx.cloud/posts/arize-phoenix-up-and-running/
另外一点关于 Python 的 Tip: