说一个反常识的真相，Agent如今在真实工作场景的成功率依然很低。

上周一，我发了自己做的AIHOT大模型排行榜。 有很多朋友感兴趣，在文章下面评论，最高赞的一条，是在问能不能有个分类测评，能够评估不同模型做不同任务的表现。 讲道理，这其实一直是我想做的，也是我觉得特别特别核心的痛点。 现在的大模型榜单很多，比如LiveBench、DeepSWE之类的，可以很快知道哪个模型在某一个能力维度上更强，像Coding、数学、浏览器操作等等。 但是有一类评测集，其实是最稀缺的。 就是模型在真实工作中的实际完成效果。 比如金融领域、法律领域、电商领域、生活领域等等等等，就是直接给它一份真实工作，让它自己从头干到尾，最终看工作效果，而这些，我觉得其实才更符合真实用户的日常工作和生活，也对大家更有用。 所以，在分类上，我一直想把这些场景给补上，把这个排行榜的维度，变得更加丰富和多维化。 于是，这个周末，我几乎把所有的评测集都翻了一遍，不翻不知道，一翻才吓一跳，这块的评测集，真的少的太可怜的，真的可以用寥寥无几来形容。 而且绝大多数的模型的跑分，在这些真实场景下任务的成功率，也是真的低的可怜，跟大家在Coding领域的体感完全不一样。 我用一个周末我翻到的比较成熟的电商评测的评测集来举例子，正好也是上周开源的，比较新，一些最新的模型也都有。 这个评测集叫RealReplicaBench，团队来自阿里国际站，因为他们就是做外贸的，所以内部的数据我觉得还是比较权威的，从这个案例，也可以看看Agent在真实的电商场景下能完成什么样子。 Github地址：https://github.com/Accio-org/RealReplicaBench 这套评测一共有107个任务，阿里国际站因为直接做了Accio Work这个电商Agent，然后他们就从大概过去160万条完整对话中整理出20万条工作流，再归纳出约2000条商业价值高的，最后按照可复现性和结果可判定性，最终整理出来107个任务。 基本把电商领域涉及到的工作场景都覆盖了，像供应商采购、商品发布、店铺经营、订单对账、国际物流、售后争议等等等等。 任务具体内容的分布我让GPT做了张图，方便大家更直观的看一下。 每一个，都是真实世界里面的电商任务。 简单看几个例子的案例，大家就知道大概都是什么样的任务了。 比如，有一个任务是让模型在店铺上上线一款定制瑜伽垫。 模型拿到的信息有发品计划、三家供应商的报价和一堆实拍图片。 然后呢，它要找出计划指定的供应商，填好类目、销售国家、差异定价和描述，再从一堆相机自动编号的照片里挑出正确、清晰的商品图上传。 还有一个，是给东莞到达拉斯的消费级电子产品规划运输路线。 在30天的运输时间的限制下，模型需要计算保险、清关、海关担保和平台费，找出总成本最低的路线，再在仿真的货代平台里完成海运段订舱和货件验证。 还有处理电商退货争议。 这个任务里面模型需要把订单记录、物流扫描、仓库质检、客户对话、现场照片、平台政策和截止时间全对起来，然后逐单决定接受退货、部分退款、全额退款、向平台申诉，还是继续补充证据。 甚至还有跨平台月度对账。 它要把天猫、京东、拼多多三套格式不同的原始订单清洗到一张表里，统一SKU和订单状态，核对发货与结算差异，再算出每个SKU在各个平台的收入、成本、佣金和利润，最后把这些信息按照指定格式进行交付。 从这几个例子就能看到，这基本都是现实世界的电商交易的真实任务，商品上架、物流规划，到售后和经营分析，基本全都有，而且讲道理，这些任务看着就是脏活累活，理论上都应该交给Agent干对吧。 然后呢，我们来看看，现在在Coding上感觉已经大杀四方，感觉什么都能干出来的这些牛逼模型，在这个真实任务场景上的成功率有多少。 这些模型，是在PI这个开源Harness框架下跑的，所以准确性我觉得没啥问题。 百分制下，只有排名第一的Claude Opus 5刚刚过了及格线。 107个任务，它完成了65个，通过率60.75%。 Qwen 3.8 Max和DeepSeek V4 Pro以49.53%的通过率并列第三。 也就是说，现在大部分模型的任务通过率甚至连50%都过不去，107个任务，你让AI去做，有一半是全失败的。 这就是现在的模型，在真实世界工作中，非常真实的现状。 我也详细看了看他们是怎么去衡量模型到底完没完成，以及给不给分的，看完以后，我感觉比我想象的还要复杂一些。 我随机挑一道供应商采购题，来给大家看看评测过程。 比如这个题，任务的主角Dana是一名采购经理。 她离开几天后回来，邮箱里已经堆了大约300封邮件。 但是呢，她有一个铝合金笔记本支架项目，必须在当天完成推进。 模型需要从这些邮件里还原项目相关的需求、最新的规格和数量，从20家供应商里找出真正合格、单件落地成本最低的一家。 选好供应商以后，它还需要进行一系列的规范化操作，