10月15日,可解释性AI初创公司 Goodfire 的研究员 Nick Cammarata 发了一篇研究长文:在开源模型 Qwen3-32B 里,约90%的神经元只负责一个主要职能。过去几年,行业默认大模型内部是一团乱麻,一个神经元同时负责好几件不相干的事,人类很难逐个看懂。2023年按最宽松的标准,能看懂的神经元只有约1.7%。也就是说,我们无法解释大模型这个黑箱。
同月,IT 监控巨头 Dynatrace 用9.15亿美元买下 AI 可观测性(observability)公司 Arize,交易在10月1日正式交割。
一边是实验室里正在推进的读懂神经元的技术,一边是二级市场真金白银的并购。把这两件事连起来看,水面下的变化不是技术突破本身,而是一个生意变化的成本结构,而这是我最感兴趣的。
读懂模型如果真的变便宜,下降的是信任的边际成本。
什么是信任的边际成本?企业每把一个大模型放进真实业务流,就要多做一次验证:搞清楚它为什么给出这个结果,在什么边界下会胡扯,出了事故谁来兜底。过去模型内部读不懂,这笔钱只能花在外围的人工抽检、红队测试和出事之后的赔偿上,每次验证都是昂贵的手工活。一旦模型内部特征能被工具批量读出来,验证就能变成流水线:向上生成合规审计底稿,向下写进保险公司的核保模型,最后通过云和监控底座按调用量计费。一条围绕黑箱的信任栈正在被重新定价。
一、技术还在吵,钱已经进场了
今年一开年,验证 AI 这门生意的价码就开始跳涨。
2月,Goodfire 完成1.5亿美元 B 轮融资,投后估值12.5亿美元。据追踪机构估算,它的年度经常性收入在1000万美元左右,这一数字未经公司公开确认。一家专门拆解模型内部特征的初创公司,在一级市场拿到了独角兽身价。
并购市场的出手更重。8月 Dynatrace 宣布以9.15亿美元收购 Arize,10月1日交割;更早一些,算力云厂商 CoreWeave 用17亿美元买下模型训练管理平台 Weights & Biases;1月,做模型监控的 Fiddler 完成3000万美元 C 轮融资。这些公司切入的位置并不一样:Goodfire 读神经元,Arize 看线上模型的输出、延迟和成本,W&B 管训练过程。但买单的人都在押注同一件事:模型越进核心业务,花在验证和看管上的预算就越多。
第三方评测的账单更直白。独立评测机构 METR 在六个月内拿到了约7100万美元的资金承诺,而它2024年全年的收入只有1360万美元。资金体量翻了五倍多,全职团队却还不到50人。另一家做模型欺骗行为评测的机构 Apollo,年度预算约500万美元。钱在涌进来,但能出权威评测报告的机构极度不够用。
催着买方掏钱的还有监管的倒计时。欧盟的 AI 数字综合法案(Digital Omnibus on AI)在今年7月27日生效。虽然其附件三的高风险义务推迟到了2027年12月2日,附件一推迟到2028年8月2日,但第50条(Art.50)的透明度义务在今年8月2日已经开始适用。
翻译一下:合规要求没有取消,只是把最重的罚单推后了十四个月。企业必须在未来14个月内备好可交差的证明文件。
学者还在争论是不是可以真正读懂神经元的时候,资本、企业和监管可没有等。这些账单背后都是真金白银。
二、围绕黑箱的四层生意
当验证 AI 从人的手艺往工业流水线走,围绕黑箱的生意会自然分层。我把这个信任栈拆成从下到上的四层:读模型,出证明,做承保,建分发。每一层的输出,都是下一层的输入;但每一层分到的定价权,方向截然不同。
读模型:技术门槛在降,越往后越便宜
Cammarata 这次没有发明全新算法,而是放弃了前两年流行的复杂外挂拆解,回到直接看神经元本身:靠更好的工具、更大的模型,再让智能体去批量跑假设检验和贴标签。这是苦涩教训(bitter lesson)在可解释性上的版本:用规模化的算力,打败人类。Cammarata 在原文自述,这只是工作假设,90%这个比例对设定阈值很敏感,阈值收紧会低不少,而且跨了模型和评测标准,不能和2023年的1.7%直接相减。但哪怕做个减半测试,也比三年前高出一个数量级。如果靠堆算力和 agent 就能批量读出神经元功能,读懂模型就会从少数研究员的手艺,变成按次调用的标准服务。按次收费的底层能力,长期价格会向下。
出证明:买方要的是合规底稿,物以稀为贵
读模型层跑出几万个神经元标签,企业高管和监管机构是看不懂的。董事会要知道的是这个模型放进真实业务场景里会不会骗人,怎么证明。监管要的是归档文件,采购要的是可重复的审计流程。欧盟第50条透明度义务已经落地,十四个月后高风险条款生效,谁来把底层的技术分析翻译成监管认账的合规底稿?目前这一层的供给卡在瓶颈上:METR 全职不到50人,Apollo 预算约500万美元。工具可以靠算力扩产,但第三方签字背书的公信力扩产极慢。供给稀缺,买方又顶着十四个月的合规死线,所以定价权握在证明方手里。
做承保:风险进保单,核保人说了算
有了证明层的评估底稿,风险才能被精算,保险资金才敢进场。今年1月,Armilla 拿到劳合社(Lloyd's)支持的2500万美元责任险限额,还和保险机构 Chaucer 推出了专门针对 AI 的责任险产品 Vanguard AI,额度为公司披露口径。Deloitte 估计,全球 AI 保险保费到2032年将达到约47亿至48亿美元,年复合增速约80%。这一层最关键的变化是定义权的转移。立法者写监管细则往往慢半拍,但核保人为了算清免赔额和费率,每天都在定义什么算可解释、什么算尽到审查义务。保单条款会先于监管细则变成事实标准,最后拍板标准的人不是学者,是核保人。
建分发:大厂收编单点工具,按流量收钱
不管是读模型的工具、证明层的评测流程,还是承保层要求的监控指标,最终都要跑在企业的日常生产环境里。Dynatrace 用9.15亿美元买 Arize,CoreWeave 用17亿美元买 W&B,背后是同一个逻辑:企业不想为了延迟监控、成本统计、幻觉排查和合规留痕分别买五个单点工具,它们希望在同一套基础设施栈里一次结清。单点工具被底座收编,收费口留在栈上。分发层不直接生产信任,它把前三层的能力打包进基础设施,按调用量收信任的钱。
把这四层合在一起看,第一层在商品化,后三层在合规化与金融化。商品化的东西价格向下,金融化的东西价格向上。重新定价的方向,是从第一层流向后面三层。
三、两个绕不开的质疑
这套4层推演要成立,前提是底层读模型的能力确实能往商业验证传导。在这里,技术和商业两边都有重量级反方。
技术上的最强反方,是 Google DeepMind 机制可解释性(mechanistic interpretability)团队负责人 Neel Nanda。他对 Cammarata 长文的评价是:有意思,但不是突破。理由有三条:第一,叠加(superposition)在他看来仍然真实,语言模型存的事实远多于神经元数量,弱激活里可能藏着大量关键信息,只看强激活主职不够;第二,小视觉模型上的干净结论未必能迁移到语言模型;第三,单义性的定义放得太松。因为投入产出比受限,他的团队已经把稀疏自编码器(sparse autoencoder)的优先级降了。科技媒体 The Decoder 也点出一层利益关系:Goodfire 本身是商业可解释性公司,Cammarata 在那里工作,且配套技术论文还没发布,引用他的数据时得带上这层身份。
商业上的最强反方,则指出了并购逻辑里的断层。Dynatrace 买的 Arize 做的是外部可观测性,看的是延迟、成本、幻觉率和调用链;Cammarata 做的是内部机制可解释性,看的是神经元。两者不是一回事。拿外部监控公司的并购,来证明内部读模型层被重新定价,中间少了一环:买方开始把可解释当成可观测的一个子项来采购。这个假设目前还没有公开采购证据。
我来回应这两重质疑:它们都切中了要害,但也恰好划出了信任栈演进的真实边界。
先看技术质疑。学术界追求的是完整还原模型的因果机制,只要弱激活里还有遗漏,Nanda 就不能承认突破。但商业世界的证明层和承保层,从来不等科学达到完美才开工。核保人和合规官要的不是完全解开黑箱,而是一套比人工盲测失效率更低、能批量复现的筛查底稿。哪怕这套方法只能看清一部分高危特征,只要能把红队测试的人力成本砍下来,商业传导就够用了。
再看商业质疑。外部可观测和内部可解释今天确实是两本账,因为在试水期,企业看住延迟和报错就能上线。但欧盟高风险义务只剩十四个月倒计时,模型又开始进入高赔付业务流,外部日志只能告诉企业模型出了错,没法向监管和保险公司证明这是偶发噪声还是内部特征缺陷。合规和核保的签字要求,会倒逼外部可观测平台往下补齐内部解释这一环。
四、给创业者的建议
只卖读模型工具,很难单独长大。如果你在做模型解释或安全工具,正撞上两头挤压:往下,读模型能力会靠算力和 agent 走向商品化,单纯卖神经元可视化或特征分析,是在卖一个长期掉价的东西;往上,Dynatrace 买 Arize、CoreWeave 买 W&B 已经说明,独立单点工具大概率会被云和监控底座收编。用读模型能力获客可以,但真正的商业壁垒,在于把底层特征分析直接做成欧盟合规审计或劳合社核保人认可的标准报告格式,或者做成可观测性底座里按量分润的核验插件。
能出证明,才能进大客户的核心系统。很多做企业级 AI 应用和 agent 的团队觉得,可解释性是模型厂商的课题,跟自己无关。但在未来十四个月的合规窗口期里,大企业采购 AI 的卡点正在从好不好用变成能不能过审、能不能买到责任险。谁能先把模型行为日志和特征级风控报告嵌进交付物,帮客户的法务和核保人省掉审查成本,谁就能从外围试点切进金融、医疗等高客单价的核心生产流。客户最终愿意付高溢价的,不是你讲清了模型原理,而是你交出了那份能帮他在董事会和保单上签字的文件。
开放权重的模型,可能会多出一层合规溢价。过去技术负责人选闭源 API 还是开放权重模型,算的只是推理单价和微调手感。推测:如果证明层和承保层开始把内部特征可检查当成准入或保费打折条件,闭源黑箱 API 只能依赖厂商自证,而开放权重模型允许第三方机构直接挂载工具进去查神经元。当能不能查变成采购硬指标,权重开放就会从安全顾虑变成过审卖点。
五、往后12到36个月
未来12到36个月,要盯三个可观测指标。
第一,阅读模型层有没有公开按量计费的可解释性接口定价。一旦出现了,说明读懂黑箱真的从研究手艺变成了商品化服务。
第二,证明层有没有跑出被监管或大型采购方直接引用的第三方评级。类似金融市场的信用评级,一旦进招标文件,说明证据变成了硬资产。
第三,承保层的 AI 责任险有没有走出标准化保单条款。劳合社市场的相关保单从一事一议的定制走向标准模板,并把可解释性检查写进费率条款,是商业闭环跑通的信号。
读懂模型不单是技术,也是生意。关键是看懂这场牌局里真正昂贵东西的位置。有一个问题比技术争论本身更重要:以后,买方真正愿意掏大钱的,究竟是理解模型,还是理解之后那张可以签字的纸?(参考阅读:AI原生公司会长得更像会计师事务所)
说明:本文遵循严格的数据纪律,未采用任何推测值。
红包分享
钱包管理

