跳到正文
原文
36氪·AI·· 3 小时前AI 评分42

数据达尔文主义,AI时代把数据当活资产经营的方法论

AI的未来,属于什么样的公司?

文章要点
  • 1作者提出数据达尔文主义框架,主张把数据当作可进化的活资产而非静态燃料来经营
  • 2文中引述称2025年中国AI训练数据总量逼近200EB、推理数据量首超训练量,作者认为挖矿式数据驱动已触顶
  • 3作者提出高进化潜力数据需具备可训练、可验证、可关联三特性,专家隐性知识和失败记录是被忽视的富矿
  • 4作者认为传统数仓平台缺乏造血功能,提出产品交互播种、推理轨迹提纯、联邦架构破孤岛三个落地引擎
决策要点

这是一篇观点文章,把AI竞争的数据逻辑从规模开采改写为培育进化,属于作者的原创框架而非实证研究结论。

  • 影响:若认同此思路,评估数据资产的标尺要从存量规模转向可训练、可验证、可关联三特性;产品交互与模型推理日志可成为低成本数据来源;数据跨机构流通仍受合规与隐私边界约束,医疗金融领域尤其明显。
  • 参考:可考虑盘点组织内专家隐性判断和失败记录的存量;值得检查产品交互能否在用户授权下留存带思维链的反馈数据;先算出推理日志筛选提纯的成本收益,再决定是否搭建对应机制。
  • 依据:全文为作者的原创观点框架;200EB训练数据量、公开文本数据2026-2032年耗尽等为作者转述口径,文中未给出处;架构案例以Databricks和科杰科技为代表。
正文

在这个被AI席卷的狂飙时代,你们或许已经对“数据驱动”这个词产生了审美疲劳。

2025年中国AI训练数据总量就已经逼近200EB,推理数据量首超训练量,人们说这是一个危险的信号,认为公开的、易于开采的“数据石油”正在枯竭。 甚至有人预计,2026-2032年,人类公开文本数据可能被消耗殆尽。这意味着,单纯依靠“挖矿”式的数据驱动模式已触碰天花板。

但这又何尝不是机会?

当99%的公司还在为获取更多通用数据“卷”得头破血流时,那1%的顶级公司已经转变方向了。它们不再将数据视为静态的燃料,而是将其看作需要培育的“数字生命体”。

这篇文章,我将系统性地提出 “数据达尔文主义”——一套让你的数据资产像生物体一样,在商业生态中自动觅食、新陈代谢并建立隔离竞争壁垒的生存哲学。

传统“数据驱动”的核心逻辑是“垃圾进,垃圾出”的线性反应。但在大模型时代,这会变成“数据杂质化”的致命内卷,用AI生成的内容训练AI,如同近亲繁殖,导致模型崩溃;盲目追求数据量,导致高质量真实信号淹没在噪音中。

我们需要一场彻底的革命。

何为数据达尔文主义?

我们手里握着海量的数据,但这庞大数字堆砌起来的却往往不是资产,而是坟墓。

你可以去观察,如今绝大多数企业耗费重金搭建的数据平台,本质上就是一个数字化沼泽。各种结构混杂的原始数据被倾倒进去,被贴上标签,归档,然后迅速归于沉寂。

它们无法被代谢,无法在新的业务场景中被重新激活,随着时间的流逝,这些数据的业务含义迅速衰减,只留下不断叠加的存储成本和安全风险。

这不是我们许诺过的数据金矿,这是一个死气沉沉的、无法自我更新的数据坟场。

当所有人都在高喊“数据驱动”时,我们必须知道,如果你拥有的只是一堆不会呼吸、无法进化的数字尸体,那么无论它体积多大,都无法驱动任何东西驶向未来。

那么,真正有价值的东西长什么样?

一个数据单元要具有活性,它首先得具备可训练性,这意味着它必须承载着能够被模型学习并转化为泛化能力的模式,而不是孤立的噪音。

其次,它必须具有可验证性,无论是在现实物理世界中通过最终结果的成败来验证,还是在逻辑空间里通过定理证明来验证,它都应该自带一套真值判断的锚点。

最后也是最关键的一点,它必须具备可关联性,它不能是信息孤岛,它能在特定业务闭环中,与其他数据点发生化学反应,生成新的、更高维度的特征和信号。

具备这三个特性的数据,就不再是被消耗的燃料,而是一个能够不断诱发、生成新数据的高维特征集。

这才是数据资产化的真正内核。

这种力量,在棋类游戏上,最能体现。

比如那个著名的Alpha Zero。

我们没有喂给它任何人类历史上积累的棋谱,没有告诉它什么是定式,什么是骗招。它唯一的养料,就是围棋的基本规则——一口气,一个眼,胜负的计算方式。

从这种看似极度贫瘠的“数据环境”开始,它开始了疯狂的自对弈。

在数以亿计的自我搏杀中,每一步落子与最终的胜负都形成了一个完整的数据细胞:状态、动作、反馈,完整且干净。

它没有消费人类的知识库存,它是在吞噬规则之后,硬生生在自己的计算系统里进化出了一片远超人类千年经验总和的数据雨林,并最终开出了那些人类从未见过的、近乎神迹的战术花朵。

于是,我们知道,真正顶级的智能,其养料可以不是历史回响的化石,而是逻辑与规则衍生出的、自我生成的、充满进化活力的生命组织。

沿着这个思路,我们就能建立一套全新的价值坐标,去筛选和识别那些真正有资格被称为“高进化潜力”的数据。

其一,是异质性壁垒。简单来说,一条数据值不值钱,不取决于它有多么典型,而取决于它有多么罕见,有多么接近事件的边缘。

同样,一次成功的化学合成路径固然重要,但上千次失败的、未被发表的实验记录,那些指出了反应瓶颈和副产物陷阱的负结果数据,对于想要做出真正具备突破能力的AI来说,是一座难以估价的沉默金矿。

数据所揭示的边缘场景越极端,获取它的难度和成本就越高,它所带来的认知壁垒也就越深。

其二,则关乎数据的灵魂,我称之为交互性反馈。

这不再是仅仅追问最终发生了什么,而是要追问这背后是怎么想的。

在商业决策、医疗诊断这类高价值任务中,仅仅记录“做了什么”和“结果如何”是远远不够的。这种单纯的结果数据就像是只记录下了象棋比赛的胜负,却抹去了所有的对局记录,它们是死的。

真正具有进化潜力的数据,是那些附带完整“思维链条”的数据。

当一个顶级分析师判断一家公司的现金流存在重大风险时,他不仅仅是给出了“卖出”这个结论,更重要的是他调取了哪些非标数据,他质疑了报表中哪个看似合理的折旧假设,他又否定了哪些备选方案。

这条做什么、为什么这么做、还考虑过什么但最终放弃了的完整认知轨迹,才是最具价值的活数据。

它让数据具备了可迁移的深度推理价值,而不只是进行肤浅的模式拟合。

当然,还有它的合成增强性。

这里指的是一条原生数据,是否拥有成为“数据合金”母矿的潜力。

主要是看它能否在高阶训练的熔炉中,被提纯和重构成更珍贵的数据形态。

就像我们看到的数学题例子,让模型对一道题生成一百次解答,然后只保留那些能够通过外部真理验证器检验的正确样本。

这个过程,就是将人类贡献的一小块高纯度的矿石,通过模型自身的生成与筛选能力,精炼成一整片逻辑正确但又风格多样的解题轨迹矿脉。

它放大了正确的信号,并刻意在难度更高、分布更稀疏的薄弱环节进行过采样,补齐了真实数据里的结构性缺陷。

这种能够被知识蒸馏、自我对弈和强化学习等技术反复压榨、提纯,最终化为更高维、更强健认知资产的原生数据,才真正配得上“高进化潜力”这个标签,也才是我所说的,构建未来智能商业帝国最核心的砖石。

为何大多公司在进行,“数据杂质化”内卷?

现在越来越多的内容被创造出来的唯一目的,就是迎合大模型的检索和采样偏好,它们充满了精心编排的关键词、被系统性篡改的事实以及为了排名而牺牲真实性的所谓知识。

用这种已经被深度污染的数据去训练下一代的模型,无异于给一个正在长身体的孩子喂食掺杂了工业明胶的营养餐,看似吃得饱,实则从根子里就在败坏其认知能力。

因此,所谓的数据枯竭,在很大程度上是一个关于低质量公开数据的局部真相,但不是整个故事的全貌。

真正的富矿必然在更深、更难触及的地方,且长期处于休眠状态。

比如,我们反复提及却始终未能系统开发的认知资产。

每一个运转多年的组织内部,都沉淀着大量顶尖从业者的隐性知识,这些知识的载体不是文档,不是报表,而是人。

一位资深的设备工程师听到某种异响就能判断出故障点的直觉,一位顶尖投资人扫一眼财报附注中某个不起眼的科目就能嗅出财务造假气息的敏锐,一位外科医生在手术中遇到突发状况时瞬间切换术式的决策逻辑——这些极具价值的认知活动,绝大多数都处于一种“发生即消逝”的状态。

我们记录了最终的故障报告,却没捕捉到报告背后的诊断推理过程;我们记录了投资决策的买卖指令,却丢失了指令下达前在脑海中闪过的那些互相矛盾的假设和最终被否定掉的备选方案。

这些复杂的决策思维轨迹,这些难以言说却又极其精准的隐性直觉,正是当前数据版图上最显眼的盲区。

它们没有被数据化,所以AI也就无从学习,只能在输入和输出的表面关系上做越来越徒劳的模式拟合。

又比如,由无数被废弃的失败记录堆积而成的东西。我们的整个文明体系,从学术发表机制到企业内部考核,都在系统性地奖励成功而惩罚或忽视失败。

然而,对于想要获得真正通用和鲁棒智能的AI系统而言,来自失败案例的负样本信号,其价值丝毫不亚于甚至远高于那些闪闪发光的成功记录。

一个药物分子为什么没能通过临床试验,一种合金配方在哪一组温度和压力参数下发生了意外的脆裂,一次看似完美的营销活动为什么在某个特定区域市场遭遇了滑铁卢——这些被扫进实验室角落、从工业数据库里定期清理掉的残次品参数,恰恰蕴含着对事物边界和规律最深刻的揭示。

成功告诉你这条路能走通,失败才告诉你这条路的边界在哪里,哪些看似稳固的关联会在什么条件下突然崩溃。

目前AI训练所大量依赖的成功叙事,本质上是在学习一种被系统性修剪过的、滤除了所有伤疤和褶皱的光滑镜像,而真实世界恰恰是由这些伤疤和褶皱的纹理来定义的。

如果我们意识到低垂果实的品质正在恶化、深埋的金矿又难以开采,那多数人就会想走捷径,例如用AI自己来生成训练数据。

合成数据的思路本身没有错,问题出在实施方式上。

当人们开始不加节制地使用现有的大模型批量生成训练语料,再将这批语料喂给新的模型时,一场隐秘而危险的近亲繁殖就已经开始了。

这就像为了扩大一个种群的规模,不断让基因库高度雷同的个体进行交配。

短期内,种群数量的确会膨胀,数据集的体表规模会变得极其庞大;但在这个过程中,每一次的生成和筛选都是在向数据分布的均值回归,那些原本就稀缺的长尾边缘案例被无情地抹平,那些罕见的异常模式被当作噪音填平。

几代迭代下来,模型会丧失处理复杂意外和边缘场景的能力,输出的多样性枯竭,最终陷入一种不可逆的模型崩溃——它不再能反映真实世界的复杂纹理,而只能反映它自己那个日益狭窄的训练分布。

突破这一困境的出路,并不在于完全抛弃合成数据,而在于为这个自我循环的系统强行注入来自外部世界的纠偏信号。

这个信号,必须是独立于模型自身、扎根于客观逻辑或物理规律的验证力量。

在一道数学题上,正确答案就是那个铁面无私的外部验证器,无论模型自我生成多少次回答,只有那些通过了答案检验的推理链条才被允许进入下一轮训练的语料库。

在更复杂的开放环境中,物理世界本身就是最终的审判官。这正是强化学习和高保真仿真技术进入舞台中央的时刻。

让一个自动驾驶的决策模型在仿真器里经历无数次连人类都想象不出的极端危险场景,并根据每一次是安全通过还是发生碰撞的物理反馈来修剪和强化自己的行为策略;让一个机器人的抓取策略在无数次跌落和破碎的物理模拟中去学习力和力矩的微妙边界。

在这里,合成与生成本身不是目的,它是一个在物理规则这把剪刀的冷酷修剪之下,不断试探、不断出错、不断修正,从而在虚拟世界里安全高效地繁衍出极高质量边缘数据的过程。

只有被真实规则反复检验过的数据,才有资格被称作经过净化的进化养料,而不是循环扩散的知识污染物。

如何设计数据护城河的自增强循环?

首先需要承认一个事实,过去十年大多数企业所构筑的数据平台,从根基上就无法支撑我们所设想的那种自增强循环。

放眼市场,以第二代数据平台为典型代表的那套架构,即高度结构化的数据仓库、精心设计的ETL管道、面向商业智能的报表体系,本质上只是一个设计精良的消化系统。

它擅长的是将已经被定义好的、结构清晰的数据摄入、清洗、存储,然后输出给人做决策或者喂给外接的机器学习平台。

但这套系统有一个致命缺陷——它完全没有造血功能。

数据在里面是静态的、被动的、等待被消费的资产,而不是一个能够自我更新、自我增殖的有机体。当AI模型需要的不再仅仅是历史归档,而是持续不断的、鲜活的、能够捕捉业务前沿变化的训练养料时,这套旧架构的产能瓶颈就暴露无遗了。

真正的转变,是从消化系统向一套完整的、内建了循环系统的架构升级。

这也正是当前以Databricks和国内科杰科技为代表的新一代“湖仓一体加AI原生”架构之所以成为焦点的深层原因。

它们的核心突破点不在于存储容量的扩展,而在于一个关键理念:融合开发。

这意味着,数据不再需要离开湖仓去到一个独立的外部机器学习平台完成训练和推理,而是让标注工具、训练框架、模型管理、推理服务全部直接架设在数据湖仓之上。这种架构上的亲密性,打通了过去那条横亘在数据工程和AI工程之间的鸿沟,使“用AI处理数据”和“用数据训练AI”这两个动作可以在同一个空间里无缝切换、相互触发。

原始数据被接入,模型可以即刻在其上进行训练;模型在推理过程中发现了数据质量的缺陷,又可以即时调用清洗和标注流程进行修正和补充。

这就是所谓“Data for AI,AI for Data”双向赋能的物理基础,只有当这套血脉是打通的,你所期待的自增强循环才不至于沦为空谈。

在这套原生架构的心脏开始跳动之后,我们就需要为这台精密的机器安装三个核心引擎,让它真正运转起来。

第一个引擎,也是最容易被创业者忽略的,是产品交互层面的数据播种。太多产品经理把数据采集当作一个纯技术埋点问题,而没有意识到每一次与用户的互动,都是一个构造高进化潜力数据的天然窗口。

一个搜索框,一个客服对话界面,一个给图片打标签的按钮——这些看似平凡的交互,只要在设计之初就嵌入精心构思的数据捕捉陷阱,就能变废为宝。

想想看,当用户纠正一个AI生成的错误回答时,产品如果只是简单地采纳了修正后的文本,它就浪费了一个极其珍贵的时刻。正确的做法是,在获得用户授权的前提下,自动将“用户原始的错误提问、AI生成的初版回答、用户给出的纠正答案、以及前后的对话上下文”这四元组打包成一个高质量的对齐数据样本。

在具身智能的场景里,每一次机械臂的抓取动作,无论成功还是失败,它的力矩传感器读数、关节角度序列、视觉模块的实时图像流,以及这次抓取最终是稳稳放好还是中途滑落的结果标签,都应该被完整地记录下来,成为一条不可替代的真实交互轨迹。

这个引擎的精髓在于,它不是在产品之外另起炉灶做数据采集,而是把产品本身变成了一个精密的数据育种器,业务流水线与数据生产线合二为一。

第二个引擎,则是要抓住当下一个极其关键但尚未被充分开发的转折点:推理数据正在大规模超越训练数据。

随着大模型在实际业务中承担越来越复杂的Agent任务,它们会在自主规划、调用工具、多步推理的过程中留下海量的思维链轨迹。这些由模型自主生成的推理过程,天然就是一座还未被大规模开采的高品质数据金矿。

但这里面临一个与合成数据近亲繁殖类似的陷阱:如果无差别地将所有模型自生成的推理链都拿来做训练,必然会放大模型已有的偏见和错误。解决方案是一个严苛的筛选机制:强化学习加答案验证器。

在数学、编程这类存在客观正确答案的领域,答案本身就是天然的过滤器,我们可以让模型自由生成成百上千条推理路径,然后只保留那些最终导向正确答案的那一小撮最优秀的思维链。在更开放的领域中,我们可以设计业务指标、用户满意度反馈、人工抽检规则等多层级的验证网络。

这套流程的本质,就是在业务运行的过程中,搭建起了一座静默运转的思维轨迹蒸馏厂,它不消耗额外的人类标注成本,却能源源不断地从海量推理日志中提纯出可用于提升下一代模型推理能力的高纯度养料。

第三个引擎解决的是一个更为棘手的产业级难题:数据孤岛。

在医疗、金融、工业制造这些领域,最有价值的数据分散在不同机构、不同企业甚至不同国家的合规框架之下,幻想把它们汇聚到一起做集中式训练,既不现实也不合规。因此,我们必须放弃聚拢裸数据的执念,转而采用联邦架构的思路。

联邦学习让模型去不同的数据所在地游走训练,只交换加密后的梯度而绝不触及原始数据;可信数据空间等技术则更进一步,在数据所有权和使用权之间建立起清晰的技术边界和审计链条。

这种架构的社会意义在于,它让数据拥有者在守住自身核心资产和满足监管要求的前提下,能够安全地参与到更大范围的数据进化网络中来,分享群体智能提升带来的红利,而不必担心自己的数据被拿走或泄露。

这是一种去中心化的数据繁殖逻辑,它把一座座孤岛连接成一片繁荣的进化群岛,让模型的进化可以不依赖于某一个垄断性的超级数据集,而是在整个产业生态的毛细血管中持续汲取力量。

对于大多数并非阿里、华为这样的综合平台巨头的创业公司和垂直行业玩家来说,整个重构的落地路线不是去造一个万能的数据操作系统,而是去专注做好一个垂直领域的数据育种中心。

这条路需要极其务实地从最微小处起步。

选一个头发丝般细但足够深的切口,比如金融信贷审批中的反欺诈隐性规则提取,或者新材料研发中某个特定催化剂合成路径的负结果挖掘,集中全部力量把这一小批专家脑子里的认知资产和散落在实验记录里的失败数据完成结构化。

这是那个珍稀的“点”。

一旦你在这个点上跑通了数据自动采集、自动标注、自动训练的闭环,就可以将这套能力沿着产业链上下延伸,打通从上游数据源接入到下游智能应用交付的全流程,形成一个坚不可摧的“线”。

当这条线开始产生显著的效率提升和成本优势时,产业链上下游的参与者便会主动沿着你制定的数据标准和分析口径进行对接,由此从一个企业的内部工具扩展到行业的协同网络,是为“面”。

而当你在这个垂直领域沉淀的这套从隐性知识挖掘到合成数据验证、从产品交互设计到推理轨迹提纯的完整方法论,被验证可以平移到第二个、第三个完全不同的行业时,你就已经不再是一家行业解决方案公司,而是拥有了跨越领域进行数据播种和进化赋能能力的“体”,是那个真正掌握进化法则的规则制定者。

中国市场的“数据物种大爆发”

中国市场的特殊禀赋,为这种进化提供了全球罕见的沃土,极有可能率先引爆。

在工业和具身智能领域上,非常容易出现数据奇点。

过去我们谈中国的数据优势,总爱谈人口基数带来的消费数据规模,但真正深层的结构性优势藏在我们的产业链条里。

中国拥有全世界最完整的制造业门类,这意味着我们拥有最丰富的物理世界运行数据采集场景——从数控机床的每一次主轴振动,到化工管廊里每一处焊缝的应力变化,再到风力发电机在台风过境时的一手载荷数据。这些数据的价值,不是来自它们的体量,而是来自它们所覆盖的异常模式和边缘工况。

当你把这些真实的产线数据,哪怕只有很小体量,投入一个高保真仿真环境中进行强化学习时,就能在虚拟世界里复制出千万种连有经验的老师傅都没见过的极端故障组合,并让模型在这些致命场景中反复试错、自主生成应对策略。

这套“少量真实数据锚定物理边界,仿真环境放大长尾覆盖”的闭环,极有可能让中国在工业机器人和自动驾驶这两个方向上率先跨过数据实用的门槛,并由此孕育出一批不只是卖软件、而是掌握物理世界数据进化基础设施的新型平台。

而公共数据的市场化方面,种子其实已经播下了。

长久以来,医疗影像、气象观测、交通路网这些高价值民生数据被封存在各个公共部门的档案库里,既未被有效利用,也未被妥善治理。

改变这一僵局的关键技术条件正在成熟:可信数据空间、隐私计算和监管沙盒的组合,使得数据可以在不出域、不暴露原始个体的前提下参与训练和计算,这就把“安全”和“流通”这两个长期对立的目标第一次真正缝合在了一起。

这里面最先跑通商业化闭环的将会是医疗领域。

因为医疗诊断天然就是一个高度依赖异质性壁垒和交互性反馈的认知工作——罕见病与常见病的区分、老专家几十年临床直觉的隐性知识、失败诊疗方案背后被删除的原因——这些正是我们前面所定义的高进化潜力数据,而每一个临床痛点都对应着极其刚性的付费意愿。

一旦在合规框架下让医疗数据在进化闭环中流动起来,它所撬动的价值将远超我们目前所能估量的体量。

另一方面,就是关于个体了。

一直以来,我们默认AI竞赛是巨头的游戏,因为它需要海量数据和万卡集群。但在主动学习技术日趋成熟的今天,一个新物种正在悄然逼近:超级个体。

一个顶尖的材料科学家,如果能设计出一套极其精妙的评价反馈机制——也就是说,他知道怎么判断一条合成路径是成功还是失败,知道什么指标是关键信号什么是噪音——那么他就有可能用自己多年积累下来的几千条核心实验记录作为种子,驱动一个主动学习模型在虚拟实验空间中自主地决定下一步该探索哪个反应条件、该向真实实验请求验证哪个假设。

这样的人,背靠的不是庞大的计算资源,而是他深度嵌入在领域知识中的那把“数据剪刀”。他用极小体量但进化能力极强的数据集,不断修剪、筛选和放大模型的认知,最终训练出在特定领域性能颠覆巨头通用基座模型的小模型。

这种力量结构的变化,意味着AI时代的竞争,也许会在某个安静的实验室里,由一人和一小组人完成一场静悄悄的政变。

所以,对于真正想在这个时代建立长久壁垒的创业者而言,该换一个问题去拷问自己了。

不要再问“我手里有什么数据”,这个问题引导你往后看,盘点的全是已经失去活性甚至开始贬值的库存。

你真正应该思考的是,正在设计的这套商业流程,在为哪一个真实而具体的客户解决哪一项无法回避的痛点时,能够将那些原本会随风消散的认知痕迹、那些深埋于专家大脑中的隐性直觉、那些被现行评价体系残酷抛弃的失败反馈,顺理成章地、合法合规地、且非常自然地转化为我独有的、随着业务运行而不断加深加厚的进化型数据资产?

想通了这个问题,你才有资格去孵化一个属于你自己的数据新物种。

你无法靠一铲子挖倒一座金山来保住永远的荣华,但你可以通过理解进化的秘密,让一片森林在你的生态里生生不息。在这场智能革命的下半场,智者不再是数据的矿工,而是数据的园丁。

土壤对了,生态活了,数据自会开花结果,且生生不息。

本文来自微信公众号“东针商略”,作者:东针商略,36氪经授权发布。

来源:36氪·AI · 36kr.com