AI 历史上反共识的闪耀思想

研究 AI 的发展史，有一类思想是读来觉得无比震撼的：它在当时的时间点是反共识的，至少不是主流，甚至会被戏谑，而其预言今天又在 LLM 驱动的智能进展中完全地或部分地应验。

重新理解这些思想，了解当时的背景与共识，除了感受其闪耀之外，也能对今天已经司空见惯的概念有更深入的理解，是一种从似然到先验的通达。它使得关于技术的直觉更为敏锐，某种程度上可以迁移到其他领域，比如推荐系统，如果把它视为“智能推荐”，那么它在这些思想中是否未来会应验？

我把他们列在下面的表格里：

思想	代表文本/年份	反共识性	预言兑现
图灵"儿童机器"	Turing, 1950	当时还没有机器学习方法，此后三十年的主流路线是符号主义和专家系统。	今天没人认为智能能绕开学习获得，"儿童程序 + 教育过程"就是模型架构加训练过程。
压缩即智能	Solomonoff 1964 → Hutter 2000s → Sutskever 2023	算法信息论长期只停留在理论圈，AIXI 不可计算，和主流机器学习实践几乎没有交集。	LLM 预训练做 next token prediction，本质上就是在压缩海量文本。
分布式表征	Hinton, 1986	符号主义和当时的连接主义都认为，一个概念对应一个符号或一个单元。	概念由高维向量的激活模式共同编码，embedding 成了所有深度学习模型的基础设施。
LeCun"蛋糕"	LeCun, 2016	那一年监督学习当道、AlphaGo 让 RL 风头正盛，他却把这两者分别看作糖霜和樱桃。	自监督预训练占了 LLM 的绝大部分算力，预训练 → SFT → RL 正好对应蛋糕、糖霜、樱桃。
BBOC	Amodei, 2017	它认为大多数算法创新只是在重新描述同样的计算，等于否定了同时代的主流研究。	Scaling 范式证明，决定能力的是算力、参数、数据和训练目标这几个旋钮。
Software 2.0	Karpathy, 2017	当时软件仍由人逐行编写，神经网络只是系统里的一个组件，不过深度学习圈内已有不少认同。	不到十年，"构造数据"取代"编写逻辑"，成了构建软件行为的核心工作。
Bitter Lesson	Sutton, 2019	它直言注入人类领域知识长期看是徒劳的，冒犯了大量依赖精巧设计的研究方向。	LLM 用通用方法加大规模算力，超越了手工设计的 NLP 系统，但 Sutton 认为 LLM 本身可能是下一次苦涩的教训。
Reward is Enough	Silver et al., 2021	主流为感知、语言、规划分别设计专用模块，它却主张单一的奖励最大化就足以让这些能力涌现。	后训练 RL 和 Agentic RL 让强化学习成了通往智能体的必经之路，但"奖励是否足够"仍无定论。

但是这里我排除了具体的技术，比如 Scaling Law，它实际已经非常具体了，是可以实践的工程了，所以被排除之外。

图灵“儿童机器”

“儿童机器” 出自图灵1950 年的论文“Computing machinery and intelligence”，它最被熟知的是提出了大名鼎鼎的“图灵测试”，以至于“儿童机器”思想的闪耀常常被掩盖了光芒。在文章最后一节“学习机器”里，他说：与其试图编程模拟成人大脑，不如模拟儿童大脑（Instead of trying to produce a programme to simulate the adult mind, why not rather try to produce one which simulates a child’s?）

如果让儿童大脑接受正确的教育课程，就可能获得成人大脑。儿童大脑大概就像一个刚从文具店买来的笔记本，只有少许机制和大段空白的纸张（机制和写字在我们看来几乎同义)，我们希望儿童大脑中的机制足够少使得容易编程。我们可以假设对机器进行教育的工作量和教育一个人类儿童基本相当。

要知道当时既没有机器学习的主流概念或成熟方法，甚至在此后直至 1980 年，符号主义（Symbolism）是AI领域更为主流、在早期也显得“更有操作性”的一条路径。1956年的达特茅斯会议正式确立了AI这门学科，而会议的核心理念——“智能可以通过操作符号和应用逻辑规则来实现”，这诞生了“专家系统的黄金时代”。

所以在当时以及后面的 30 年里，机器学习一定是反共识的，而今天你不会觉得智能可以通过非学习地手段获得。所以，1950 年的“儿童机器”思想才尤为令人震撼，没有什么思想是这么强的同时代反共识和最终预言绝对成真的。

我其实除了惊叹以外，没法再做任何对这一思想的提炼和升华，我就直接列出几段原文翻译，你会同样地惊叹于他似乎就在说今天的事情。

因此，我们把问题分为密切相关的两个部分：儿童程序和教育过程。我们不能指望一下子找到一个好的“儿童机器”，我们必须做对这样的机器进行教育的实验，看其学习效果，然后再试另一个，判断哪个更好。

通常，我们将教育过程与惩戒和奖励紧密联系起来。一些基于简单原则构建或编程的儿童机器可以降低受到惩罚事件的发生频率，同时增加受到奖励事件的发生频率。这些定义并不预设机器有任何感觉。我对这样一个儿童机器进行了一些实验，并成功地教会了它一些东西，但教学方法过于非正统，所以这个实验不能被认为真正成功。

使用奖励和惩罚的做法最好只是教学过程的一方面。总体来说，如果教师没有其他与学生沟通的方式，所传递的信息量就不会超过所使用奖励和惩罚的总和。当学生只能通过“二十问”的方式反复学习“Casabianca”这个词时，会感到相当痛苦，每个“错！”都是一种打击。因此，我们还需要采用其他“非情感”的沟通方式，这样，通过奖励和惩罚，机器就能服从于以某种符号语言给出的命令，而这些命令通过“非情感”的途径传达，这种语言的使用将大大减少需要奖励和惩罚的次数。

学习机器的一个重要特征是，通常老师对机器内部发生的事情一无所知，尽管老师仍然可以在一定程度上预测学生的行为。经过实验和精心设计（或编程）的儿童机器的后期教育尤其如此。这与进行正常计算的机器形成了鲜明对比：在那里，我们的目标是清晰地了解机器在计算中的状态，而要达到这个目标需要付出艰苦的努力。因此，“机器只能做我们知道如何命令它做的事”的观点就显得奇怪了，因为输入机器的大多数程序最终会执行一些我们无法理解或认为是完全随机的行为。

今天视角下似乎在说：儿童程序和教育过程就是模型架构和训练过程，模型架构（儿童机器）其实非常简单，真正复杂的是训练过程。惩戒和奖励就是强化学习信号，不必对应机器的主观体验，只是对行为分布的调整信号。仅仅做强化学习传递的信息量太小了，还要自监督学习和 Context Learning！人工智能模型是个黑盒子，它并非预先设计的，而是训练所得，因而能超出设计者的预期和智能！

压缩即智能

压缩即智能是今天 LLM 重要的思想基底：LLM 的 Pre-Train 做海量数据的Next Token Prediction，预测即压缩，压缩即智能。

怎么理解压缩即智能？首先容易想到的是各种通用压缩算法，它们能把数据在磁盘上的体积减小，但这不一定意味着“理解”了数据。假如你看到 “1,2,3,4,5,…” 这样一个极长的序列，你理解了它背后的规律，写成一个程序：for i = 1..N: print i。这也是一种压缩：你用极短的描述生成了极长的数据。换句话说，压缩的本质是找到生成数据的规律；能找到极短描述，就意味着捕捉到了某种深层规律。一个能在多种环境中利用规律做出高效压缩的模型，就建立起了对世界的一种通用理解——这正是“压缩即智能”想表达的核心直觉。

为什么预测就是压缩？假设你和朋友用同一个模型来传文本：模型能猜中的字就不用传，只需要传它猜错的部分。模型预测得越准，要传的比特就越少，这就是压缩。

在 AI 史上，把压缩和智能明确等价起来、并系统理论化的是 Hutter，他提出的通用智能体叫 AIXI。

AIXI 和环境一轮一轮地交互：每一轮做出一个动作，收到一个观测和一个奖励。它的运作可以拆成三个要素：

序列预测：把过去所有的动作、观测和奖励看成一条序列，用 Solomonoff 归纳预测下一步会发生什么。能生成这条历史的程序越短，权重越高。

经验反馈：不预先假设世界的规律，每一轮的新经验都并入历史，规律随交互不断被重新压缩出来。

目标最大化：基于预测，选择让未来累计奖励最大的动作。

图灵“儿童机器”

压缩即智能

本文为订阅内容