12月10日－15日，全球AI顶级会议NeurIPS（神经信息处理系统大会）在加拿大温哥华举办，在NeurIPS 2024大会上，前OpenAI联合创始人、SSI创始人Ilya Sutskever发表演讲时表示，预训练作为AI模型开发的第一阶段即将结束。

他将数据比作AI发展的燃料，指出由于我们只有一个互联网，数据增长已经触顶，AI即将进入“后石油时代”，而这，意味着依赖于海量数据的预训练模型将难以为继，AI发展亟待新的突破。

｜预训练时代的落幕与AI模型的“代理性”转型

在人工智能领域，预训练作为模型开发的第一阶段正逐渐走向尾声。这一阶段主要依赖于从大量未标记的数据中学习模式，数据来源广泛，包括互联网和书籍等。然而，随着可用数据资源接近饱和，未来AI模型的发展路径正在发生转变。

多伦多大学教授兼OpenAI首席科学家Ilya Sutskever指出：“我们已经到达了数据的峰值，不会再有更多的新数据涌现。我们必须充分利用现有的数据资源。”他强调，互联网的信息量是有限的，“互联网只有一个”，这意味着未来的模型需要探索新的发展方式，在现有数据基础上挖掘更多潜力。

Sutskever在今年11月的一次媒体采访中提到，大规模模型的预训练效果正逐渐趋于平稳。“2010年代是扩展的时代，通过增加数据和计算能力来推动模型性能的进步。现在，我们再次进入了探索和发现的新时代，寻找下一个突破点变得至关重要。扩展正确的方向比以往任何时候都更加重要。”

未来，Sutskever预言下一代AI模型将具备真正的“代理性”，即这些模型不仅能够自主执行任务、做出决策，还能与各种软件环境进行交互。这种转变标志着AI从单纯的数据处理工具向具有自主行为能力的智能体迈进了一大步。

此外，Sutskever透露，他的团队——Scale, Speed, and Innovation (SSI)正在研究一种替代传统预训练扩展的方法，但具体细节尚未公布。这表明研究人员正在积极探索新的技术路径，以应对数据资源有限的挑战，并为AI的发展开辟新的可能性。

｜AI自我意识或将诞生：从模式匹配到真正推理

Sutskever预言，未来的AI系统将不再仅仅依赖于模式匹配，而是具备真正的推理能力，甚至可能发展出自我的意识。这一转变预示着人工智能领域的重大飞跃。

Sutskever指出，随着AI系统的推理能力增强，“它们将变得越来越不可预测”。他以高级AI在国际象棋中的表现为类比：“这些系统能够从有限的数据中理解事物，而不会感到困惑。”这意味着未来的AI不仅能处理大量信息，还能对新情况做出合理的推断和决策。

他进一步将AI系统的进化与生物学中的大脑-体重比例进行了比较，引用了关于不同物种大脑与体重关系的研究。人类祖先在这个比例上显示出不同于其他哺乳动物的独特斜率，暗示了认知能力的显著提升。“AI可能会找到类似的扩展路径，超越当前基于预训练的工作方式，”Sutskever说道。

超级智能的本质将与我们今天所认识的智能截然不同。Sutskever希望借此机会让人们具体感受到这种差异：“现在，我们已经拥有了强大的语言模型，它们是出色的聊天伙伴，在某些任务上表现出超人的能力，但同时也存在可靠性问题，有时会显得困惑。如何协调这种矛盾目前还不清楚。”

Sutskever强调，未来的AI系统将是高度不可预测的，因为它们能够理解有限的数据而不感到困惑——这是当前AI的一个巨大局限。“我并不是在讨论具体的方法或时间表，我只是说这种情况将会发生。”

当所有这些能力最终与自我意识相结合时（考虑到自我意识对于提高效率是有用的），我们将迎来一种全新的智能形态。这些系统不仅拥有令人难以置信的能力，而且与之相关的问题也将与我们过去习惯的完全不同。

｜大型语言模型（LLM）的多跳推理与跨分布泛化

讨论大型语言模型（LLM）是否能够进行多跳推理的跨分布泛化，不能简单地用“是”或“否”来回答。首先，我们需要理解几个关键概念：“跨分布泛化”、“分布内”以及它们在不同背景下的意义。

什么是“跨分布泛化”？

在机器学习领域，“泛化”指的是模型在未见过的数据上的表现能力。“跨分布泛化”则更进一步，它指的是模型能否在不同于训练数据分布的新环境中表现出色。换句话说，模型是否能适应新的、未曾遇到过的数据模式和环境变化。

“分布内”又是什么意思？

“分布内”通常指代的是与训练数据具有相似统计特性的数据。如果一个模型在测试时遇到的数据与训练数据来自相同的概率分布，那么这些数据就被认为是“分布内”的。反之，如果测试数据显著偏离了训练数据的分布特性，则被视为“分布外”。

泛化的演变

在深度学习兴起之前，机器翻译等任务主要依赖于字符串匹配、n-gram等基于规则的技术。那时，“泛化”往往意味着模型能否处理完全不在训练数据集中的短语。随着技术的进步，我们对泛化的标准大幅提高。如今，即使一个模型在特定任务（如数学竞赛）中取得了高分，我们也需要考虑它是否只是记住了互联网上讨论过的内容，还是真正具备了跨分布泛化的能力。

LLM的泛化能力

目前，大型语言模型已经在某种程度上展示了令人印象深刻的泛化能力。它们可以在多种任务中取得优异成绩，并且能够在一定程度上处理从未见过的数据。然而，这种能力仍然受到一定限制。例如，当面对全新的问题情境时，模型可能会依赖记忆中的类似例子，而不是通过真正的推理来解决问题。尽管如此，LLM已经展示了比早期方法更强的泛化能力，尤其是在处理复杂任务方面。

人类与模型的对比

相较于人类，LLM的泛化能力还有很大的提升空间。人类不仅能在已知情境中灵活应用知识，还能在全新情境下迅速调整策略并找到解决方案。虽然当前的模型还不能完全达到这一水平，但它们已经能够在某些方面模拟人类的认知过程，特别是在多跳推理和处理复杂信息方面。

关于LLM是否能进行多跳推理的跨分布泛化，答案并非简单的肯定或否定。我们需要从多个角度审视这个问题，包括但不限于模型的实际表现、其依赖的记忆成分以及它在新情境下的适应能力。随着研究的深入和技术的发展，我们有理由相信，未来的模型将在泛化能力上取得更大的突破。