从预训练到AI智能体团队：Jensen Huang的四个扩展循环为何改变了计算问题
引言：人工智能能力增强时，究竟什么在增长？
有关人工智能 [AI] 的讨论往往从模型规模开始。它包含多少参数？训练用了多少信息？背后的计算系统有多大？
这些问题只描述了系统的一部分。Jensen Huang更广泛的观点是，AI可以在多个阶段扩展：学习基础知识时、完善行为时、处理具体问题时，以及在智能体之间分配工作时。理解这些阶段之间的联系，会改变我们思考计算需求的方式。
关键区别在于构建模型与使用智能系统。两种活动相互关联，但并不是同一种工作负载 [Workload]。
1. 预训练建立的是基础，而不是一个已经完善的工作者
预训练 [Pre-training] 通过让模型接触大量信息，发展其广泛能力。模型学习可以支持后续任务的模式与关系。
更多数据和计算可以改善这些基础。不过，更大规模的训练并不能完整解释有用的智能。模型可以拥有丰富的常识，却仍需要更好的判断力、特定任务的经验，或获取训练期间未曾接触的信息。
因此，问题不能止于人类撰写材料的供应最终是否会成为限制。后续阶段既能改变系统的学习方式，也能改变它执行的工作。
2. 后训练改变基础能力的使用方式
后训练 [Post-training] 在初始学习之后进一步完善模型。重点转向行为、实际任务，以及人们需要的回答类型。
合成数据 [Synthetic Data] 可以参与这一过程。系统能够生成示例、探索变体，并产生对进一步学习有用的材料。价值在于由此获得的经验质量，而不只是材料由机器生成这一事实。
这种区别很重要。生成更多材料，并不能自动证明材料正确。有用的循环会挑选值得保留的经验，用来改善后续行为。只增加数量而不加筛选，可能重复弱点，而不是纠正弱点。
3. 使用时的计算扩展，让推理成为更困难的问题
推理 [Inference] 有时被想象成一个简单的最后步骤：模型已经学好了，因此生成回答不应需要多少额外工作。
测试时扩展 [Test-time Scaling] 挑战了这种看法。困难任务可能要求系统把问题拆成小部分、比较可行方法、搜索信息，并重新考虑一次失败的尝试。
这时，计算需求取决于系统在返回有用答案之前必须做什么。简短回答之前，也可能有大量工作。反过来，长篇回答也不是认真推理的证据。
对企业而言，响应时间 [Latency]、答案质量和运营成本因此成为相互关联的选择。最便宜的即时回答，并不总是成功完成任务的最低成本方式。
4. 智能体扩展在能力之外增加了协调
智能体扩展 [Agentic Scaling] 提供另一条路径：系统可以在多个智能体 [Agents] 之间分配工作，而不是让一个模型按顺序做完所有事情。
一个智能体可以检查记录，另一个比较选项。它们的发现可以共同支持一个结果。这种增长不同于把单个模型做大，或给它更多时间。
与组织进行比较很有帮助。增加员工可以提升产能，但前提是责任、沟通和最终决策明确。同样，增加智能体也会带来协调、消除分歧和核查的工作。数量是一种投入，而不是成功的衡量标准。
5. 四个阶段形成学习循环
最重要的联系，是系统工作之后发生什么。智能体的有用经验可以成为后续训练材料。完善后的模型又能支持更好的推理和更有效的智能体。
因此，预训练、后训练、使用时的工作以及智能体活动，不必停留在彼此分隔的框内。它们可以相互提供养分。
这也改变了基础设施问题。训练模型、搜索文件和协调多个工作者，对处理器、内存、存储和网络提出不同要求。围绕单一狭窄基准测试 [Benchmark] 设计的系统，可能不适合完整工作流 [Workflow]。
结语：衡量工作，而不只是模型
Huang的四部分框架，把讨论带出了这样一种观念：AI进步仅仅意味着一个更大的模型，在更大的数据集 [Dataset] 上训练一次。
实际启示是找出额外计算在哪里能产生更好的结果。任务需要更好的基础、更有用的完善、更长的解题时间，还是有协调的分工？
企业应该通过已完成的任务、质量、时间和总成本来判断答案。与单纯统计参数或智能体数量相比，这个起点更有用。未来的计算问题，关乎整个学习与工作的系统。
Powered By K7