От предварительного обучения к командам ИИ-агентов: почему четыре цикла масштабирования Jensen Huang меняют вопрос о вычислениях
Введение: что растёт, когда искусственный интеллект становится более способным?
Обсуждение искусственного интеллекта [AI] часто начинается с размера модели. Сколько в ней параметров? Сколько информации использовалось для её обучения? Насколько велика была стоящая за ней вычислительная система?
Эти вопросы описывают лишь часть системы. Более широкий аргумент Jensen Huang состоит в том, что ИИ может расти на нескольких этапах: при освоении основ, совершенствовании поведения, решении конкретной задачи и распределении работы между агентами. Понимание связи между этими этапами меняет наш взгляд на потребность в вычислениях.
Важно различать создание модели и использование интеллектуальной системы. Эти действия связаны, но представляют собой не одну и ту же вычислительную нагрузку [Workload].
1. Предварительное обучение создаёт основу, а не готового работника
Предварительное обучение [Pre-training] развивает общие способности модели, знакомя её с большими объёмами информации. Модель усваивает закономерности и связи, которые могут пригодиться в последующих задачах.
Больше данных и вычислений могут улучшить эту основу. Однако более масштабный запуск обучения не объясняет полезный интеллект целиком. Модель может обладать обширными общими знаниями, но всё ещё нуждаться в более взвешенных суждениях, опыте конкретных задач или доступе к информации, которой не было при обучении.
Поэтому нельзя ограничиваться вопросом, станет ли когда-нибудь доступность написанных людьми материалов ограничением. Следующие этапы способны изменить и способ обучения системы, и выполняемую ею работу.
2. Дообучение меняет способ использования основы
Дообучение [Post-training] совершенствует модель после первоначального обучения. Акцент смещается на поведение, практические задачи и те типы ответов, которые нужны людям.
Синтетические данные [Synthetic Data] могут участвовать в этом процессе. Система может генерировать примеры, исследовать варианты и создавать материалы, полезные для дальнейшего обучения. Ценность заключается в качестве полученного опыта, а не в самом факте его машинного происхождения.
Это различие существенно. Создание большего количества материалов не доказывает автоматически их правильность. Полезный цикл отбирает опыт, достойный сохранения, и использует его для улучшения последующего поведения. Объём без отбора может воспроизводить слабости, а не исправлять их.
3. Вычисления во время использования делают инференс более сложной задачей
Инференс [Inference] иногда представляют как простой заключительный шаг: модель уже обучилась, значит, выдача ответа должна требовать немного дополнительной работы.
Масштабирование во время выполнения задачи [Test-time Scaling] ставит такую картину под сомнение. Сложная задача может потребовать разбить проблему на части, сравнить возможные подходы, найти информацию и пересмотреть неудачную попытку.
Тогда потребность в вычислениях зависит от того, что система должна сделать до выдачи полезного ответа. Даже короткому ответу может предшествовать значительная работа. И наоборот, длинный ответ не доказывает тщательность рассуждений.
Для бизнеса это превращает время отклика [Latency], качество ответа и эксплуатационные расходы во взаимосвязанные решения. Самый дешёвый немедленный ответ не всегда означает самую дешёвую успешно выполненную задачу.
4. Агентное масштабирование добавляет к возможностям координацию
Агентное масштабирование [Agentic Scaling] предлагает другой путь: система может распределить работу между несколькими агентами [Agents], а не поручать одной модели всё последовательно.
Один агент может проверять записи, пока другой сравнивает варианты. Их выводы могут поддержать общий результат. Такая форма роста отличается от увеличения одной модели или предоставления ей большего времени.
Полезно сравнение с организацией. Больше сотрудников могут увеличить производительность, но только при ясных обязанностях, коммуникации и порядке принятия окончательного решения. Аналогично, больше агентов создают работу по координации, согласованию расхождений и проверке. Их количество является входным ресурсом, а не мерой успеха.
5. Четыре этапа образуют цикл обучения
Самая важная связь проявляется после работы системы. Полезный опыт агентов может стать материалом для последующего обучения. Усовершенствованные модели затем могут поддерживать более качественные рассуждения и более эффективных агентов.
Поэтому предварительное обучение, дообучение, работа во время использования и деятельность агентов не обязаны оставаться отдельными блоками. Они могут подпитывать друг друга.
Это также меняет вопрос об инфраструктуре. Обучение модели, поиск по файлам и координация нескольких работников предъявляют разные требования к процессорам, оперативной памяти, хранилищам и сетям. Система, спроектированная вокруг узкого теста производительности [Benchmark], может плохо подходить для полного рабочего процесса [Workflow].
Заключение: измеряйте работу, а не только модель
Четырёхчастная схема Huang выводит обсуждение за рамки идеи, будто прогресс ИИ означает лишь более крупную модель, один раз обученную на более крупном наборе данных [Dataset].
Практический урок состоит в том, чтобы определить, где дополнительные вычисления дают лучший результат. Нужны ли задаче более крепкие основы, более полезное совершенствование, больше времени на решение или согласованное разделение труда?
Предприятию следует оценивать ответ по выполненным задачам, качеству, времени и совокупной стоимости. Это полезнее, чем считать только параметры или агентов. Будущий вопрос о вычислениях касается всей обучающейся и работающей системы.
Powered By K7