사전 학습에서 AI 에이전트 팀까지: Jensen Huang의 네 가지 확장 순환이 컴퓨팅의 질문을 바꾸는 이유
서론: 인공지능의 역량이 커지면 무엇이 성장하는가?
인공지능 [AI] 논의는 흔히 모델 [Model]의 크기에서 시작합니다. 매개변수 [Parameters]는 몇 개입니까? 학습에 얼마나 많은 정보를 사용했습니까? 그 뒤에서 작동한 컴퓨팅 시스템 [Computing System]은 얼마나 컸습니까?
이 질문들은 시스템의 일부만 설명합니다. Jensen Huang의 더 넓은 주장은 AI가 여러 단계에서 성장할 수 있다는 것입니다. 기초를 학습할 때, 행동을 다듬을 때, 특정 문제를 풀어 나갈 때, 그리고 에이전트 [Agents] 사이에 작업을 분배할 때입니다. 이 단계들의 연결을 이해하면 컴퓨팅 수요 [Computing Demand]에 대한 생각이 달라집니다.
중요한 구분은 모델을 만드는 것과 지능형 시스템을 사용하는 것 사이에 있습니다. 둘은 관련된 활동이지만 같은 작업 부하 [Workload]는 아닙니다.
1. 사전 학습은 완성된 작업자가 아니라 기초를 만듭니다
사전 학습 [Pre-training]은 모델을 대량의 정보에 노출해 폭넓은 역량을 개발합니다. 모델은 이후 작업에 도움이 될 패턴과 관계를 학습합니다.
더 많은 데이터와 컴퓨팅 자원 [Computing]은 이 기초를 개선할 수 있습니다. 그러나 더 큰 학습 실행 [Training Run]만으로 유용한 지능을 완전히 설명할 수는 없습니다. 모델이 광범위한 일반 지식을 갖고 있어도 더 나은 판단력, 작업별 경험, 또는 학습 중 접하지 못한 정보에 대한 접근이 필요할 수 있습니다.
따라서 인간이 작성한 자료의 공급이 결국 제약이 될 것인지에서 질문을 멈출 수 없습니다. 다음 단계들은 시스템이 배우는 방식과 수행하는 작업을 모두 바꿀 수 있습니다.
2. 사후 학습은 기초를 활용하는 방식을 바꿉니다
사후 학습 [Post-training]은 초기 학습 이후 모델을 다듬습니다. 초점은 행동, 실제 작업, 사람들이 필요로 하는 응답의 유형으로 옮겨갑니다.
합성 데이터 [Synthetic Data]는 이 과정에 기여할 수 있습니다. 시스템은 예시를 만들고 변형을 탐색하며 추가 학습에 유용한 자료를 생산할 수 있습니다. 가치는 기계가 만들었다는 사실이 아니라 그렇게 얻은 경험의 질에 있습니다.
이 구분은 중요합니다. 자료를 더 많이 생성한다고 그 자료의 정확성이 자동으로 입증되지는 않습니다. 유용한 순환은 보존할 가치가 있는 경험을 선택하고 이를 이후 행동 개선에 활용합니다. 선택 없는 양적 증가는 약점을 고치는 대신 반복할 수 있습니다.
3. 테스트 시점 컴퓨팅은 추론을 더 어려운 문제로 만듭니다
추론 [Inference]은 때로 단순한 마지막 단계로 여겨집니다. 모델이 이미 학습했으니 답을 만드는 데는 추가 작업이 거의 들지 않아야 한다는 생각입니다.
테스트 시점 확장 [Test-time Scaling]은 이 생각에 도전합니다. 어려운 작업에서는 시스템이 문제를 작은 부분으로 나누고, 가능한 접근법을 비교하고, 정보를 검색하고, 실패한 시도를 재검토해야 할 수 있습니다.
그렇다면 컴퓨팅 요구량 [Computing Requirement]은 유용한 답을 반환하기 전에 시스템이 무엇을 해야 하는지에 따라 달라집니다. 짧은 응답도 상당한 작업 뒤에 나올 수 있습니다. 반대로 긴 응답이 신중한 사고의 증거는 아닙니다.
기업 입장에서는 응답 지연 [Latency], 답의 품질, 운영 비용이 서로 연결된 선택이 됩니다. 가장 저렴한 즉각적 응답이 언제나 가장 낮은 비용으로 성공적으로 완료한 작업인 것은 아닙니다.
4. 에이전트 기반 확장은 역량에 조정을 더합니다
에이전트 기반 확장 [Agentic Scaling]은 또 다른 경로를 제시합니다. 모델 하나에 모든 것을 순서대로 수행하게 하는 대신 여러 에이전트 [Agents] 사이에 작업을 분배할 수 있습니다.
한 에이전트가 기록을 검토하는 동안 다른 에이전트는 선택지를 비교할 수 있습니다. 이들의 결과는 공동의 결과물을 뒷받침할 수 있습니다. 이는 모델 하나를 더 크게 만들거나 더 많은 시간을 주는 것과 다른 형태의 성장입니다.
조직과의 비교가 유용합니다. 직원이 늘면 역량이 커질 수 있지만 책임, 소통, 최종 의사결정이 명확해야 합니다. 마찬가지로 에이전트가 많아지면 조정, 결과 간 불일치 해소, 검증 작업도 생깁니다. 에이전트 수는 투입 요소이지 성공의 척도가 아닙니다.
5. 네 단계는 학습 순환을 이룹니다
가장 중요한 연결은 시스템이 작업한 뒤에 일어나는 일입니다. 에이전트의 유용한 경험은 이후 학습 자료가 될 수 있습니다. 다듬어진 모델은 더 나은 사고와 더 효과적인 에이전트를 지원할 수 있습니다.
따라서 사전 학습 [Pre-training], 사후 학습 [Post-training], 테스트 시점 작업 [Test-time Work], 에이전트 활동 [Agentic Activity]은 별개의 상자에 머물 필요가 없습니다. 서로에게 자양분을 공급할 수 있습니다.
이것은 인프라 [Infrastructure]에 관한 질문도 바꿉니다. 모델 학습, 파일 검색, 여러 작업자 조정은 프로세서 [Processors], 메모리 [Memory], 저장장치 [Storage], 네트워킹 [Networking]에 서로 다른 요구를 부과합니다. 좁은 성능 평가 [Benchmark] 하나를 중심으로 설계한 시스템은 전체 작업 흐름 [Workflow]과 잘 맞지 않을 수 있습니다.
결론: 모델만이 아니라 작업을 측정하십시오
Huang의 네 부분으로 된 틀은 AI 발전이 더 큰 데이터세트 [Dataset]로 한 번 학습한 더 큰 모델만을 뜻한다는 생각에서 논의를 확장합니다.
실용적인 교훈은 추가 컴퓨팅 [Computing]이 어디서 더 나은 결과를 내는지 파악하는 것입니다. 작업에 더 나은 기초, 더 유용한 개선, 더 긴 문제 해결 시간, 또는 조정된 업무 분담이 필요합니까?
기업은 완료된 작업, 품질, 시간, 총비용으로 답을 평가해야 합니다. 이는 매개변수 [Parameters]나 에이전트 [Agents]만 세는 것보다 유용한 출발점입니다. 미래의 컴퓨팅 질문은 학습하고 일하는 시스템 전체에 관한 것입니다.
Powered By K7