從預訓練到AI智能體團隊：Jensen Huang个四個擴展循環，為啥會改變計算問題
引言：人工智能本事大起來个辰光，啥物事勒增長？
講人工智能 [AI]，大家常從模型大小講起。伊有幾許參數？訓練用仔幾許信息？後頭个計算系統有幾許大？
搿眼問題只講仔系統个一部分。Jensen Huang更大个意思是，AI勒幾個階段儕能擴展：學基礎个辰光、磨好行為个辰光、解一個具體問題个辰光，搭拿工作分畀智能體个辰光。弄懂搿幾段哪能連起來，就會改變阿拉看計算需求个路數。
要緊个分別，是造一個模型搭用一個有智能个系統。兩樁事有關係，但勿是同一種工作負載 [Workload]。
1. 預訓練造个是基礎，勿是一個已經樣樣做好个工作者
預訓練 [Pre-training] 讓模型接觸大量信息，養出廣泛个本事。模型學到个模式搭關係，可以幫後來个任務。
數據多一眼、計算多一眼，搿眼基礎可能變好。不過，訓練做得大，勿等於拿有用个智能全部講清楚。模型可以有廣博常識，仍舊需要更好个判斷、針對任務个經驗，或者拿得到訓練辰光朆見過个信息。
所以，問題勿能只停勒人寫个材料供應，最後會勿會成限制。後頭幾個階段，既能改系統哪能學，也能改伊做啥工作。
2. 後訓練改變基礎个用法
後訓練 [Post-training] 勒最初學習之後，再拿模型磨好。重點轉到行為、實際任務，搭人家需要啥樣个回答。
合成數據 [Synthetic Data] 可以幫搿個過程。系統能造例子、試勿同變化，搭做出後來學習用得着个材料。價值勒得到个經驗質量裏，勿是單單因為材料是機器做个。
搿個分別要緊。材料造得多，勿會自動證明伊正確。有用个循環會揀值得留个經驗，用來改善後來个行為。只加數量勿揀，可能拿弱點再做一遍，勿是修好伊。
3. 使用辰光加計算，讓推理變成更難个問題
推理 [Inference] 有辰光被想成簡單个最後一步：模型已經學好，搿末做一個回答，應該勿用幾許額外工作。
測試時擴展 [Test-time Scaling] 對搿種看法提出疑問。難个任務，可能要系統拿問題拆成小塊、比幾種做法、尋信息，還要重新想一回朆成功个嘗試。
搿末計算需求，就看系統勒交出有用答案之前必須做啥。短回答前頭，也可以有大量工作。倒過來，回答長，勿證明推理仔細。
對生意來講，響應時間 [Latency]、答案質量搭運行成本，搿幾樣選擇就連起來仔。眼下立刻回个最便宜答案，勿一定是成功做完任務最便宜个路。
4. 智能體擴展勒本事之外，加進協調
智能體擴展 [Agentic Scaling] 畀另一條路：勿叫一個模型照順序做光，系統可以拿工作分畀幾個智能體 [Agents]。
一個智能體查記錄，另外一個比選項，儕做得。伊拉个發現可以幫同一個結果。搿種增長，搭拿單一模型做大，或者畀伊更多時間，勿是一樣。
拿組織來比有用。員工多，可以加本事，但責任、溝通搭最後決定要清楚才行。智能體多，也會生協調、理清勿同結果搭核查个工作。數量是投入，勿是成功个尺碼。
5. 四個階段連成一個學習循環
最要緊个聯繫，是系統做過工作之後發生啥。智能體有用个經驗，可以成為後來訓練个材料。磨好个模型，又能幫更好个推理搭更有效个智能體。
所以，預訓練、後訓練、使用辰光个工作，搭智能體活動，勿必一直分勒幾個盒子裏。伊拉可以互相供養。
搿也改變基礎設施个問題。訓練模型、勒文件裏尋物事、協調幾個工作者，對處理器、內存、儲存搭網絡，要求儕勿同。圍一個窄个基準測試 [Benchmark] 造个系統，可能搭整個工作流程 [Workflow] 合勿攏。
結語：量工作，勿要只量模型
Huang个四部分框架，拿討論帶出一種想法：AI進步，勿只是更大个模型，勒更大个數據集 [Dataset] 上訓練一回。
實際教訓是尋清楚，額外計算勒啥地方會畀更好个結果。任務要更好个基礎、更有用个調整、更多解題時間，還是協調好个分工？
企業應該拿做完个任務、質量、時間搭總成本來評答案。比光數參數或者智能體，搿是更有用个起點。未來計算个問題，關乎整個會學、會做个系統。
Powered By K7