Vom Vortraining zu Teams aus KI-Agenten: Warum Jensen Huangs vier Skalierungsschleifen die Frage nach dem Rechenbedarf verändern
Einleitung: Was wächst, wenn künstliche Intelligenz leistungsfähiger wird?
Die Diskussion über künstliche Intelligenz [AI] beginnt oft mit der Größe eines Modells. Wie viele Parameter enthält es? Wie viele Informationen wurden für sein Training verwendet? Wie groß war das dahinterstehende Rechensystem?
Diese Fragen beschreiben nur einen Teil des Systems. Jensen Huangs weitergehendes Argument lautet, dass KI auf mehreren Stufen wachsen kann: beim Erlernen ihrer Grundlagen, beim Verfeinern ihres Verhaltens, beim Bearbeiten eines bestimmten Problems und beim Verteilen von Arbeit auf Agenten. Wer den Zusammenhang zwischen diesen Stufen versteht, denkt anders über den Rechenbedarf nach.
Entscheidend ist der Unterschied zwischen dem Aufbau eines Modells und dem Einsatz eines intelligenten Systems. Beides hängt zusammen, stellt aber nicht dieselbe Rechenlast [Workload] dar.
1. Vortraining schafft eine Grundlage, keinen einsatzfertigen Mitarbeiter
Das Vortraining [Pre-training] entwickelt die allgemeinen Fähigkeiten eines Modells, indem es dieses mit großen Informationsmengen in Kontakt bringt. Das Modell lernt Muster und Zusammenhänge, die spätere Aufgaben unterstützen können.
Mehr Daten und mehr Rechenleistung können diese Grundlagen verbessern. Ein größerer Trainingslauf erklärt nützliche Intelligenz jedoch nicht vollständig. Ein Modell kann über umfangreiches Allgemeinwissen verfügen und dennoch besseres Urteilsvermögen, aufgabenspezifische Erfahrung oder Zugang zu Informationen benötigen, denen es im Training nicht begegnet ist.
Deshalb darf die Frage nicht dabei stehen bleiben, ob das Angebot an von Menschen verfasstem Material irgendwann zur Einschränkung wird. Die nächsten Stufen können sowohl die Art verändern, wie ein System lernt, als auch die Arbeit, die es ausführt.
2. Nachtraining verändert die Nutzung der Grundlage
Das Nachtraining [Post-training] verfeinert ein Modell nach seiner ersten Lernphase. Der Schwerpunkt verlagert sich auf Verhalten, praktische Aufgaben und die Arten von Antworten, die Menschen benötigen.
Synthetische Daten [Synthetic Data] können dazu beitragen. Ein System kann Beispiele erzeugen, Varianten untersuchen und Material erstellen, das für weiteres Lernen nützlich wird. Der Wert liegt in der Qualität der daraus entstehenden Erfahrung und nicht allein darin, dass eine Maschine sie erzeugt hat.
Diese Unterscheidung ist wichtig. Mehr Material zu erzeugen, belegt nicht automatisch dessen Richtigkeit. Eine nützliche Schleife wählt Erfahrungen aus, die es zu bewahren lohnt, und nutzt sie, um späteres Verhalten zu verbessern. Menge ohne Auswahl kann Schwächen wiederholen, statt sie zu beheben.
3. Rechenaufwand zur Einsatzzeit macht Inferenz zu einer anspruchsvolleren Aufgabe
Inferenz [Inference] wird bisweilen als einfacher letzter Schritt betrachtet: Das Modell hat bereits gelernt, also sollte das Erzeugen einer Antwort kaum weitere Arbeit erfordern.
Die Skalierung zur Einsatzzeit [Test-time Scaling] stellt dieses Bild infrage. Eine schwierige Aufgabe kann erfordern, dass das System ein Problem in kleinere Teile zerlegt, mögliche Vorgehensweisen vergleicht, Informationen sucht und einen erfolglosen Versuch neu überdenkt.
Der Rechenbedarf hängt dann davon ab, was das System tun muss, bevor es eine nützliche Antwort zurückgeben kann. Auch einer kurzen Antwort kann erhebliche Arbeit vorausgehen. Umgekehrt ist eine lange Antwort kein Beleg für sorgfältiges Schlussfolgern.
Für ein Unternehmen werden dadurch Antwortzeit [Latency], Antwortqualität und Betriebskosten zu miteinander verbundenen Entscheidungen. Die günstigste sofortige Antwort ist nicht immer der günstigste Weg zu einer erfolgreich erledigten Aufgabe.
4. Agentenbasierte Skalierung ergänzt Fähigkeiten um Koordination
Agentenbasierte Skalierung [Agentic Scaling] eröffnet einen weiteren Weg: Ein System kann Arbeit auf mehrere Agenten [Agents] verteilen, statt ein Modell alles nacheinander erledigen zu lassen.
Ein Agent könnte Unterlagen prüfen, während ein anderer Optionen vergleicht. Ihre Erkenntnisse können zu einem gemeinsamen Ergebnis beitragen. Diese Form des Wachstums unterscheidet sich davon, ein einzelnes Modell zu vergrößern oder ihm mehr Zeit zu geben.
Der Vergleich mit einer Organisation ist hilfreich. Mehr Beschäftigte können die Kapazität erhöhen, aber nur, wenn Zuständigkeiten, Kommunikation und die abschließende Entscheidung klar sind. Ebenso erzeugen mehr Agenten Aufwand für Koordination, das Auflösen von Widersprüchen und Überprüfung. Ihre Zahl ist eine Eingangsgröße, kein Erfolgsmaßstab.
5. Die vier Stufen bilden eine Lernschleife
Der wichtigste Zusammenhang liegt darin, was geschieht, nachdem ein System gearbeitet hat. Nützliche Erfahrungen von Agenten können zum Material für späteres Training werden. Verfeinerte Modelle können wiederum besseres Schlussfolgern und wirksamere Agenten unterstützen.
Vortraining, Nachtraining, Arbeit zur Einsatzzeit und agentenbasierte Aktivität müssen deshalb keine getrennten Bereiche bleiben. Sie können einander speisen.
Das verändert auch die Infrastrukturfrage. Ein Modell zu trainieren, Dateien zu durchsuchen und mehrere Arbeitskräfte zu koordinieren, stellt unterschiedliche Anforderungen an Prozessoren, Arbeitsspeicher, Datenspeicher und Netzwerke. Ein System, das um einen engen Leistungstest [Benchmark] herum entworfen wurde, kann zum vollständigen Arbeitsablauf [Workflow] schlecht passen.
Fazit: Die Arbeit messen, nicht nur das Modell
Huangs vierteiliges Modell führt die Diskussion über die Vorstellung hinaus, KI-Fortschritt bedeute lediglich ein größeres Modell, das einmal auf einem größeren Datensatz [Dataset] trainiert wurde.
Die praktische Lehre besteht darin, zu erkennen, wo zusätzlicher Rechenaufwand ein besseres Ergebnis erzeugt. Braucht die Aufgabe bessere Grundlagen, nützlichere Verfeinerung, längeres Problemlösen oder eine koordinierte Arbeitsteilung?
Ein Unternehmen sollte die Antwort anhand erledigter Aufgaben, Qualität, Zeit und Gesamtkosten beurteilen. Das ist ein nützlicherer Ausgangspunkt, als allein Parameter oder Agenten zu zählen. Die künftige Frage nach dem Rechenbedarf betrifft das gesamte lernende und arbeitende System.
Powered By K7