Generierung synthetischer Daten (SDG)

Physische KI-Modelle ermöglichen es autonomen Systemen, die physische Welt wahrzunehmen, zu verstehen, mit ihr zu interagieren und darin zu navigieren. Synthetische Daten sind entscheidend für das Training und das Testen physischer KI-Modelle.

World Foundation Models (WFMs) nutzen verschiedene Eingabedaten, einschließlich Text, Bilder, Videos und Bewegungsinformationen, um virtuelle Welten mit bemerkenswerter Genauigkeit zu erzeugen und zu simulieren.   

WFMs zeichnen sich durch ihre außergewöhnlichen Generalisierungsfähigkeiten aus, die eine minimale Feinabstimmung für verschiedene Anwendungen erfordern. Sie dienen als kognitive Engines für Roboter und autonome Fahrzeuge und nutzen ihr umfassendes Verständnis der realen Dynamik. Um dieses Maß an Raffinesse zu erreichen, verlassen sich WFMs auf riesige Mengen an Trainingsdaten. 

Die WFM-Entwicklung profitiert erheblich von der Generierung unendlicher synthetischer Daten durch physikalisch genaue Simulationen. Dieser Ansatz beschleunigt nicht nur den Modelltrainingsprozess, sondern verbessert auch die Fähigkeit der Modelle, über verschiedene Szenarien hinweg zu generalisieren. Techniken zur Domänenrandomisierung verbessern diesen Prozess weiter, indem sie die Manipulation zahlreicher Parameter wie Beleuchtung, Hintergrund, Farbe, Standort und Umgebung ermöglichen – Variationen, deren umfassende Erfassung allein anhand realer Daten nahezu unmöglich wäre. 

Das Roboterlernen besteht aus einer Sammlung von Algorithmen und Methoden, die einem Roboter helfen, neue Fähigkeiten zu erlernen, wie z. B. Manipulation, Fortbewegung und Klassifikation, entweder in einer simulierten oder realen Umgebung. Bestärkendes Lernen, Imitationslernen und Diffusionspolitik sind die Schlüsselmethoden, die beim Training von Robotern angewendet werden.

Eine wichtige Fertigkeit für Roboter ist die Manipulation – Dinge aufheben, sie sortieren und zusammensetzen – wie man es aus Fabriken kennt. Reale menschliche Demonstrationen werden üblicherweise als Eingaben für das Training verwendet. Das Erfassen eines großen und vielfältigen Datensatzes ist jedoch ziemlich teuer.

Um diese Herausforderung zu bewältigen, können Entwickler die NVIDIA Isaac GR00T-Mimic und GR00T-Dreams-Blueprints verwenden, die auf NVIDIA Cosmos™ basieren, um große, vielfältige Bewegungsdatensätze für das Training zu erstellen.

Der NVIDIA Isaac GR00T-Dreams-Blueprint generiert mit Cosmos riesige Mengen an synthetischen Trajektoriendaten, die durch ein einziges Bild und Sprachbefehle angestoßen werden. Dadurch können Roboter neue Aufgaben in ungewohnten Umgebungen erlernen, ohne dass bestimmte Teleoperationsdaten erforderlich sind.

Diese Datensätze können dann verwendet werden, um die Isaac GR00T N Foundation-Modelle innerhalb von Isaac Lab zu trainieren, was verallgemeinertes humanoides Schlussfolgern und einen robusten Erwerb von Fähigkeiten ermöglicht.

Software-in-loop (SIL) ist eine entscheidende Testbühne für KI-gesteuerte Roboter und autonome Fahrzeuge, wo die Steuerungssoftware in einer simulierten Umgebung statt auf realer Hardware getestet wird.

Synthetische Daten, die aus der Simulation generiert werden, sorgen für eine genaue Modellierung der realen Physik, einschließlich Sensoreingaben, Aktordynamik und Umweltinteraktionen. Dies bietet auch eine Möglichkeit, seltene Szenarien zu erfassen, deren Erfassung in der realen Welt gefährlich ist. Dadurch wird sichergestellt, dass der Roboter-Softwarestack sich in der Simulation so verhält, wie er es beim physischen Roboter tun würde, was gründliche Tests und Validierungen ohne physische Hardware ermöglicht.  

„Mega“ ist ein Omniverse™ Blueprint für die Entwicklung, das Testen und die Optimierung physischer KI und Roboterflotten in großem Umfang bei einem digitalen Zwilling vor der Bereitstellung in realen Einrichtungen.

Diese simulierten Roboter können Aufgaben ausführen, indem sie Umgebungen wahrnehmen und logisch denken. Sie sind in der Lage, die nächsten Bewegungen zu planen und dann Aktionen auszuführen, die im digitalen Zwilling simuliert werden. Synthetische Daten aus diesen Simulationen werden in das Robotergehirn zurückgeführt. Die Robotergehirne nehmen die Ergebnisse wahr und entscheiden über die nächste Aktion. Dieser Zyklus setzt sich fort, während Mega den Zustand und die Position aller Elemente im digitalen Zwilling präzise verfolgt.

Generative Modelle können für das Einrichten und die Ergänzung von Prozessen zur Erzeugung synthetischer Daten verwendet werden. „Text-zu-3D“-Modelle ermöglichen die Erzeugung von 3D-Elementen zur Ausstattung einer Szene für 3D-Simulationen. Generative KI-Modelle für die Bild-Erzeugung aus Texteingaben können auch verwendet werden, um vorhandene Bilder zu verändern und zu ergänzen, die entweder aus Simulationen stammen oder in der realen Welt durch prozedurales Inpainting oder Outpainting gesammelt wurden.

Generative Text-to-Text-KI-Modelle, wie Evian 2 405B und Nemotron-4 340B, können verwendet werden, um synthetische Daten zu erzeugen, um leistungsstarke LLMs für das Gesundheitswesen, Finanzwesen, die Cybersicherheit, den Einzelhandel und die Telekommunikation zu erstellen. 

Evian 2 405B und Nemotron-4 340B bieten eine offene Lizenz, die Entwicklern das Recht gibt, die erzeugten Daten für wissenschaftliche und kommerzielle Anwendungen zu nutzen.