Geração de Dados Sintéticos (SDG)

Os modelos de IA física permitem que os sistemas autônomos percebam, entendam, interajam e percorram o mundo físico. Os dados sintéticos são fundamentais para o treinamento e o teste de modelos de IA física.

Os world foundation models (WFMs) utilizam diversos dados de entrada, incluindo texto, imagens, vídeos e informações de movimento, para gerar e simular mundos virtuais com grande precisão.   

Os WFMs se destacam por seus recursos de generalização excepcionais, precisando de pouquíssimo ajuste fino para várias aplicações. Eles servem como mecanismos cognitivos para robôs e veículos autônomos, utilizando seu entendimento profundo da dinâmica real. Para alcançar esse nível de sofisticação, os WFMs contam com grandes quantidades de dados de treinamento. 

O desenvolvimento do WFM se beneficia consideravelmente da geração de dados sintéticos infinitos por meio de simulações fisicamente precisas. Essa abordagem não apenas acelera o processo de treinamento de modelos, mas também melhora a capacidade dos modelos de generalizar em diversos cenários. As técnicas de randomização de domínio ampliam ainda mais esse processo, permitindo a manipulação de inúmeros parâmetros, como iluminação, fundo, cor, localização e ambiente, variações que seriam quase impossíveis de capturar de forma abrangente apenas com dados reais. 

O aprendizado robótico é um conjunto de algoritmos e metodologias que permitem que um robô adquira novas habilidades, como manipulação, locomoção e classificação, em um ambiente simulado ou real. Aprendizado por reforço, aprendizado por imitação e política de difusão são as principais metodologias aplicadas para treinar robôs.  

Uma habilidade importante para robôs é a manipulação: pegar coisas, organizá-las e colocá-las juntas, como se vê em fábricas. As demonstrações humanas do mundo real são geralmente usadas como dados de entrada para o treinamento. No entanto, coletar um conjunto grande de dados diversificados chega a ser muito caro. Com algumas demonstrações humanas, os desenvolvedores conseguem gerar movimentos sintéticos em ambientes simulados, acelerando o processo de treinamento do robô.

Para conseguir isso, os usuários podem primeiro usar o GR00T-Teleop para coletar um pequeno conjunto de demonstrações humanas com o Apple Vision Pro (AVP). As demonstrações gravadas são usadas para gerar um grande conjunto de movimentos sintéticos usando o GR00T-Mimic. Em seguida, eles usam o GR00T-Gen, baseado no NVIDIA Omniverse™ e no NVIDIA Cosmos™, para a randomização de domínio e o aumento do 3D para o real, gerando um conjunto exponencialmente grande e diversificado de dados de treinamento para aprendizado por imitação. 

O Software-in-loop (SIL) é uma fase de teste crucial para robôs e veículos autônomos com tecnologia de IA, em que o software de controle é testado em um ambiente simulado, em vez de em hardware real.

Os dados sintéticos gerados pela simulação garantem a modelagem precisa da física do mundo real, incluindo entradas de sensores, dinâmica de atuadores e interações ambientais. Isso também oferece uma forma de capturar cenários raros que seriam perigosos para coletar no mundo real. Isso garante que o stack de software do robô na simulação se comporte como se fosse no robô físico, permitindo fazer testes e validação minuciosos sem a necessidade de hardware físico.

O Mega é um Omniverse Blueprint para o desenvolvimento, o teste e a otimização de frotas de IA física e robôs em escala em um gêmeo digital antes da implantação em instalações do mundo real.

Esses robôs simulados podem realizar tarefas analisando e raciocinando sobre a situação em ambientes. Eles são capazes de calcular os próximos movimentos e depois realizar ações que são simuladas no gêmeo digital. Os dados sintéticos dessas simulações são enviados de volta para os cérebros do robô. Os cérebros do robô analisam os resultados e decidem qual ação devem tomar, repetindo esse ciclo, enquanto o Mega rastreia com precisão o estado e a posição de todos os ativos no gêmeo digital.

Os modelos generativos podem ser usados para incializar e expandir os processos de geração de dados sintéticos. Os modelos de texto para 3D permitem a criação de ativos 3D para preencher uma cena de simulação 3D. Os modelos de IA generativa de texto para imagem também podem ser usados para modificar e aumentar imagens existentes, geradas por simulações ou coletadas no mundo real, aplicando técnicas como inpainting (preenchimento de imagem) ou outpainting (expansão de imagem).

Os modelos de IA generativa de texto para texto, como o Evian 2 405B e o Nemotron-4 340B, podem ser usados para gerar dados sintéticos e desenvolver LLMs avançados para setores, como área da saúde, finanças, cibersegurança, varejo e telecomunicações. 

O Evian 2 405B e o Nemotron-4 340B fornecem uma licença aberta, concedendo aos desenvolvedores os direitos de possuir e utilizar os dados gerados em suas aplicações acadêmicas e comerciais.