O plano GR00T-DREAMS gera dados para treinar o raciocínio e o comportamento do robô humanóide. Fonte: Nvidia
No Computex Today, em Taipei, Taiwan, Nvidia Corp. anunciou Isaac Gr00T N1.5, a primeira atualização do seu modelo de fundação aberto, generalizado e personalizável para o raciocínio e habilidades do robô humanóide. A empresa com sede em Santa Clara, Califórnia, também revelou o Isaac GR00T-DREAMS, um plano para gerar dados de movimento sintético, bem como a NVIDIA Blackwell Systems para acelerar o desenvolvimento humanóide.
“A IA física e a robótica trarão a próxima revolução industrial”, afirmou Jensen Huang, fundador e CEO da Nvidia. “Do cérebro de IA para robôs a mundos simulados para praticar ou supercomputadores de IA para modelos de fundação para treinamento, a NVIDIA fornece blocos de construção para todas as etapas da jornada de desenvolvimento de robótica”.
Os desenvolvedores de robótica e outros desenvolvedores de robótica, robótica, Boston Dynamics, Fourier, Foxlink, Galbot, Mentee Robotics, Neuro Robotics, General Robotics, Skild AI e XPeng Robotics estão adotando Nvidia Isaac Tecnologias da plataforma para avançar no desenvolvimento e implantação do robô humanóide.
“A IA física é a próxima onda de IA”, disse o Rev LeBededian, vice -presidente de Omniverse e tecnologia de simulação na NVIDIA. “A IA física entende as leis da física e pode gerar ações baseadas em insumos de sensores. A IA física incorporará três tipos principais de robôs, instalações como as fábricas e armazéns de nossos parceiros de Taiwan, robôs de transporte, robôs (industriais), humanóides, manipuladores e AMRs (robôs automóveis)” ””
NVIDIA ISAAC GR00T Blueprint de geração de dados fecha a lacuna de dados
Em seu computex palestraHuang disse que os sons Isaac GR00T podem ajudar a gerar grandes quantidades de dados de movimento sintético. AI física Os desenvolvedores podem usar essas trajetórias neurais para ensinar robôs novos comportamentos, incluindo como se adaptar aos ambientes em mudança.
Os desenvolvedores podem primeiro o cosmos pós-treino prevê modelos da World Foundation (Wfms) por seus robôs. Em seguida, usando uma única imagem como entrada, o GR00T-DREAMS gera vídeos do robô executando novas tarefas em novos ambientes.
O plano então extrai a ação Tokens – Dados de dados digestíveis e compactados – usados para ensinar robôs como executar essas novas tarefas, disse a Nvidia. O plano de Gr00t-Dreams complementa o Blueprint Isaac GR00T MIMICque foi lançado na conferência do GTC em março.
Enquanto Gr00t-Mimic usa o NVIDIA Omniverse e Cosmos Plataformas para aumentar os dados existentes, o GR00T-DREAMS usa cosmos para gerar dados totalmente novos.
Agora aceitando envios de sessão!
Novos modelos avançam no desenvolvimento humanóide
Nvidia Research Utilizou o plano GR00T-DREAMS para gerar dados de treinamento sintético para desenvolver GR00T N1.5 – Uma atualização para o GR00T N1 – em apenas 36 horas. Em comparação, ele disse que a coleta manual de dados humanos levaria quase três meses.
A empresa afirmou que GR00T N1.5 pode se adaptar melhor a novos ambientes e configurações do espaço de trabalho, além de reconhecer objetos por meio de instruções do usuário. Ele disse que esta atualização melhora significativamente a taxa de sucesso do modelo para tarefas comuns de manuseio de materiais e fabricação, como classificar ou guardar objetos.
O GR00T N1.5 pode ser implantado no Nvidia Jetson Thor Robot Computer, lançado ainda este ano.
“O GR00T N1.5 foi treinado em dados sintéticos gerados pelo novo grupo de sonhos”, explicou LeBededian. “O maior desafio no desenvolvimento de robôs é a lacuna de dados. É fácil para os desenvolvedores de LLM (Modelo de Linguagem Grandes) treinar modelos porque há uma riqueza de dados por aí. Mas os robôs precisam aprender sobre dados do mundo real, que são caros e demorados para capturar.”
“Então, em vez de capturar manualmente, por que não deixamos os dados dos robôs sonhadores?” ele acrescentou. “O grupo Dreams é um plano sintético de geração de dados, construído no NVIDIA Cosmos, um modelo de fundação do mundo aberto, em breve para abraçar o rosto. Primeiro, os desenvolvedores pós-treino Cosmos prevêem com dados de teleooperação capturados para uma única tarefa de robô, como picareta e lugar, em um único ambiente”.
“Uma vez que o pós-treino, os desenvolvedores podem usar uma única imagem e novos avisos para gerar sonhos, o futuro da imagem original”, continuou LeBededian. “Os desenvolvedores podem solicitar a captura de itens diferentes, como a maçã aqui ou a lata aqui. Então os sonhos são avaliados e filtrados pela Cosmos Motivo, um novo modelo físico de raciocínio de IA e rotulados automaticamente com dados de ação e trajetória”.
Os primeiros adotantes dos modelos GR00T N incluem airobot, Foxlink, Lightwheel e Neura Robotics. Airobot Emprega o modelo para permitir que o Alice4 compreenda instruções de linguagem natural e execute fluxos de trabalho complexos de escolha e lugar em ambientes industriais.
O FoxLink Group está usando -o para melhorar a flexibilidade e a eficiência do manipulador de robô industrial, enquanto o Lightwheel está aproveitando -o para validar dados sintéticos para mais rápido humanóide implantação de robôs em fábricas. A Robótica da Neuro está avaliando o modelo para acelerar seu desenvolvimento de sistemas de automação doméstica.
https://www.youtube.com/watch?v=GE7VDGR_J1G
Estruturas de simulação e geração de dados Treinamento de robôs de velocidade
Desenvolvendo altamente qualificado Robôs humanóides requer uma quantidade enorme de dados diversos, que é caro para capturar e processar, observou a NVIDIA. Os robôs precisam ser testados no mundo físico, que pode apresentar custos e riscos.
Para ajudar a fechar os dados e a lacuna de teste, a Nvidia revelou as seguintes tecnologias de simulação:
- Razão de Nvidia Cosmosum novo WFM que usa o raciocínio da cadeia de pensamento para ajudar a curar a curadoria Dados sintéticos para Mod AI físicoel treinamento, agora está disponível em Abraçando o rosto.
- Cosmos prevendo 2usado no GR00T-DREAMS, está chegando em breve para abraçar o rosto, com aprimoramentos de desempenho para a geração mundial de alta qualidade e a alucinação reduzida.
- Nvidia Isaac Gr00t Mimicum plano para gerar quantidades exponencialmente grandes de trajetórias de movimento sintético para manipulação de robôs, usando apenas algumas demonstrações humanas.
- Conjunto de dados de IA física de código abertoque agora inclui 24.000 trajetórias de movimento do robô humanóide de alta qualidade usadas para desenvolver modelos GR00T N.
- Nvidia Isaac Sim 5.0uma estrutura de geração de dados sintéticos e de simulação será aberta em breve Disponível no GitHub.
- Nvidia Isaac Lab 2.2Uma estrutura de aprendizado de robôs de código aberto, que apoiará novos ambientes de avaliação para ajudar os desenvolvedores a testar os modelos GR00T N.
O LeBededian elogiou como o GR00T N1.5 pode acelerar o desenvolvimento: “Os desenvolvedores usam esses sonhos para aumentar os dados de treinamento, melhorando o desempenho do modelo e reduzindo a necessidade de capturar manualmente dados de teleoperação por um fator de 20. Nossa equipe de pesquisa treinou Gr00t N1.5 usando sonhos gerados em 36 horas versus que teriam levado três meses para um humano para os homens.
Os desenvolvedores podem usar o RTX Pro 6000, a geração de dados sintéticos e a simulação para construir robôs além dos humanóides?
“Essencialmente, se você pensa sobre o que é um robô humanóide, é uma espécie de superconjunto de muitos dos outros tipos de robôs”, respondeu LeBededian O relatório do robô. “Tem locomoção. Pode se movimentar como um AMR. Tem braços que podem escolher no lugar, como um manipulador de robôs.”
“Uma das razões pelas quais gostamos de nos concentrar nos humanóides é se você pode resolver o problema humanóide, todos os outros problemas da robótica caem naturalmente a partir daí”, afirmou. “Portanto, o mesmo processo que usamos para gerar os dados sintéticos e depois testá -los se aplica a qualquer tipo de robô. Vemos muitos casos de uso para robôs humanóides e uma grande falta de dados”.
Foxconn e FoxLink estão usando o plano de GR00T MIMIC para a geração de manipulação de movimento sintético para acelerar seus pipelines de treinamento de robótica. Robótica de agilidade, Boston Dynamics, Fourier, Mentee Robotics, Neura Robotics e XPeng Robotics estão simulando e treinando seus humanóides usando o Isaac Sim e o Laboratório Isaac.
A SKILD AI está usando as estruturas de simulação para desenvolver a Inteligência em Robô Geral, e a General Robotics está integrando -as em sua plataforma de inteligência de robôs.
O robô de enfermagem colaborativo da Foxconn é um exemplo de aplicações hospitalares inteligentes desenvolvidas usando a NVIDIA Technologies. Fonte: Foxconn
Nvidia Blackwell Systems disponíveis para desenvolvedores de robôs
Os fabricantes de sistemas globais estão construindo NVIDIA RTX PRO 6000 estações de trabalho e servidores. Nvidia disse Ele oferece uma única arquitetura para executar facilmente cargas de trabalho de desenvolvimento de robôs em treinamento, geração de dados sintéticos, aprendizado de robôs e simulação. Isso faz parte de sua estratégia de criar “Fábricas da AI” com parceiros como Foxconn.
Cisco, Dell Technologies, Hewlett-Packard Enterprise, Lenovo e Supermicro anunciaram o RTX Pro 6000 Blackwell-Servidores poderosos, que serão usados para coisas como pesquisa de computação quântica. Enquanto isso, a Dell Technologies, HPI e Lenovo anunciaram NVIDIA RTX PRO 6000 BLACKWELL DO BLACKWELED PARTILIZADAS.
Quando mais computação é necessária para executar cargas de trabalho em larga escala ou geração de dados, os desenvolvedores podem explorar sistemas Blackwell como GB200 NVL72-disponível com NVIDIA DGX Cloud nos principais provedores de nuvem e Nvidia Cloud Partners – Para obter até 18x maior desempenho para o processamento de dados, disse a NVIDIA. Os desenvolvedores podem implantar seus modelos no Nvidia Jetson Agx Thor, em breve, para acelerar a inferência e o tempo de execução do robô.
Os desenvolvedores podem implantar seus modelos Robot Foundation na plataforma Jetson Thor. A empresa disse que também está chegando em breve para acelerar a inferência no robô e o desempenho do tempo de execução.
Nvidia também anunciou o seguinte:
Os servidores RTX Pro Blackwell fornecem aceleração para aplicativos de IA, design, engenharia e negócios para criar infraestrutura de TI com o novo design validado da NVIDIA Enterprise AI Factory. Fonte: Nvidia