Os sensores SPAD lidam com o ruído de maneira diferente de um sensor CMOS, reduzindo o desfoque nas imagens de vídeo. Crédito: Ubicept
A Ubicept lançou no mês passado o Ubicept Toolkit, que, segundo ela, traz imagens baseadas na física para sistemas modernos de visão computacional. A empresa afirmou que sua abordagem fornece dados confiáveis e de alta qualidade.
O kit de ferramentas permite o processamento off-line e ao vivo de vídeos complementares de semicondutores de óxido metálico (CMOS) e câmeras de diodo de avalanche de fóton único (SPAD), auxiliando no reconhecimento de objetos e na consciência espacial. A Ubicept afirmou que seus sensores SPAD oferecem imagens superiores com pouca luz e alto contraste em comparação com câmeras convencionais.
As câmeras industriais em uso nas últimas quatro décadas usaram sensores CMOS. Esta também é a mesma tecnologia usada em câmeras fotográficas digitais e câmeras de segurança, portanto seu volume de produção torna os sensores CMOS relativamente baratos.
O problema com as câmeras CMOS é que as imagens com pouca luz podem apresentar ruído e os vídeos capturados com um sensor CMOS ficam desfocados quando visualizados em um único quadro.
A invenção: melhor resolução em pouca luz
Ubicept disse que sua nova abordagem é usar SPAD sensores com um novo pipeline de processamento de imagem para melhorar o contraste e a clareza das imagens e/ou vídeos resultantes. Isso também oferece melhorias imediatas na qualidade da imagem com o hardware CMOS existente, de acordo com a empresa com sede em Boston. empresa.
Para aplicações de percepção de visão em situações de pouca luz, como direção autônoma à noite, a Ubicept disse que seu sistema pode efetivamente melhorar vários cenários extremos que confundem os canais existentes de navegação e percepção baseados em câmeras.
A tecnologia SPAD, que captura cada fóton com resolução inferior a nanossegundos, pode melhorar a qualidade da imagem em vários ambientes, afirmou a empresa.
A Ubicept planeja integrar seu software com hardware existente, como chips Qualcomm Snapdragon e NXP, para melhorar modelos de percepção em aplicações robóticas e automotivas. Espera-se que a tecnologia amadureça e se torne mais acessível nos próximos um a dois anos.
Ilustração simplificada da técnica de contagem ponderada de fótons. Quanto mais cedo for a chegada do primeiro fóton incidente, mais brilhante será a luz incidente. Crédito: Canon
“A tecnologia da Ubicept revoluciona a forma como as máquinas veem o mundo, revelando todo o potencial dos sensores de imagem de hoje e de amanhã”, afirmou Sebastian Bauer, CEO da Ubicept. “Nossa abordagem baseada na física captura toda a complexidade do movimento, mesmo em condições de pouca luz ou alta faixa dinâmica, fornecendo dados mais confiáveis do que o aprimoramento de vídeo baseado em IA.”
“Com o Ubicept Toolkit, estamos agora tornando nossa imagem avançada de fóton único mais acessível para uma ampla gama de aplicações, desde robótica até sensoriamento automotivo e industrial”, acrescentou.
Hardware versus software
Quando questionado sobre o roteiro do produto, Bauer respondeu: “O que lançamos é um software que as pessoas podem executar com a GUI (interface gráfica do usuário), mas também possui uma API (interface de programação de aplicativos). E o que ele faz é processar off-line os vídeos CMOS existentes”.
“Você também pode conectar câmeras CMOS ao vivo e obter saídas processadas ao vivo”, disse ele. “Você pode conectar seu computador a uma câmera SPAD e realmente ver a diferença de qualidade com nossas imagens, avaliar a qualidade da melhoria do CMOS em relação ao SPAD e construir seu próprio aplicativo de visão computacional.”
A Ubicept disse que seu sistema foi projetado para os sensores mais avançados para maximizar a qualidade e confiabilidade dos dados de imagem. Ele observou que o Ubicept Toolkit pode suportar qualquer câmera CMOS amplamente disponível com saída bruta não compactada, proporcionando aos desenvolvedores de percepção ganhos imediatos de qualidade.
A empresa disse que quer trabalhar com desenvolvedores de robótica e fabricantes de câmeras para desenvolver uma nova geração de percepção inteligente.
“Não estamos planejando fabricar sensores nós mesmos, mas temos um IP (propriedade intelectual) muito bom para sensores empilhados 3D, o que significa fazer algum processamento diretamente no chip do sensor e, essencialmente, todo o caminho até a percepção”, disse Bauer. “Se você pensa em câmeras, você tem uma câmera que é um sensor, além de um ISP ou chip de processamento de sinal de imagem, e então você tem um modelo de percepção.”
“Nosso pensamento é construir toda essa pilha completa, incluindo um ISP/pipeline de processamento completo, usando percepção de termo único fisicamente ideal e convertendo-a em saída de percepção de alta qualidade, como detecção de objetos, localização e mapeamento simultâneos (SLAM), odometria visual”, explicou ele.
Ubicept faz parceria com Pi Imaging Technology
Tecnologia de imagem Pi é líder na área com seus SPAD Alfauma câmera de 1 megapixel de próxima geração que oferece zero ruído de leitura, controle de exposição em nível de nanossegundos e taxas de quadros de até 73.000 fps. Projetada para aplicações científicas exigentes, a câmera oferece aos pesquisadores e desenvolvedores extrema precisão temporal e sensibilidade à luz.
As empresas disseram que o Ubicept Toolkit se baseia nesses pontos fortes, transformando os dados brutos de fótons do SPAD Alpha em imagens claras e prontas para uso para percepção e análise.
“A Ubicept compartilha nosso profundo compromisso com o avanço da tecnologia de percepção”, disse Michel Antolović, CEO da Pi Imaging Technology. “Ao combinar o hardware de última geração do nosso SPAD Alpha com o processamento em tempo real do Ubicept, os engenheiros de percepção podem obter o máximo do que a imagem de fóton único tem a oferecer.”
A Ubicept disse que seu kit de ferramentas fornece às equipes de engenharia tudo o que precisam para visualizar, capturar e processar dados de vídeo de forma eficiente com o algoritmo Ubicept Photon Fusion (UPF). O SPAD Toolkit também inclui o firmware FLARE (Flexible Light Acquisition and Representation Engine) da Ubicept para captura otimizada de fótons.
Além disso, o Ubicept Toolkit vem com “suporte exclusivo para os primeiros usuários para uma experiência altamente personalizada e premium”, disse a empresa.
