SMERF do Google transmite casas inteiras em 3D em seu smartphone em tempo real

Início / Google / SMERF do Google transmite casas inteiras em 3D em seu smartphone em tempo real

O SMERF do Google pode transmitir representações 3D de casas inteiras para um smartphone em tempo real.

Pesquisadores do Google, Google DeepMind e da Universidade de Tübingen revelaram o SMERF, uma nova tecnologia que permite a renderização 3D em tempo real de grandes cenas, como casas inteiras, em uma variedade de dispositivos, incluindo smartphones e laptops.

SMERF, que significa Streamable Memory Efficient Radiance Fields (Campos de radiância com eficiência de memória), é um método baseado em NeRFs que depende de MERFs ( Campos de brilho com eficiência de memória ​) com maior eficiência de memória.

SMERF aprende com Zip-NeRF

A SMERF é especializada no aprendizado de grandes representações 3D, como casas inteiras de pesquisadores participantes. A equipe combina um esquema de particionamento de modelo hierárquico no qual diferentes partes do espaço e os parâmetros aprendidos são representados por diferentes MERFs. Isso aumenta a capacidade do modelo e limita os requisitos computacionais e de memória – representações 3D tão grandes não podem ser renderizadas em tempo real com NeRFs clássicos.

Leia também: Conheça o Plus Code do Google Maps, todos os lugares do planeta tem um endereço

Para melhorar a qualidade de renderização do SMERF, os pesquisadores utilizam uma destilação “professor-aluno”, na qual um indivíduo já treinado e de alta qualidade Zip NeRF modelo (o “professor”) é usado para treinar um novo modelo MERF (o “aluno”). Esta abordagem permite aos pesquisadores transferir os detalhes e a qualidade da imagem do modelo Zip-NeRF mais poderoso para uma estrutura mais eficiente e rápida, o que é particularmente útil para aplicações em dispositivos menos potentes, como smartphones e laptops.

SMERF transmite espaços 3D fotorrealistas em tempo real por meio de um navegador da web

Uma vez treinado, o SMERF permite navegação completa de seis graus de liberdade em um navegador da web e renderização em tempo real em smartphones e laptops populares.

A capacidade de renderizar grandes cenas 3D em tempo real é importante para uma variedade de aplicações, incluindo videogames, realidade virtual e aumentada e aplicações profissionais de design e arquitetura. No Google, ele poderia ser usado para uma Visão imersiva por exemplo.

No entanto, existem limitações: embora o método ofereça excelente qualidade de reconstrução e eficiência de armazenamento, está associado a elevados custos de armazenamento, longos tempos de carregamento e um elevado esforço de treino. No entanto, o trabalho mostra que NeRFs e campos de radiação semelhantes ainda podem ter vantagens sobre os respingos gaussianos 3D.

Mais informações podem ser encontradas no Página do projeto SMERF. Há também demonstrações mostrando streaming em tempo real de apartamentos e outros ambientes.

Roberto Magalhães

O cérebro editor por trás do Tecnologico.online, é um entusiasta apaixonado por tecnologia. Canaliza sua fascinação para criar conteúdo envolvente e informativo. Sua dedicação à inovação reflete-se nos artigos que produz, abrangendo uma ampla gama de tópicos tecnológicos. Com um olhar atento para as últimas tendências e desenvolvimentos, busca tornar...

Voltar para o blog

Deixe um comentário

Os comentários precisam ser aprovados antes da publicação.