NeRFshop permite editar objetos em NeRFs diretamente. O projeto mostra como pode ser o futuro do trabalho criativo.
Neural Radiance Fields (NeRFs) são uma representação 3D neural de cenas ou objetos e se tornaram uma tecnologia central para gráficos neurais nos últimos anos. Ferramentas como a da Nvidia InstantNGPName, Nerfstudio ou aplicativos como Luma AI permitem aprender cenas 3D a partir de uma simples gravação de vídeo e até manter a exposição correta.
NeRF não pode ser editado até agora
No entanto, as representações complexas em redes neurais dificultam a edição de conteúdo diretamente nos NeRFs. Embora existam projetos como RecolorNeRF que podem ser usados para mudar a paleta de cores em NeRFs, mudanças extensas na forma de objetos, por exemplo, ainda não são possíveis.
Com NeRFshop, pesquisadores europeus estão demonstrando um método para mudar a posição de objetos dentro de NeRFs ou ajustar sua forma. Os usuários podem marcar um objeto com um simples pincel dentro do InstantNGP, e um algoritmo converte a marca em uma região 3D que pode ser ajustada. Esta região pode então ser transformada em um tetraedro.
Essa gaiola tetraédrica resultante pode então ser manipulada seletivamente: uma xícara muda de posição sobre uma mesa, uma escavadeira gira sua pá ou os dedos de um personagem se fecham em punho.
NeRFshop para ser melhorado
As mudanças no NeRF podem então ser aprendidas retreinando o NeRF, que pode então ser processado nos pipelines usuais.
O trabalho da equipe visa impulsionar novas tendências na manipulação de cena neural e eles planejam explorar métodos para corrigir inconsistências na iluminação, sombras e realces após o processamento. O processamento introduz artefatos e distorções perceptíveis, mas o NeRFshop já reduz alguns deles.
Outras melhorias são possíveis à medida que a gaiola fica mais fina. No entanto, “tornar esse método rápido o suficiente para manter a interatividade é um desafio em aberto”, disse a equipe.
Mais informações e exemplos estão disponíveis no NeRFshop página do projeto. Outra abordagem para tornar a tecnologia NeRF mais acessível é a Nerfstudio de código aberto que fornece um processo simplificado de ponta a ponta para criar, treinar e visualizar NeRFs.
