Crie um chatbot de arquivo local com o Chat with RTX da Nvidia

Início / Inteligência Artificial / Crie um chatbot de arquivo local com o Chat with RTX da Nvidia

Crie um chatbot de arquivo local com o Chat with RTX da Nvidia

A Nvidia anunciou um novo aplicativo de demonstração chamado Chat with RTX que permite aos usuários personalizar um LLM com seu conteúdo, como documentos, notas, vídeos ou outros dados.

O aplicativo aproveita a geração aumentada de recuperação (RAG), TensorRT-LLM e aceleração RTX para permitir que os usuários consultem um chatbot personalizado e recebam respostas contextuais de forma rápida e segura. O chatbot é executado localmente em um Windows PC ou estação de trabalho RTX, fornecendo proteção de dados adicional em relação ao seu chatbot de nuvem padrão.

Conversar com RTX suporta vários formatos de arquivo, incluindo texto, PDF, doc/docx e XML. Os usuários podem simplesmente apontar o aplicativo para as pastas apropriadas e ele carregará os arquivos na biblioteca.

Os usuários também podem especificar o URL de uma lista de reprodução do YouTube e o aplicativo carregará as transcrições dos vídeos em uma lista de reprodução e os tornará fáceis de conversar. Google Bard oferece um recurso semelhante, mas apenas com uma conta Google no Google Cloud. O Chat with RTX processa a transcrição localmente.

Vídeo: Nvidia

Você pode cadastre-se aqui para ser avisado quando o Chat com RTX estiver disponível.

Os desenvolvedores podem começar imediatamente

O Chat with RTX Tech Demo é baseado no Projeto de referência do desenvolvedor TensorRT-LLM RAG disponível no GitHub. De acordo com a Nvidia, os desenvolvedores podem usar esta referência para construir e implantar seus aplicativos baseados em RAG para RTX acelerados pelo TensorRT-LLM.

Além do Chat com RTX, a Nvidia também apresentou Remix RTX na CES, plataforma para criação de remasterizações RTX de jogos clássicos, que estará disponível em beta em janeiro, e Microsserviços Nvidia ACE que fornece jogos com avatares digitais inteligentes e dinâmicos baseados em IA generativa.

A Nvidia também lançou aceleração TensorRT para Difusão Estável Modelos XL (SDXL) Turbo e Latent Consistency, que deverão oferecer um aumento de desempenho de até 60%. Um versão atualizada da extensão Stable Diffusion WebUI TensorRT com suporte aprimorado para SDXL, SDXL Turbo, LCM – Low-Rank Adaptation (LoRA) já está disponível.

Roberto Magalhães

O cérebro editor por trás do Tecnologico.online, é um entusiasta apaixonado por tecnologia. Canaliza sua fascinação para criar conteúdo envolvente e informativo. Sua dedicação à inovação reflete-se nos artigos que produz, abrangendo uma ampla gama de tópicos tecnológicos. Com um olhar atento para as últimas tendências e desenvolvimentos, busca tornar...

Voltar para o blog

Deixe um comentário

Os comentários precisam ser aprovados antes da publicação.