Vicunha: GPT-4 gosta deste chatbot quase tanto quanto ChatGPT

Depois do Alpaca vem o Vicuna, um chatbot de código aberto que, segundo seus desenvolvedores, está ainda mais próximo do desempenho do ChatGPT.

Vicunha segue a fórmula alpaca e usa ChatGPT saída do para ajustar um grande modelo de linguagem do Metas LLaMA família. A equipe por trás do Vicuna inclui pesquisadores da UC Berkeley, CMU, Stanford e UC San Diego.

Enquanto Alpaca e outros modelos inspirados por ele são baseados na versão de 7 bilhões de parâmetros do LLaMA, a equipe por trás do Vicuna usa a variante maior de 13 bilhões de parâmetros.

Para o ajuste fino, a equipe usa 70.000 conversas compartilhadas por usuários na plataforma ShareGPT usando o ChatGPT da OpenAI.

O treinamento da vicunha custa metade do da alpaca

O custo da Vicunha era de cerca de EUA$ 300 – metade do custo da Alpaca, apesar de ter quase o dobro do tamanho. O motivo: os dados compartilhados do ShareGPT estão disponíveis gratuitamente, enquanto Stanford gerou seus próprios dados por meio da API OpenAI. Portanto, a Vicuna tem apenas custos de treinamento. Assim como o modelo de Stanford, a Vicunha é liberada apenas para uso não comercial.

Em testes com questões de referência, o Vicuna mostra respostas significativamente mais detalhadas e melhor estruturadas do que o Alpaca após o ajuste fino com os dados do ShareGPT. Eles estão em um nível comparável ao ChatGPT, escreve a equipe.

Para avaliar melhor o desempenho de seu chatbot, a equipe está usando GPT-4 o modelo mais recente da OpenAI, capaz de fornecer classificações consistentes e pontuações detalhadas ao comparar diferentes chatbots.

A equipe compara o GPT-4 com uma versão de 13 bilhões de parâmetros do Alpaca, o modelo LLaMA original da Meta, o Bard do Google e o ChatGPT. GPT-4 mostra ChatGPT no topo, Vicunha e Bard quase empatados, Alpaca e LLaMA bem atrás. No entanto, o benchmark GPT-4 é “não científico” e uma avaliação mais aprofundada é necessária, disse a equipe.

O modelo Vicuna está disponível para uso não comercial

Vicunha conhece problemas como fraqueza de raciocínio e matemática e produz alucinações. Para a demonstração publicada, a equipe também conta com a API de moderação da OpenAI para filtrar a saída inadequada. “No entanto, prevemos que a vicunha pode servir como um ponto de partida aberto para pesquisas futuras para lidar com essas limitações”.

Com seu primeiro lançamento, a equipe liberou códigos relevantes, como para treinamento. Desde então, também lançou os pesos do modelo Vicuna-13B, embora estes exijam um modelo LLaMA-13B existente.

Quem quiser experimentar a Vicunha pode fazê-lo através deste demonstração.

Artigos relacionados