Como os modelos de código aberto se comparam aos modelos comerciais como o GPT-3? Uma ferramenta fornece uma visão geral útil das qualidades de muitos dos principais modelos de idiomas pagos e gratuitos.
O setor de IA comercial pode ser dividido em três áreas:
- Fabricantes de chips ou provedores de nuvem, como Nvidia e Google, estão no nível de hardware ou infraestrutura.
- Os provedores de modelos de IA estão no nível da plataforma.
- E no nível do aplicativo estão aqueles que oferecem aplicativos baseados nos modelos, que podem ou não ser as mesmas empresas do nível da plataforma.
Por exemplo, OpenAI oferece seu próprio produto baseado em GPT 3.5, ChatGPT enquanto muitas empresas usam o API GPT para construir seus próprios geradores de texto.
Na camada de plataforma, existem inúmeras empresas promovendo seus modelos, como OpenAI ou Alef Alfa bem como algumas ofertas de código aberto, como GPT-NeoX . Essas empresas e ofertas são a fonte da maioria das interfaces de IA de linguagem realmente usadas pelos consumidores.
Compare facilmente a saída de modelos de texto AI
Qual modelo de idioma é adequado para sua aplicação depende de vários fatores. Na maioria dos casos, a qualidade da saída gerada provavelmente será o fator decisivo.
No entanto, fazer login em cada plataforma ou instalar cada modelo e verificar manualmente a saída é demorado e consome muita energia. O ex-CEO do Github, Nathaniel Friedman, criou o Playground, uma plataforma que alimenta automaticamente seu prompt para modelos de vários idiomas, comerciais e de código aberto, e mescla a saída em uma plataforma.
A captura de tela a seguir mostra a saída dos diferentes modelos quando perguntado se o modelo é uma banana. Você pode clicar com o botão direito do mouse na imagem, abri-la em uma nova janela e ampliar para ler o texto.
Os modelos OpenAI GPT estão claramente à frente
A ferramenta facilita a comparação de modelos de linguagem. No entanto, isso pode nem sempre ser justo, pois os parâmetros ajustáveis se aplicam a todos os modelos, mas nem todos os modelos reagem ao mesmo parâmetro da mesma maneira.
Por exemplo, o controle deslizante de “temperatura” dá ao modelo alguma margem de manobra criativa, que provavelmente será usada com intensidade variável, dependendo de seu treinamento e arquitetura.
Mas a plataforma também oferece uma solução para isso: a saída do mesmo modelo pode ser testada com diferentes parâmetros em paralelo. Isso lhe dá uma ideia do efeito de um parâmetro.
Ainda assim, Friedman descreve a vantagem de qualidade dos modelos GPT da OpenAI em sua plataforma de comparação como “deprimente”.
“A OpenAI deveria pagar por todo o site porque é uma excelente publicidade”, escreve Friedman. Mas ele acrescenta que alguns modelos pré-treinados podem simplesmente precisar de mais ajustes e RLHF para produzir resultados significativamente melhores.
Friedman planeja liberar o código de sua plataforma em um futuro próximo. Uma visão geral dos modelos atualmente integrados e suas especificações técnicas estão disponíveis aqui . Você pode aceda aqui à plataforma Playground .
