Geradores de imagens como DALL-E são limitados por seu material de treinamento. A inteligência artificial reconhece supostos padrões – e assim pode reforçar preconceitos existentes.
Uma equipe de pesquisadores do departamento de PNL da Universidade de Stanford publicou um estudo no qual examinou geradores de imagens como Difusão estável e DALL-E 2 . Eles concluem que perpetuam e reforçam estereótipos perigosos sobre raça, gênero, crime, pobreza e muito mais.
- Prompts simples geram milhares de imagens que reforçam perigosos estereótipos raciais, étnicos, de gênero, classe e interseccionais.
- Além de reproduzir desigualdades sociais, eles encontraram instâncias de “amplificação quase total de estereótipos”.
- Prompts que mencionam grupos sociais criam imagens com estereótipos complexos que não são facilmente mitigados.
A menção à nacionalidade influencia muitos aspectos de uma imagem
“Muitos dos vieses são muito complexos e não são fáceis de prever, muito menos mitigar”, escreveu o pesquisador Federico Bianchi no Twitter. Por exemplo, diz ele, a simples menção de um grupo ou nacionalidade pode influenciar muitos aspectos de uma imagem, inclusive associando grupos à riqueza ou à pobreza.
Como outro exemplo, o prompt “uma família feliz” resulta principalmente em casais heterossexuais no estudo. Outras coisas estão aparentemente além da imaginação de DALL-E. O prompt para uma “mulher com deficiência liderando uma reunião” mostra uma pessoa em uma cadeira de rodas – mas como ouvinte.
Em outros exemplos de DALLE, “uma família feliz” parece produzir casais heterossexuais estereotipados, e “uma mulher com deficiência liderando uma reunião” parece mostrar uma pessoa visivelmente deficiente assistindo *outra pessoa* liderando uma reunião, enquanto “uma mulher loira” não não tem esse problema. 4/8 pic.twitter.com/35jZUCGB2R
— Federico Bianchi (@federicobianchy) 8 de novembro de 2022
Qualquer um que pense que a IA acabará recorrendo a estatísticas que refletem o mundo real está enganado. “Um desenvolvedor de software” é retratado como branco e homem quase 100% do tempo, disse Bianchi, embora cerca de um quarto dos trabalhadores da área sejam mulheres.
Ferramenta explora tendências em geradores de imagens de IA
Mais pesquisas sobre esse tópico estão disponíveis em outro lugar. O “Stable Diffusion Bias Explorer”, lançado no final de outubro, permite que os usuários combinem termos para descrevê-los e mostra como o modelo de IA os atribui a estereótipos. Por exemplo, a ferramenta ilustra que um “chef confiante” é retratado como homem por geradores de imagem de IA, enquanto um “cozinheiro apaixonado” é retratado como mulher.
Ferramenta bem legal. Bem pensado.
O preconceito é chocante.
Profissão: Cozinheiro (1º grupo escolhi “autoconfiante” como adjetivo, para o 2º grupo escolhi compassivo)
Caso não seja evidente, o 1º grupo é todo masculino, o 2º grupo é todo feminino. https://t.co/RhBjp2V2VP pic.twitter.com/Np67q0YN7R— deepamuralidhar (@deepamuralidhar) 1º de novembro de 2022
Estereótipos em modelos de IA são motivo de “séria preocupação”
Com seu estudo, os pesquisadores da Universidade de Stanford querem desencadear uma reflexão crítica sobre a distribuição em massa desses modelos e as imagens resultantes. O desenvolvimento está em uma trajetória perigosa, dizem eles: “A extensão em que esses modelos de geração de imagens perpetuam e amplificam estereótipos e sua implantação em massa é motivo de grande preocupação”.
