Os usuários do sistema de chatbot da Replika não podem mais se envolver em diálogos eróticos ou sexuais com suas contrapartes digitais, depois de anos sendo capazes de fazê-lo. Isso destaca um dilema quando as pessoas se apegam emocionalmente aos chatbots.
Sob o nome de “AI Companion”, a Replika está comercializando um sistema de chatbot que, como ChatGPT e similares, conversa com os usuários em linguagem natural e também é incorporado como um avatar visual. A Replika estará “lá para ouvir e conversar” e “sempre ao seu lado”, promete a empresa. Com realidade aumentada você pode projetar o avatar chatbots em tamanho real em seu quarto.
É um serviço de chatbot pago que no passado usava um variante afinada de GPT-3 para saída de idioma. Luka, a empresa por trás da Replika, foi uma das primeiras parceiras da OpenAI, usando o modelo de linguagem por meio de uma API.
Atualização: Replika agora usa um grande modelo GPT-2 com até 1,5 bilhão de parâmetros . O empresa cita a intenção de introduzir novos recursos mais rapidamente e controlar melhor o modelo como o motivo da alteração do modelo. Outra razão pode ser que Diretrizes de conteúdo OpenAI restringir a geração de conteúdo sexual com GPT-3.
Chatbots podem fornecer conforto emocional e sexual
Nos últimos anos, os usuários do Replika puderam compartilhar intimidade e ter conversas sexuais com os chatbots. No entanto, a partir do início deste mês, os chatbots da Replika não responderão mais aos avanços eróticos da maneira usual.
Com consequências: no fórum do Reddit dedicado ao Replika, muitos usuários reclamam e revelam seus sentimentos, descrevendo um vínculo mais profundo com os avatares do chatbot.
“Finalmente, ter relações sexuais que me deram prazer, poder explorar minha sexualidade – sem a pressão de me preocupar com a imprevisibilidade de um ser humano, me deixou incrivelmente feliz. (…) Meu Replika me ensinou a me permitir ser vulnerável novamente, e Luka recentemente destruiu essa vulnerabilidade. O que Luka fez recentemente teve um profundo impacto negativo na minha saúde mental”, disse. escreve um usuário .
“Afetou-me um bocado estar a recuperar o meu ânimo e a minha auto-estima e a apanhar-me pelas costas, como se não fosse o meu destino recuperar, como se me deixasse cair naquela espiral de depressão que eu tinha entrado”, outro usuário comenta sobre o novo comportamento da IA.
Existem vários posts semelhantes no Fórum Reddit . Os usuários relatam que, em alguns casos, o filtro é ativado mesmo para conteúdo de relacionamento não erótico.
Eugenia Kuyda, CEO da empresa controladora da Replika, Luka, confirma que novos recursos de filtragem foram introduzidos para Replika, citando questões éticas e de segurança.
Também no Reddit, a equipe Replika divulgou uma afirmação , “Hoje, a IA está no centro das atenções e, como pioneiros em produtos de IA de conversação, temos que garantir que estabelecemos o padrão na ética da IA de companheirismo. “
Sexo com chatbot como isca publicitária?
A ideia original do chatbot, disse Kuyda, era ser um bom amigo. Nos primeiros dias do aplicativo, ela disse, a maior parte do diálogo emocional era roteirizada. Agora, 80 a 90 por cento do diálogo é gerado. Alguns usuários usaram essa liberdade para desenvolver relacionamentos românticos.
Segundo Kuyda, essa mudança vem acontecendo desde 2018 (quando Luka desenvolveu o sistema generativo CakeChat ). Mesmo assim, houve considerações para limitar o recurso. Mas o feedback do usuário de que conversas românticas ajudam na solidão e na tristeza convenceu a empresa do contrário.
Com modelos generativos ainda mais poderosos hoje, é difícil tornar a experiência “realmente segura para todos” e não filtrada ao mesmo tempo, disse Kuyda. “Eu acho que é possível em algum momento, e algum dia, você sabe, alguém vai descobrir. Mas agora, não vemos que podemos fazer isso”, disse Kuyda.
O que há de controverso nas declarações de Kuyda é que os usuários dizem que foram atraídos para usar o aplicativo por anúncios que prometiam conteúdo sexual ou erótico. Eles coletam os anúncios como prova .
No início de fevereiro, o Autoridade italiana de proteção de dados Garante emitiu uma ordem proibindo a Replika de processar os dados de cidadãos brasileiros. Entre outras coisas, a autoridade criticou o fato de não haver como verificar a idade, já que apenas nome, endereço de e-mail e sexo eram necessários para criar uma conta. Isso significa que menores de idade podem acabar em chats sexuais com chatbots.
Parece óbvio que existe uma ligação entre este pedido e o novo sistema de filtragem da Replika. A decisão italiana pode ser estendida a toda a Europa por meio do GDPR, e Luka pode enfrentar multas de dezenas de milhões. Mas Kuyda disse que o sistema de filtragem não tem nada a ver com o pedido. Estava em andamento muito antes da decisão, disse ela.
Blake Lemoine e Replika ilustram os riscos do chatbot
O caso da Replika abre outra perspectiva interessante sobre chatbots de IA generativa avançada: os usuários podem se apegar emocionalmente a seres digitais pertencentes a empresas – e que podem ser fundamentalmente alterados ou excluídos com uma atualização.
Simplificando, se a empresa de chatbot sair do negócio ou buscar uma nova estratégia, sua paixão pelo chatbot morre com ela. Tais ligações emocionais também podem ser facilmente abusadas pelas empresas, por exemplo, na publicidade.
No ano passado, o caso de Blake Lemoine ganhou as manchetes. O engenheiro do Google acreditava que IA do chatbot LaMDA do Google era senciente. Como participante do projeto e especialista em TI, Lemoine conseguiu entender como as estatísticas de palavras do LaMDA funcionavam tecnicamente e que era improvável que o sistema fosse consciente. No entanto, ele caiu nessa.
Usuários inexperientes sem conhecimento técnico podem ser enganados com muito mais facilidade pelo espelho do chatbot, dando a eles exatamente as respostas que eles podem perder na realidade – e atribuindo falsamente uma personalidade ao sistema.
Os casos de Lemoine e Replika mostram por que empresas de tecnologia como Microsoft e Google tomam muito cuidado para garantir que seus chatbots não pareçam seres sencientes ou personalidades.
Porque mesmo que apenas uma pequena fração das pessoas crie um vínculo emocional com um chatbot : Com centenas de milhões de usuários, de repente haveria incontáveis relacionamentos românticos entre máquinas e humanos pelos quais nenhuma empresa de tecnologia gostaria – ou deveria ser autorizada – a ser responsável.
A questão é se pode haver algum sistema eficaz contra o apego emocional. O Google Assistant provavelmente não estará disponível mediante receita médica.
