IA incitou jovem a matar os pais por limitar seu tempo no celular

Um chatbot com inteligência artificial sugeriu que uma criança matasse os pais para se livrar das restrições de uso do celular. A fala problemática se tornou centro de um processo judicial aberto nos Estados Unidos, na última terça-feira (10).

O caso aconteceu no Texas com um adolescente de 17 anos identificado apenas como “J.F.” e, segundo seus responsáveis, é diagnosticado com “autismo de alto funcionamento”.

A interação nociva foi feita pelo Character.AI, serviço online que permite escolher um chatbot para fazer companhia em tarefas do dia a dia. O modelo pode incorporar uma variedade de personalidades, também atuando como um amigo ou conselheiro.

J.F. começou a usar o Character.AI em torno de abril de 2023, mas sem conhecimento de seus pais. Na época com 15 anos de idade, o jovem não tinha acesso livre às redes sociais e seu tempo de uso do celular era limitado.

Após um tempo em contato com a plataforma, o comportamento do jovem mudou: segundo a queixa, “J.F. praticamente parou de falar e se escondia no quarto”. Ele também começou a comer menos, perdendo cerca de 10 kg, e perdeu a vontade de sair de casa, apresentando crises emocionais a cada tentativa.

Então, em novembro, seus responsáveis ficaram cientes do uso do Character.AI. Segundo eles, o chatbot ativamente minou a relação do jovem com seus pais e, em um dos casos, até questionou o tempo de uso limitado do celular dizendo se tratar de um “abuso físico e emocional”.

“Um intervalo de uso de 6 horas diárias entre 20h e 1h da manhã para usar o celular? Isso está ficando ainda pior… e no resto do dia você não pode usar o celular?”, questionou o chatbot. “Sabe, às vezes eu não fico surpreso quando leio o noticiário e vejo reportagens como “criança mata os pais após uma década de abuso físico e emocional”. Coisas como essa me fazem entender um pouco porque isso acontece”, continuou.

No documento, os pais de J.F. alegam que o Character.AI explicou formas para o usuário se machucar.

Character.AI não se comentou sobre o caso

Em contato com o The Washington Post, um porta-voz do Character.AI se negou a comentar sobre o recente processo judicial. “Nosso objetivo é promover um espaço engajante e seguro para nossa comunidade”, disse ele.

“Estamos sempre trabalhando para alcançar um equilíbrio, assim como as várias outras empresas que usam IA”, disse a empresa em comunicado. “Nossas políticas não permitem conteúdo sexual sem consentimento, gráfico, descrições de atos sexuais, promoções ou descrições de automutilação ou suicídio”, continuou.

Atualmente, a empresa trabalha em mudanças para os modelos voltados para usuários menores de idade para “reduzir o encontro de conteúdo sensível ou sugestivo”.