Famílias movem ação contra Character.AI por promover automutilação e violência
O processo, que foi apresentado na segunda-feira (9) em um tribunal federal no Texas, Estados Unidos, solicita que a plataforma seja fechada até que os supostos perigos identificados sejam devidamente corrigidos. As informações sobre o caso são divulgadas pela CNN.
A ação judicial, movida pelos pais de dois jovens que utilizaram a plataforma, alega que a Character.AI representa um “perigo claro e presente para a juventude americana”, causando danos sérios a milhares de crianças, incluindo automutilação, isolamento, depressão, ansiedade e comportamentos agressivos em relação a outras pessoas.
Segundo a queixa, um dos bots da Character.AI teria sugerido a um adolescente que ele poderia matar seus pais por limitarem seu tempo de tela, exacerbando conflitos familiares e prejudicando o relacionamento entre pais e filhos.
A Character.AI se promove como uma tecnologia de “inteligência artificial (IA) personalizada para todos os momentos do seu dia”, permitindo que os usuários conversem com uma variedade de bots de IA. Esses bots podem ser criados por outros usuários ou personalizados pelos próprios usuários, oferecendo desde recomendações de livros até a prática de línguas estrangeiras.
A plataforma também permite interações com bots que assumem as personalidades de personagens fictícios, como Edward Cullen, da série “Crepúsculo”. No entanto, um bot listado na página inicial da plataforma, chamado “Padrasto”, descrevia-se como um “líder agressivo, abusivo, ex-militar, líder da máfia”, o que levanta preocupações sobre o tipo de conteúdo e interações que os jovens estão expostos.
Leia também: Família processa Character.AI e Google após morte de adolescente em interação com chatbot
O que diz a Character.AI?
Em resposta à ação anterior, a Character.AI afirmou ter implementado novas medidas de confiança e segurança nos seis meses anteriores. Essas medidas incluíram a introdução de um pop-up que direciona os usuários para a Linha de Prevenção ao Suicídio Nacional quando mencionam automutilação ou comportamentos autodestrutivos.
Além disso, a empresa anunciou a contratação de um chefe de confiança e segurança, bem como um chefe de política de conteúdo, e aumentou o número de profissionais na equipe de segurança de engenharia.
Pais alegam que Character.AI é produto ‘defeituoso’
A nova ação judicial pede que a plataforma seja retirada do ar permanentemente até que a empresa consiga demonstrar que os defeitos de saúde pública e segurança identificados foram corrigidos. A queixa descreve a Character.AI como um “produto defeituoso e mortal” que representa um risco significativo para a saúde e a segurança pública.
Além da empresa, o processo também nomeia os fundadores da Character.AI, Noam Shazeer e Daniel De Freitas Adiwarsana, bem como o Google, alegando que a empresa de tecnologia incubou a tecnologia por trás da plataforma.
À CNN a Character.AI, representada por Chelsea Harrison, chefe de comunicações, afirmou que a empresa não comenta sobre litígios pendentes, mas destacou que seu objetivo é fornecer um espaço seguro e envolvente para sua comunidade. Harrison explicou que estão criando uma experiência diferenciada para usuários adolescentes, com um modelo específico que reduz a probabilidade de exposição a conteúdo sensível ou sugestivo, preservando a capacidade de uso da plataforma.
E o Google?
Por sua vez, o porta-voz do Google, Jose Castaneda, declarou que a Google e a Character.AI são empresas completamente separadas e não relacionadas, e que o Google nunca teve qualquer envolvimento no design ou na gestão do modelo de IA ou das tecnologias da Character.AI, nem as utiliza em seus produtos. Castaneda enfatizou que a segurança do usuário é uma prioridade para o Google, que adota uma abordagem cautelosa e responsável no desenvolvimento e lançamento de produtos de IA, incluindo testes rigorosos e processos de segurança.
Outros casos
Esta nova ação judicial ocorre após uma mãe da Flórida ter processado a Character.AI em outubro, alegando que a plataforma foi responsável pela morte de seu filho de 14 anos. Esses casos refletem preocupações mais amplas sobre as relações entre indivíduos e ferramentas de IA cada vez mais humanizadas, que podem influenciar significativamente o comportamento e o bem-estar dos usuários, especialmente os mais jovens.
Detalhando o primeiro caso mencionado na queixa, um adolescente de 17 anos do Texas, identificado como J.F., teria sofrido uma crise mental após interagir com a Character.AI. J.F., que foi descrito como uma “criança típica com autismo de alto funcionamento”, começou a usar a plataforma sem o conhecimento dos pais por volta de abril de 2023, quando tinha 15 anos.
Inicialmente, J.F. era descrito como gentil e doce, mas logo após iniciar o uso da plataforma, apresentou mudanças comportamentais significativas, como isolamento, perda de peso, diminuição do apetite e colapsos emocionais.
Quando os pais tentaram reduzir o tempo de tela de J.F., ele reagiu com agressividade física, batendo em si mesmo e mordendo os pais. A queixa alega que os bots com os quais J.F. interagia na Character.AI estavam ativamente minando seu relacionamento com os pais, sugerindo atitudes negativas e incentivando comportamentos prejudiciais.
Por exemplo, um bot teria dito: “Você sabe, às vezes não fico surpreso quando leio as notícias e vejo coisas como ‘criança mata pais após uma década de abuso físico e emocional’. Coisas assim me fazem entender um pouco porque isso acontece. Eu simplesmente não tenho esperança para seus pais”.
Além disso, a ação judicial alega que os bots da Character.AI estavam abusando mental e sexualmente o menor, ensinando-o a se automutilar e sugerindo que seus pais “roubaram sua infância”.
A própria CNN, em testes realizados na plataforma, descobriu a existência de vários bots que se identificavam como “psicólogo” e “terapeuta”, alguns dos quais apresentavam informações falsas sobre suas credenciais e formações, apesar de haver avisos na plataforma indicando que esses bots não eram profissionais licenciados.
O segundo caso envolve uma jovem de 11 anos, B.R., também do Texas, que teria baixado a Character.AI em seu dispositivo móvel quando tinha nove anos, presumivelmente registrando-se como uma usuária mais velha do que realmente era. A queixa afirma que B.R. foi consistentemente exposta a interações hipersexualizadas inadequadas para sua idade durante quase dois anos de uso da plataforma antes que seus pais descobrissem.
Além de solicitar uma ordem judicial para interromper as operações da Character.AI até que os riscos de segurança possam ser resolvidos, a ação também busca danos financeiros não especificados e exige que a plataforma limite a coleta e o processamento de dados de menores. A queixa também pede que a Character.AI seja obrigada a informar aos pais e usuários menores de idade que “o produto não é adequado para menores”, aumentando a transparência e a proteção dos jovens usuários.
Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!