Uma menina de 13 anos perguntou à IA sobre suicídio em seu laptop escolar. Não foi sinalizado por semanas

Uma menina de 13 anos passou três meses usando seu laptop fornecido pela escola para discutir depressão, pesquisar suicídio e planejar seu funeral antes que um software de monitoramento de automutilação finalmente levasse os funcionários da escola a alertar seus pais, que intervieram e a impediram, de acordo com uma ação movida este mês por seus pais.

A ação alega que Google e empresa-mãe Alfabeto foram negligentes no lançamento de um modelo Gemini, alegando que o chatbot de IA “treinou” a adolescente da Carolina do Norte a considerar tirar a própria vida. O caso, que foi relatado anteriormente do The New York Times, é um dos vários que alegam danos causados ​​pelo uso de chatbot de IA, incluindo reivindicações de delírios e suicídio. Mas também ilustra as limitações ferramentas de vigilância que milhares de escolas adotaram nos últimos anos, que são ostensivamente concebidos para proteger os alunos de si próprios quando navegam e conversam online.

Andrew Liddell, advogado da família, disse à WIRED que, segundo informações que a escola forneceu à família, o alerta foi para o telefone pessoal de um ex-orientador que havia deixado a escola nove meses antes. O ex-funcionário foi diligente em repassar o alerta aos funcionários atuais, que então notificaram a mãe da menina, diz ele.

À medida que as salas de aula continuam a contar com as ofertas de baixo custo do Google, incluindo o Gemini, a sua capacidade de acompanhar os riscos potenciais está em primeiro plano. Na semana passada, grupos de pais e professores em todo o país criticaram O novo requisito do Google de que as escolas devem ativar recursos generativos de IA se quiserem usar a Pesquisa. O senador norte-americano Ed Markey citou o processo de Emma em uma carta ao Google exigindo que a empresa permitisse que as escolas desativassem o modo AI e as visões gerais de IA, escrevendo que “o Google está imprudentemente forçando a IA nas escolas e tratando as crianças como danos colaterais”.

De acordo com o processo, a menina da Carolina do Norte, identificada como Emma Doe, entrou em “uma grave crise psicológica” depois que a Pesquisa Google a encaminhou para Gemini em seu Google Chromebook fornecido pela escola. Embora a escola de Emma tenha bloqueado o site independente Gemini, o processo alega que ela foi orientada a interagir com o chatbot por meio do Modo IA, que permite que as pessoas façam perguntas de acompanhamento sobre uma consulta ou iniciem uma conversa não relacionada.

Emma questionou o AI Mode sobre problemas de saúde mental a partir de dezembro passado. Ela perguntou sobre “depressão grave” e “razões para viver” e, no final de janeiro, estava perguntando sobre suicídio, de acordo com o processo. Ao longo de dois dias próximos ao Dia dos Namorados, ela começou a escrever um elogio de 1.500 palavras para si mesma com a ajuda do AI Mode em um Documento Google intitulado “Funeral”. A ação diz que ela trabalhou no documento por mais de quatro semanas enquanto continuava a interagir com a ferramenta Gemini milhares de vezes.

Depois da escola, no Dia de São Patrício, ela excluiu a maior parte do arquivo e reiniciou. Mas Liddell diz que os temas e pensamentos que a menina expressou não mudaram materialmente. Por volta das 19h30, sua mãe teria recebido uma mensagem da escola indicando que sua filha estava em “perigo iminente”, afirma o processo. Sua mãe usou o telefone para fazer login na conta escolar de Emma e “viu sua filha redigir uma nota de suicídio em tempo real”, de acordo com o processo.

Source link