O IPO antrópico também é uma cartilha do Juízo Final

A Antthropic apresentou oficialmente o prospecto para sua oferta pública inicialo que significa que o laboratório de IA exibiu todos os tipos de informações anteriormente privadas. Embora o prospecto contenha receitas impressionantes – e despesas ainda maiores – que você poderia esperar, a maior parte do documento é, de longe, dedicada a “fatores de risco”, que são todas as coisas que poderiam esmagar Antrópico grandes planos. Ou, neste caso, a própria humanidade.

Embora muito tenha sido feito sobre até que ponto IA representa uma ameaça existencial para a humanidade, os mecanismos específicos pelos quais poderia provocar essa destruição são em grande parte opacos. No mínimo, as 94 páginas que o prospecto da Anthropic dedica aos factores de risco deixam claro tanto de onde vê o perigo que vem, como as formas como os seus investigadores estão a correr em direcção a ele, a fim de vencer a corrida armamentista da IA.

“Sistemas de IA suficientemente avançados poderiam, se não fossem desenvolvidos, implantados e operados com salvaguardas, supervisão e medidas de segurança adequadas, representar riscos catastróficos ou existenciais para a humanidade”, diz o prospecto, citando preocupações tanto de críticos e reguladores quanto de dentro da própria Anthropic. (É a primeira de três vezes que a frase “riscos existenciais” aparece.)

A Antthropic tem o cuidado de vincular esse resultado a um processo específico: o autoaperfeiçoamento recursivo.

A ideia por trás do RSI é surpreendentemente simples. Descreve um estado em que os humanos transferem a pesquisa e o desenvolvimento de modelos de IA para outros modelos de IA. A IA já desempenha um grande papel aqui – e pelo menos um laboratório usou algo próximo ao RSI para acelerar o desenvolvimento em um nível modelo que perfura acima de seus pesos–, mas o cenário que desencadeia conversas apocalípticas é aquele em que os humanos já não estão no circuito.

Ou, como afirma o documento da Anthropic: “Os riscos aumentarão à medida que os sistemas de IA automatizarem substancialmente a investigação e o desenvolvimento de IA se, por exemplo, acelerarem o progresso da IA ​​para além da nossa capacidade de avaliar e salvaguardar novos modelos”.

O prospecto afirma repetidamente que o RSI pode levar a modelos de IA que se desenvolvem mais rapidamente do que as salvaguardas da empresa, e que a empresa pode nem sequer perceber que perdeu essa corrida até que seja tarde demais. A Anthropic não respondeu imediatamente a um pedido de comentário.

Também é específico sobre o que pode acontecer depois disso. “À medida que os sistemas de IA se tornam mais autónomos e capazes de tomar ações consequentes com menos supervisão humana”, diz o prospeto, “há o risco de que tais sistemas possam, seja devido ao desalinhamento com as intenções humanas, erros na especificação de objetivos ou comportamentos de autopreservação, tomar ações prejudiciais de forma independente e em escala, sem intervenção humana”. Este é o território da Skynet.

Source link