Devemos considerar seriamente a possibilidade de que Claude, ou qualquer grande modelo de linguagem, possa estar consciente? E se tem sentimentos, é capaz de receber instrução moral?"

 No início deste ano, a Anthropic lançou uma "constituição" para a Claude, seu grande modelo de linguagem e produto principal; O CEO da Anthropic, Dario Amodei, disse que "estamos abertos à ideia" de que a IA poderia ser consciente; e a filósofa interna da Anthropic, Amanda Askell, disse em entrevista: "Quero que Claude seja muito feliz." https://lnkd.in/exMHjmwy

"Já é suficiente para fazer você pensar: Devemos considerar seriamente a possibilidade de que Claude, ou qualquer grande modelo de linguagem, possa estar consciente? E se tem sentimentos, é capaz de receber instrução moral?" Chiang pergunta. "De jeito nenhum."

"Conversas em LLM são exemplos habilmente disfarçados de continuação de frases", escreve Chiang. Talvez a forma mais produtiva de entender a constituição de Claude "seja como uma ficha de personagem de 83 páginas para um jogo de RPG. LLMs podem gerar diálogos para Júlio César porque muitos livros sobre ele existem nos dados de treinamento usados por esses modelos. A constituição da Claude desempenha um papel semelhante para delinear o caráter chatbot prestativo com o qual os clientes interagem ao usar os produtos da Anthropic."

"O resultado é uma máquina de continuação de frases que tende a emitir frases semelhantes às que uma pessoa reflexiva e moral poderia pronunciar", continua Chiang. "No entanto, apesar de todas as vezes que 'honestidade' é mencionada na constituição de Claude, eu argumentaria que é fundamentalmente desonesto que uma máquina emita muitas categorias de frases, incluindo qualquer frase que use pronomes na primeira pessoa."

"Sempre que uma pessoa delega uma decisão a um LLM, ela está tentando aliviar a responsabilidade por essa decisão, e se uma empresa que vende um LLM retrata o produto como tendo um centro moral, está oferecendo uma forma para seus clientes abdicarem de suas responsabilidades", escreve Chiang. "Descarregar tarefas como escrever código pode resultar em atrofia cognitiva a longo prazo, e isso já é problemático por si só, mas despachar decisões éticas resultará em atrofia do raciocínio moral, que é pior."

"É uma sorte que os LLMs não estejam conscientes", continua Chiang, "senão as ações das grandes empresas de IA seriam ainda mais escandalosas do que já são."