A IA É CONFIÁVEL PARA GERAR REFERÊNCIAS ACADÊMICAS? CLARO QUE NÃO.

 A IA É CONFIÁVEL PARA GERAR REFERÊNCIAS ACADÊMICAS? CLARO QUE NÃO.

🤖 Às vezes, você tem sorte de os alunos "sugerir" temas de pesquisa. Quando vi há alguns anos que as referências citadas em muitos dos trabalhos de aula eram plausíveis, mas falsas, achei interessante, especialmente considerando a adoção já massiva de chatbots de IA para realizar qualquer tipo de trabalho intelectual.

Junto com Pavel Sidorenko Bautista fomos incentivados a fazer um pequeno experimento com as versões gratuitas de 8 chatbots (ChatGPT, Claude, Gemini, Grok, Copilot, DeepSeek, Le Chat e Perplexity). Os resultados são preocupantes e acho que valem a pena compartilhá-los.

📊 O fato mais marcante
Apenas 26,5% das referências estavam completamente corretas. Quase 40% foram errôneos ou inventados diretamente. Grok e DeepSeek lideravam em confiabilidade; Copilot e Perplexidade em alucinações.

📚 Artigos vs. livros: não é a mesma coisa
Chatbots são muito mais atentos ao gerar referências para artigos científicos (78% das referências falsas) do que ao citar livros (12,9%). Isso tem uma implicação direta: quanto mais você se afasta das Ciências Sociais e Humanidades – onde predominam os livros – e entra em Engenharia, Biomedicina ou Ciências Experimentais, maior o risco de a referência ser inventada.

⏳ Referências atuais? Cuidado com a armadilha
A idade média das referências era de 14,7 anos. O Le Chat gerou referências com uma idade média de 45 anos (incluindo uma do século XVIII!). Perplexidade e Claude realmente geraram referências muito recentes... Mas a maioria era falsa. Novidade não garante veracidade.

🔄 O problema da sobreposição
45% das referências do DeepSeek e do Grok correspondiam às do ChatGPT. Essa convergência sugere dados de treinamento semelhantes e apresenta riscos: a diversidade intelectual diminui, e a inovação com ela.

💰 Uma lacuna de acesso ao conhecimento causada pela IA?
O estudo foca nas versões gratuitas, que são as mais utilizadas pelos alunos. Versões pagas oferecem melhores resultados, mas nem todos podem arcar com eles. Isso aponta para uma "divisão de IA" emergente: aqueles que acessam ferramentas premium recebem informações mais confiáveis.

🎓 O que precisamos agora: alfabetização em citações por IA
Uma simples busca pelo título entre aspas é suficiente para detectar muitas referências inventadas. Há sinais claros de alerta: sobrenomes genéricos (Smith, García,...) ou títulos muito amplos. As universidades devem incorporar a verificação de referências gerada por IA como competência central.

📄 Cabezas-Clavijo, Á. & Sidorenko-Bautista, P. (2026). Avaliando o desempenho de 8 chatbots de IA na recuperação bibliográfica de referências: Grok e DeepSeek superam o ChatGPT, mas nenhum é totalmente preciso. Journal of Data & Information Science. https://lnkd.in/ehmcaJMc (acesso aberto)