O Impacto das Inteligência Artificial nas Ciências Sociais

O Impacto dos Grandes Modelos de Linguagem (LLMs) nas Ciências Sociais A crescente influência de grandes modelos de linguagem (LLMs), como o ChatGPT, tem levantado sérias preocupações entre pesquisadores de diversas áreas das ciências sociais. A psicóloga Raluca Rilla, doutoranda no Instituto Max Planck para o Desenvolvimento Humano em Berlim, suspeita que a resposta de um voluntário "Eu não experimentei a confusão da mesma forma que os humanos" a um questionário seja apenas um indicativo de um problema maior: a contaminação de dados de pesquisa por inteligência artificial.

Contaminação de Dados e Fraudes em Pesquisas Rilla e seus colegas estimam que até 45% das respostas em pesquisas acadêmicas podem ser copiadas e coladas de LLMs. Em alguns casos, os participantes podem simplesmente estar aprimorando sua linguagem, mas em outros, a operação inteira – desde a inscrição até o envio das respostas – pode ser realizada por máquinas. Isso compromete a fidedignidade dos dados coletados, pois as respostas refletiriam a realidade da IA, e não a natureza humana.

• Psicologia: Respostas de questionários podem ser geradas por IA.
• Ciência Política, Economia e Pesquisas de Opinião: Pesquisadores de diversas áreas estão alertando para o impacto dos LLMs.

Aceleração de Descobertas Espúrias e o Paradoxo da Produtividade David Lazer, cientista político e de computação da Northeastern University, expressa preocupação com a fase de análise. Análises assistidas por IA podem inundar periódicos com descobertas espúrias, acelerando o processo de pesquisa de forma preocupante. Um periódico já registrou um grande aumento no número de manuscritos recebidos que foram total ou parcialmente preparados usando ferramentas de IA.

O problema é paradoxal: a tecnologia pode aumentar enormemente a produtividade. A revista Organization Science relatou um aumento de 42% no número de manuscritos submetidos após o lançamento público do ChatGPT. A maioria dessas submissões continha texto total ou parcialmente gerado por IA. Kevin Munger, cientista político e editor de jornais, previu um aumento de 50% nas submissões para principais jornais de ciência política.

Vulnerabilidade das Ciências Sociais Joshua Tucker, cientista político da Universidade de Nova York, destaca que o impacto nas ciências sociais é especialmente agudo. Isso ocorre porque, em comparação com outras disciplinas, grande parte da pesquisa em ciências sociais depende fortemente de dados e análises de pesquisas. Quando os pesquisadores não coletam os dados diretamente, eles analisam grandes conjuntos de dados gerais, como censos, que foram coletados para outros propósitos. Isso permite que sinais aparentes em dados sejam extraídos de "ruído" de forma mais fácil do que em dados experimentais específicos.

Björn Hommel, psicólogo da Universidade de Leipzig, alerta que a confiança nas ciências comportamentais e sociais pode ser minada por essa ameaça constante de poluição por LLM.

O Potencial Transformador da IA Apesar das preocupações, existe uma visão alternativa: os sistemas de IA podem transformar as ciências sociais, tornando suas descobertas mais robustas. Os mesmos algoritmos que podem ser usados para trabalhos superficiais também podem:

• Obter e analisar conjuntos de dados complexos rapidamente.
• Alternar entre técnicas estatísticas para verificar a sensibilidade de uma descoberta.
• Ajudar a identificar erros metodológicos em revisões.
• Tucker afirma que não devemos ignorar os benefícios da IA, que abre a possibilidade de realizar muitas pesquisas interessantes.

Exemplo Prático: Análise Rápida de Dados Lazer demonstrou como LLMs podem ser usados para produzir rapidamente um artigo de pesquisa convincente. Ele utilizou dados de uma pesquisa americana sobre confiança pública e legitimidade institucional. Uma análise rápida sobre o uso de agonistas de GLP-1 (medicamentos para diabetes que auxiliam na perda de peso) sugeriu que os maiores usuários não eram necessariamente aqueles com necessidades clínicas. Lazer mostrou que um LLM poderia redigir essa observação em uma hora, transformando-a em um artigo acadêmico de 28 páginas, com revisão da literatura, tabelas e figuras. Lazer ressalta que, embora a descoberta possa ser legítima, ele está avaliando o que é possível fazer e o que deve ser feito, questionando se está terceirizando sua capacidade criativa essencial para a IA.

Desafios e Soluções em Potencial A contaminação dos dados de pesquisas por metodologias baseadas em LLMs é um problema complexo. Em plataformas de crowdsourcing, como Amazon Mechanical Turk e Prolific, que pagam pequenas quantias aos voluntários, há um incentivo para fraudar o sistema.

No entanto, cientistas como Rilla estão implementando verificações em suas pesquisas, conhecidas como "honeypots", para detectar o uso de LLMs. A esperança é que existam maneiras de salvar a integridade das pesquisas online.

Artigo de Referência: doi.org/10.1038/d41586-026-01726-y