Isso é profundamente preocupante.
É mais provável que os pesquisadores escolham modelos estatísticos cujos resultados estejam alinhados com suas convicções ideológicas.
Setenta e uma equipes de pesquisa analisaram independentemente o mesmo conjunto de dados sobre o efeito da imigração no apoio público a programas de bem-estar social.
Equipes compostas por pesquisadores pró-imigração foram mais propensas a concluir que o efeito foi positivo. Equipes compostas por pesquisadores anti-imigração foram mais propensas a encontrar um efeito negativo.
Vou repetir: eles analisaram literalmente o mesmo conjunto de dados.
Valerio Capraro
Resumo do artigo: “Ideological Bias in the Production of Research Findings”:
O artigo examina como as opiniões ideológicas pessoais dos pesquisadores, sobre imigração, influenciam seus achados empíricos em pesquisas de ciências sociais relevantes para políticas. Ele aproveita uma viviência única obtida por muitas contribuições, de de “muitos-analistas” online para demonstrar que a ideologia pode sutilmente viciar escolhas analíticas, levando a resultados divergentes mesmo quando todos usam o mesmo conjunto de dados e abordam a mesma questão de pesquisa.
Configuração chave: A experiência subjacente
A análise baseia-se em um estudo de 2022 realizado por Breznau, Rinke, Wuttke e coautores (BRW).
Setenta e uma equipes de investigação independentes (num total de 158 investigadores) receberam dados idênticos do International Social Survey Programme (ISSP) em 17 países europeus.
A hipótese compartilhada a ser testada: Uma maior proporção de imigrantes em um país reduz o apoio público às despesas/políticas sociais do estado-providência?
As equipes tiveram flexibilidade nas escolhas de criação de modelos (por exemplo, seleção de variáveis, agregação, controles, efeitos fixos).
Antes de analisar os dados, os pesquisadores foram entrevistados sobre suas próprias opiniões sobre a política de imigração (escala: se as leis de imigração devem ser flexibilizadas ou tornadas mais rígidas).
Principais resultados: A evidência de viés ideológicos.
Os resultados variaram amplamente entre as equipes: alguns encontraram um efeito negativo (a imigração corrói a assistência social), outros um efeito positivo (a imigração aumenta a assistência) e muitos não encontraram efeito nenhum.
Há uma forte correlação estatística entre as opiniões pró/anti-imigração dos pesquisadores e os resultados que eles relataram:
Equipes pró-imigração (a maioria favorecendo leis relaxadas) tendem a relatar efeitos positivos ou nulos (efeito marginal médio em torno de +0,014).
As equipes anti-imigração (mesmo um único membro com visões restritivas) tendiam a relatar efeitos negativos (média em torno de -0,019).
Este viés opera endogenamente por meio de decisões analíticas: A ideologia influencia os “graus de liberdade do pesquisador” (por exemplo, como agregar variáveis, se incluir efeitos fixos por país/ano, escalonamento dos controles).
Cinco principais escolhas de design explicaram por si só até 68% da variação nos efeitos estimados.
Avaliações Adicionais
Qualidade metódológica: Revisões cegas por pares; das submissões das equipes; avaliaram as equipes moderadas (centristas) com maior rigor. Equipes com visões extremas (fortemente pró ou anti-imigração) receberam notas de qualidade mais baixas, sugerindo que os extremos ideológicos comprometem a objetividade.
Os pesquisadores se inclinaram, predominantemente, a favor da imigração (distribuição distorcida), o que os autores observam poderia sistematicamente inclinar a literatura mais ampla para encontrar efeitos neutros/ positivos da imigração sobre as atitudes de bem-estar.
Nenhuma evidência de manipulação de dados ou viés de fraude, o viés entra por meio de escolhas legítimas mas subjetivas de criação de modelos.
Implicações e Conclusões
O artigo destaca uma dificuldade para as ciências sociais relevantes para políticas: quando os tópicos tocam em fortes antecedentes (por exemplo, imigração, bem-estar social), a ideologia do pesquisador pode moldar descobertas sem alterar os dados brutos.
Pede melhores mecanismos para detectar e mitigar tais vieses, como o pré-registro de análises, maior transparência nas especificações ou análises multiverso (testando muitas especificações).
Por fim, ressalta a necessidade de maior replicabilidade e objetividade para manter a confiança nas evidências científicas que informam as políticas públicas.
Este estudo fornece evidências diretas raras de influência ideológica na produção da pesquisa, além de questões comuns como p-hacking ou viés de publicação. É uma contribuição significativa para a metaciência, mostrando como até mesmo analistas bem intencionados podem chegar a conclusões ideologicamente congruentes a partir da mesma evidência.
