Estamos vendo uma métrica tsunami, com ondas gigantes de propostas simplistas e abundância de detritos. Chamamos esse fenômeno de simplimetrificação, e ele tem o efeito irônico de permitir que pesquisadores e instituições se sintam bem ao fazerem algo que não queriam fazer.

Globalmente, as faculdades de educação em universidades de pesquisa estão convergindo em torno da ideia de que é de extrema importância ser mais impactante, tornando a própria noção de impacto um novo fetiche. Essa adoração fetichista tem gerado o uso ritualístico de modelos de recompensa e punição baseados em métricas para realizar três objetivos simultâneos e evasivos: aumentar o seu impacto na pesquisa, ganhar prestígio institucional e demonstrar altos níveis de produtividade e inovação acadêmica.
Hoje é raro encontrar uma faculdade de educação que não está solicitando aos professores que apresentem relatórios anuais de métricas mensuráveis, tais como o número de artigos publicados nas chamadas revistas de alto fator de impacto, citações obtidas, financiamentos, bolsas e prêmios de pesquisa.
Claramente, esse modelo de responsabilização dos professores universitários não é exclusivo das faculdades de educação. Está internacionalmente presente em todas as áreas e campos. Amanda Cooper relata que existem 19 países que usam modelos de financiamento de pesquisa baseados em desempenho que podem ser melhor descritos como seguindo ‘Metric Tide’ e ‘Ranking Mania’ das universidades contemporâneas.
Para sermos claros, não nos opomos ao uso de métricas claras para avaliar a pesquisa e não acreditamos que uma oposição nostálgica aos modelos atuais, com apelos para voltar a uma era de ouro idealizada da Academia, seja a melhor maneira de abordar as preocupações com a melhor forma de medir o impacto do corpo docente. Acreditamos que precisamos ser cuidadosos e identificar, resistir e substituir qualquer política simplista que use métricas mal construídas e incentivos para melhorar a pesquisa educacional. Entendemos que as faculdades de educação irão se beneficiar grandemente com a lembrança da Lei de Goodhart: “Quando uma medida se torna um alvo, deixa de ser uma boa medida.”

Métrica tsunami. O problema que os pesquisadores do campo da educação estão enfrentando é que, mesmo quando há um amplo consenso sobre a conveniência de produzir pesquisas mais engajadas com sentido público, não há um sistema fácil e eficaz de capturar essa produção acadêmica e sua relevância em um campo diverso como é o da Educação. Na maioria dos casos, ao invés de adotar modelos cautelosos e que capturem a complexidade da questão, o campo adotou sistemas simplificados e métricas que são mais fáceis de quantificar, mas não parecem promover pesquisa de maior impacto.
Os resultados são bastante evidentes: longe de encorajar a exploração de novas áreas e aprofundar as conexões entre pesquisadores educacionais e outros investigadores, professores, administradores, formuladores de políticas, jornalistas e o público em geral, o uso sistemático de medidas simplificadoras consolida os hábitos de seguir procedimentos simplificadores.
Ao responder a sistemas estreitos que acoplam incentivos simples a alvos simples, os efeitos são bastante problemáticos. O que estamos vendo é uma métrica tsunami, com ondas gigantes de propostas simplistas e abundância de detritos. Chamamos esse fenômeno de simplimetrificação da pesquisa educacional porque é uma dessas ideias ruins, que tem o efeito irônico de permitir que os pesquisadores e suas instituições se sintam bem consigo mesmos ao fazerem algo que não é o que eles queriam fazer.
A simplimetrificação aumenta continuamente os itens contáveis com impacto (mais artigos, mais citações em revistas mais difíceis de publicar), mas não há indicadores claros e convincentes de que a qualidade, o acesso, a relevância e a transferência da pesquisa educacional tenham melhorado significativamente.

Novos rituais e produtividade. No período de 1980 a 2015, houve um rápido aumento de artigos de pesquisa publicados em todas as áreas. Somente em 2014, mais de 2,5 milhões de artigos foram publicados com um custo estimado de 15 bilhões de dólares. O campo da Educação mostra uma tendência muito semelhante. Todos os anos publicamos mais.
Espera-se que a produção acadêmica também esteja mostrando indicações saudáveis de aumento do rigor científico, mas é mais difícil obter indicações de relevância e transferência para outros pesquisadores, escolas e organizações educativas de tanta produção.
Temos muitas evidências de que a simplimetrificação do campo de pesquisa educacional gera novos rituais e incremento da produtividade, e não há dúvida de que os pesquisadores educacionais continuaram gerando inovações. Mas agora precisamos de pensar em modelos de incentivos e avaliação orientados não só para a quantidade, mas para fazer melhores e mais relevantes perguntas que simultaneamente consolidem os avanços conceituais do campo e contribuam para a democratização da educação.

Gustavo E. Fischman e Sandra Regina Sales