Otaviano Helene é professor sênior do Instituto de Física e ex-presidente da Associação de Docentes da USP
Ranqueamentos de universidades, amplamente divulgados pela mídia, viraram quase uma epidemia. Muitas pessoas, impossibilitadas de terem acesso a informações mais adequadas, acabam por tirar conclusões muito mais gerais, e erradas, do que os rankings permitem.
Os ranqueamentos consideram, basicamente, a produção científica e a formação de pessoas, características avaliadas a partir de vários indicadores, como número de publicações científicas, número de alunos por professor (quanto menor, melhor), opiniões de pesquisadores sobre a instituição avaliada, presença de ex-alunos entre altos dirigentes de grandes empresas, opinião de empregadores sobre os estudantes formados, quantidade de ganhadores do Prêmio Nobel e da Medalha Fields entre os ex-alunos e no corpo docente, entre outros. E isso é feito para as diferentes áreas de conhecimento.
Evidentemente, há um processo de realimentação nos ranqueamentos. Os critérios usados nas avaliações não têm como objetivo, por exemplo, examinar se as instituições estão cumprindo as funções que a sociedade espera delas; para que isso ocorresse, seria necessário, primeiro, e evidentemente, pesquisar a opinião da sociedade. Mas isso não é feito e os critérios adotados para os ranqueamentos são, de fato, exatamente o que as instituições mais ricas – aquelas com maiores orçamentos totais, por pesquisador ou por estudante – e instaladas nos países e nas regiões mais ricas do mundo, fazem. Portanto, as regras do jogo definem previamente as vencedoras e aquelas instituições acabam por ocupar os primeiros lugares. Esses resultados, por um lado, dão credibilidade aos rankings, que “acertaram” ao classificar nos primeiros lugares aquelas instituições que, todos sabem, cumprem direitinho as tarefas que foram avaliadas; por outro lado, reforçam o prestígio que elas têm.
Mas, além desse pecado de origem, os ranqueamentos têm outros problemas e características que precisam ser examinadas. Apesar da similaridade de critérios entre as maiores empresas avaliadoras, as posições relativas das instituições podem variam bastante. Por exemplo, nas últimas avaliações disponíveis, o campus da Universidade da Califórnia em Berkeley aparece em terceiro lugar na avaliação da ARWU[i], em 27º na da QS e em décimo no ranking da THE, três empresas avaliadoras que analisam o mesmo conjunto de instituições. Situações similares ocorrem com muitas outras instituições que ocupam as posições mais elevadas nos rankings. Quando examinamos instituições que estão uma ou algumas centenas de posições abaixo das primeiras colocadas, como é o caso das instituições brasileiras mais bem classificadas, variações de um ranking para outro da ordem de centenas de posições não são raras. Portanto, mesmo supondo que os critérios usados nos ranqueamentos estejam de acordo com o que se espera de uma instituição de ensino e pesquisa, variações de algumas dezenas de posições entre as mais bem classificadas e de centenas, entre as que estão mais abaixo, não permitem tirar qualquer conclusão significativa além do fato de que pequenas variações nos critérios podem levar a grandes variações nas posições de uma instituição.

Ranqueamentos de universidades, amplamente divulgados pela mídia, viraram quase uma epidemia. Muitas pessoas, impossibilitadas de terem acesso a informações mais adequadas, acabam por tirar conclusões muito mais gerais, e erradas, do que os rankings permitem.

Supondo que os rankings deem informações adequadas, é importante observar que uma universidade pode estar muito bem posicionada quanto ao quesito pesquisa, mas não tão bem no quesito ensino e vice-versa. Entre as universidades consideradas de ponta, as diferenças segundo esses dois critérios podem ser de dezenas de posições. Nas universidades em posições próximas às melhores brasileiras, as diferenças podem ser de centenas de posições. Portanto, é necessário ficar atento para não tirar uma conclusão errada quanto ao prestígio ou à qualidade de uma instituição naquela característica em que se está interessado.
Estar mal posicionado em um ranking (ou nem sequer aparecer nele) pode ser totalmente irrelevante. Vamos examinar os três sistemas públicos de ensino superior da Califórnia. Dos dez campi da Universidade da Califórnia (cerca de 200 mil alunos de graduação), oito estão bem posicionados no THE. Mas dos 23 campi da Universidade do Estado da Califórnia (cerca de 400 mil graduandos), apenas um aparece naquele ranking, e não muito bem posicionado, e nenhum dos colleges, com cerca de 2,5 milhões de matrículas, é ranqueado. Entretanto, isso não causa preocupação, pois enquanto o primeiro sistema tem por função principal a pesquisa científica de ponta, característica muito considerada pelas instituições avaliadoras, o segundo dedica-se principalmente à formação de quadros profissionais, formando cerca da metade dos professores e dos engenheiros da Califórnia, e o sistema de colleges tem por função oferecer o ensino técnico e tecnológico e servir de ponte para os dois sistemas universitários. Em resumo, os três sistemas têm funções diferentes e os cumprem muito bem. Os critérios usados nos ranqueamentos podem fazer com que uma ação negativa faça uma universidade subir em um ranking. Por exemplo, segundo a QS, entre as cinco grandes áreas de conhecimento, a melhor posição ocupada pela USP, 114ª, é em Artes e Humanidades e a pior, 177ª, em Engenharia e Tecnologia. (As demais são: Ciências Naturais, 155; Medicina e Ciências da Vida, 129; Ciências Sociais, 146.) Portanto, se fecharem os departamentos das escolas de engenharia que têm “pior” desempenho – segundo os critérios daquela agência –, isso faria a USP subir no ranking, o que seria péssimo.
O inverso também ocorre: uma ação positiva pode fazer uma instituição cair no ranking. Por exemplo, pós-doutores e doutorandos dão uma importante contribuição para a produção de artigos científicos de uma universidade. Assim, eles contribuem para um aumento na relação entre o número de artigos acadêmicos publicados e o número de docentes, indicador comumente usado nas avaliações. Se uma universidade absorver parte de seus doutorandos e pós-doutores em seu corpo docente, todos ganhariam: as próprias pessoas absorvidas, que passariam a ter condições de trabalho mais estáveis; os estudantes, que teriam mais professores disponíveis para consultas; e toda a sociedade, quando esses novos professores viabilizassem o aumento do número de ingressantes e de concluintes. Apesar disso, a universidade que fizesse isso cairia de posição em um ranking que dá grande peso para a produção de artigos por docente, pois a quantidade de trabalhos publicados com a contribuição e participação daquelas pessoas continuaria a mesma, mas o número de docentes estaria aumentado, reduzindo, assim, a relação artigos publicados por docente. Portanto, deve-se tomar cuidado com as conclusões possíveis que se pode chegar ao observar uma variação no ranking.

[…] se fecharem os departamentos das escolas de engenharia que têm “pior” desempenho – segundo os critérios daquela agência –, isso faria a USP subir no ranking, o que seria péssimo

Além do fato de que os critérios adotados pelas empresas ranqueadoras não necessariamente respondem ao que se espera de uma instituição universitária – e estudantes e professores da “má” colocada Universidade do Estado da Califórnia possivelmente sabem bem disso –, outro exemplo da fragilidade das classificações é o fato de que elas não divulgam valores absolutos, mas apenas comparativos. Por exemplo, se todas as instituições de um grupo forem excelentes, ainda assim haverá uma última colocada, sendo esta, uma excelente instituição. Se todas forem péssimas, ainda assim haverá uma posicionada em primeiro lugar: e é uma péssima instituição. Portanto, é melhor examinar se as instituições universitárias estão cumprindo com as funções que a sociedades espera delas em lugar de examinar sua posição em uma classificação.
As pessoas tendem a pensar que as universidades disputam uma espécie de corrida de obstáculos e que elas sempre melhoram e avançam. Isso não é verdade. Por exemplo, se uma universidade que estivesse atrás de outra em um determinado ano a “ultrapassasse” no ano seguinte, não significaria, necessariamente, que ambas melhoraram, uma delas, mais do que a outra. Pode ser que ambas tenham piorado, e a que estava na frente tenha piorado bem mais intensamente do que aquela que a ultrapassou.
Se uma universidade subiu em um ranking, pode ser que ela não tenha melhorado em nada, foram as outras que pioraram. Por exemplo, a crise financeira iniciada em 2007, muito forte nos países industrializados, afetou muito negativamente as instituições de ensino superior. Isso se manifestou na forma de aumento da evasão, redução do número de ingressantes, diminuição do número de formados, redução na quantidade de publicações ou da taxa de crescimento do número de artigos, diminuição dos patrimônios financeiros usados para financiar a instituição (coisa bastante comum nos EUA), entre outras. Portanto, universidades de países menos afetados pela crise podem ter subido no ranking não porque elas melhoraram, mas porque as outras pioraram.
Infelizmente, como estamos rodeados de rankings por todos os lados, somos vítimas de uma epidemia de análises simplificadoras. Mesmo no ambiente acadêmico ouvimos e vemos pessoas concluírem coisas a partir dos rankings que vão muito além do que as informações permitem.
Em resumo, não basta ver a posição que uma instituição ocupa em um ranking ou o que aconteceu com ela nos últimos anos. É fundamental examinar o próprio ranking, para saber se ele mede o que queremos saber. E caso alguém pense em ranquear os rankings, que o faça logo, pois já há pelo menos uma empresa fazendo isso[ii]: ranqueando universidades segundo uma média ponderada dos resultados de vários rankings. Na ponderação, esses rankings são ranqueados, dando-se pesos diferentes para os resultados das diferentes empresas ranqueadoras.