Será que o Web Qualis é o melhor indicador?

O sonho positivista de indexar o mundo continua cada vez mais presente na atual política de pós-graduação nacional. Não apenas indexar, porém classificar e valorar. Grosso modo a qualidade dos programas de pós é aferida por suas publicações em periódicos especializados. O problema reside em como valorar todos os periódicos potenciais de acolherem publicações dos docentes, alunos e egressos de um programa de uma dada área. A listagem disponível no sistema Web Qualis (acesse aqui), busca ser extensiva em relação ao universo das publicações informadas pelos programas na coleta anual de dados. Os critérios de valoração foram definidos após várias rodadas de discussões nos comitês de área e são aplicados a totalidade do universo em análise. Apesar das boas intenções, vários problemas estão intricados em tal sistemática:

• As áreas não são homogêneas e os comitês jamais darão conta de representar a totalidade dos veículos de divulgação.
• Não é possível valorar sem distorções a importância de cada veículo posto que os comitês de área não são homogêneos e existem muitas especificidades localizadas dentro de cada área.
• Os critérios aplicáveis a uma área não são transponíveis automaticamente às demais.
• O comitê responsável por valorar e classificar os periódicos não é formado por especialistas em cientometria e nem se dedica exclusivamente a tal tarefa.
• O sistema dá valores distintos para formatos impressos e digitais dos periódicos, como se o conteúdo fosse diferente.
• A inclusão de um periódico "fora da lista" é trabalhosa e nem sempre possível de ser feita em tempo hábil de ser avaliada.
• Por essa razão algumas áreas estão apresentando uma concentração excessiva da produção em alguns periódicos, dificultando a ampliação do debate em novos veículos.
• A valoração em periódicos listados na área desestimula o debate intersdiscilpinar e "desvaloriza" as publicações em veículos de outras áreas, mesmo que apresentem qualidades superiores.

Os pesquisadores nacionais são obrigados a manterem-se vigilantes em suas publicações e sempre checar o o Web Qualis antes da submissão de um artigo. Por não ser uma listagem elaborada por profissionais cientometristas, ela apresenta algumas distorções que confundem o autor desavisado. Vamos analisar, à guisa de exemplo, a revista interdisciplinar, da área de humanidades, Universum, da Universidade de Talca, no Chile. Esse periódico, na antiga tabela de avaliação da CAPES era valorada no topo, como "A Internacional". Entre uma submissão que fiz e a publicação do artigo a CAPES implantou uma nova sistemática e a revista passou a ser "B5", ou seja pouco mais do nada. Na revisão feita no ano passado a revista passou a ter duas classificações "B5" para a edição on-line, que circula mais, e "B1" para a edição impressa. Passou a apresentar importantes variações de área também. Para a História ela é "B1", mas apenas se o pesquisador prometer (não vale mentir) não ler o exemplar on-line. Para a Ciência Política e para as Relações Internacionais ela continua sendo "B5". Acredito que o pesquisador deve prometer (também sem mentir) que não estudará Ciência Política ou Relações Internacionais com visão retrospectiva à História. Na minha área há uma revista, cujo último número publicado é de 2008 "vale" "B3". Por essa lógica o artigo que lá publiquei (esse aqui) seria mais importante do que o da revista chilena (esse aqui); não para mim e não para o retorno que tenho tido com um e com outro.

A despeito da sempre controversa questão da avaliação e do ranqueamento, parece lógico que quaisquer ferramentas adotadas para valorar a pós-graduação em termos de produtividade deveriam ser elaboradas por profissionais para terem mais consistência. O laboratório SCImago dedicas-se à análise cientométrica de de publicações, repositórios universidades etc. (acesse aqui). No caso dos periódicos permite traçar diverentes gráficos comparativos, construídos com parâmetros mais qualitativamente consistentes que os do Web Qualis. São, sobretudo, atualizados, independentemente da demanda deste ou daquele pesquisador haver publicado em determinado veículo. 

Vamos a uma nova comparação. Os periódicos "Ciência da Informação" e "Perspectivas em Ciência da Informação" são os tops nacionais da minha área. Tal fato reflete-se no Web Qualis, que os situa no estrato "A2" no comitê de Ciências Sociais Aplicadas I. Entretanto, conforme a área e conforme o formato de divulgação, o estrato pode chegar até o vergonhoso "C". Os mesmos periódicos pela metodologia do SCImago podem ser analisados comparativamente pelas referências, citações, contribuições internacionais, quantidade de artigos etc. Mais interessante ainda é poder ver tal comparação ao longo do tempo, aspecto não previsto pelo Web Qualis, o que possibilita entender, em determinado período qual era a importância relativa de determinado periódico ao invés de ser forçado a analisar uma produção antiga, com dados atuais.

Os gráficos comparativos a seguir indicam a análise do SCImago feita nas mencionadas revistas quanto à colaboração internacional, média de referências e o indicador SCImago que buscar poderar as diversas variáveis analisadas (clique nas imagens para ampliá-las).

Colaboração internacional

Média de referências

Indicador SCImago

Como pode ser visto, a despeito, da classificação da CAPES, as 3 revistas apresentam alguns indicativos quantitativamente similares e, em ao menos um caso, bastante antagônico. Não se trata de defender esta ou aquela maneira de classificar e valorar a produção científica, porém alertar que, para além das soluções caseiras (e impostas), existem muitas outras, que são, inclusive, internacionalmente reconhecidas e que podem apresentar resultados mais detalhados e significativos.

Outra coisa mais do que necessária é pensar nos limites da própria classificação da produção científica, sobretudo quando tal classificação implica em rankings e consequentes rateios de verbas. É sempre bom lembrar que em qualquer sistema de classificação, por mais perfeito que seja, sempre há um ornitorrinco que põe em xeque a lógica da representação do mundo. Em ciência, os ornitorrincos, justamente por exigirem um constante repensar sobre a realidade, são elementos fundamentais para evitar a estagnação e para fazer com que a ciência continue a ser ciência.