Será que o Web Qualis é o melhor indicador?

O sonho positivista de indexar o mundo continua cada vez mais presente na atual política de pós-graduação nacional. Não apenas indexar, porém classificar e valorar. Grosso modo a qualidade dos programas de pós é aferida por suas publicações em periódicos especializados. O problema reside em como valorar todos os periódicos potenciais de acolherem publicações dos docentes, alunos e egressos de um programa de uma dada área. A listagem disponível no sistema Web Qualis (acesse aqui), busca ser extensiva em relação ao universo das publicações informadas pelos programas na coleta anual de dados. Os critérios de valoração foram definidos após várias rodadas de discussões nos comitês de área e são aplicados a totalidade do universo em análise. Apesar das boas intenções, vários problemas estão intricados em tal sistemática:

• As áreas não são homogêneas e os comitês jamais darão conta de representar a totalidade dos veículos de divulgação.
• Não é possível valorar sem distorções a importância de cada veículo posto que os comitês de área não são homogêneos e existem muitas especificidades localizadas dentro de cada área.
• Os critérios aplicáveis a uma área não são transponíveis automaticamente às demais.
• O comitê responsável por valorar e classificar os periódicos não é formado por especialistas em cientometria e nem se dedica exclusivamente a tal tarefa.
• O sistema dá valores distintos para formatos impressos e digitais dos periódicos, como se o conteúdo fosse diferente.
• A inclusão de um periódico "fora da lista" é trabalhosa e nem sempre possível de ser feita em tempo hábil de ser avaliada.
• Por essa razão algumas áreas estão apresentando uma concentração excessiva da produção em alguns periódicos, dificultando a ampliação do debate em novos veículos.
• A valoração em periódicos listados na área desestimula o debate intersdiscilpinar e "desvaloriza" as publicações em veículos de outras áreas, mesmo que apresentem qualidades superiores.

Os pesquisadores nacionais são obrigados a manterem-se vigilantes em suas publicações e sempre checar o o Web Qualis antes da submissão de um artigo. Por não ser uma listagem elaborada por profissionais cientometristas, ela apresenta algumas distorções que confundem o autor desavisado. Vamos analisar, à guisa de exemplo, a revista interdisciplinar, da área de humanidades, Universum, da Universidade de Talca, no Chile. Esse periódico, na antiga tabela de avaliação da CAPES era valorada no topo, como "A Internacional". Entre uma submissão que fiz e a publicação do artigo a CAPES implantou uma nova sistemática e a revista passou a ser "B5", ou seja pouco mais do nada. Na revisão feita no ano passado a revista passou a ter duas classificações "B5" para a edição on-line, que circula mais, e "B1" para a edição impressa. Passou a apresentar importantes variações de área também. Para a História ela é "B1", mas apenas se o pesquisador prometer (não vale mentir) não ler o exemplar on-line. Para a Ciência Política e para as Relações Internacionais ela continua sendo "B5". Acredito que o pesquisador deve prometer (também sem mentir) que não estudará Ciência Política ou Relações Internacionais com visão retrospectiva à História. Na minha área há uma revista, cujo último número publicado é de 2008 "vale" "B3". Por essa lógica o artigo que lá publiquei (esse aqui) seria mais importante do que o da revista chilena (esse aqui); não para mim e não para o retorno que tenho tido com um e com outro.

A despeito da sempre controversa questão da avaliação e do ranqueamento, parece lógico que quaisquer ferramentas adotadas para valorar a pós-graduação em termos de produtividade deveriam ser elaboradas por profissionais para terem mais consistência. O laboratório SCImago dedicas-se à análise cientométrica de de publicações, repositórios universidades etc. (acesse aqui). No caso dos periódicos permite traçar diverentes gráficos comparativos, construídos com parâmetros mais qualitativamente consistentes que os do Web Qualis. São, sobretudo, atualizados, independentemente da demanda deste ou daquele pesquisador haver publicado em determinado veículo. 

Vamos a uma nova comparação. Os periódicos "Ciência da Informação" e "Perspectivas em Ciência da Informação" são os tops nacionais da minha área. Tal fato reflete-se no Web Qualis, que os situa no estrato "A2" no comitê de Ciências Sociais Aplicadas I. Entretanto, conforme a área e conforme o formato de divulgação, o estrato pode chegar até o vergonhoso "C". Os mesmos periódicos pela metodologia do SCImago podem ser analisados comparativamente pelas referências, citações, contribuições internacionais, quantidade de artigos etc. Mais interessante ainda é poder ver tal comparação ao longo do tempo, aspecto não previsto pelo Web Qualis, o que possibilita entender, em determinado período qual era a importância relativa de determinado periódico ao invés de ser forçado a analisar uma produção antiga, com dados atuais.

Os gráficos comparativos a seguir indicam a análise do SCImago feita nas mencionadas revistas quanto à colaboração internacional, média de referências e o indicador SCImago que buscar poderar as diversas variáveis analisadas (clique nas imagens para ampliá-las).

Colaboração internacional

Média de referências

Indicador SCImago

Como pode ser visto, a despeito, da classificação da CAPES, as 3 revistas apresentam alguns indicativos quantitativamente similares e, em ao menos um caso, bastante antagônico. Não se trata de defender esta ou aquela maneira de classificar e valorar a produção científica, porém alertar que, para além das soluções caseiras (e impostas), existem muitas outras, que são, inclusive, internacionalmente reconhecidas e que podem apresentar resultados mais detalhados e significativos.

Outra coisa mais do que necessária é pensar nos limites da própria classificação da produção científica, sobretudo quando tal classificação implica em rankings e consequentes rateios de verbas. É sempre bom lembrar que em qualquer sistema de classificação, por mais perfeito que seja, sempre há um ornitorrinco que põe em xeque a lógica da representação do mundo. Em ciência, os ornitorrincos, justamente por exigirem um constante repensar sobre a realidade, são elementos fundamentais para evitar a estagnação e para fazer com que a ciência continue a ser ciência.

Tudo o que você queria saber sobre redes sociais e sempre teve vergonha de perguntar

As redes sociais estão em toda as partes, até neste blog. Outro dia me deparei com a falta de referências básicas para quem quer sair da superfície e começar a ter uma compreensão um pouco mais séria sobre o tema. Maíra Murrieta Costa, colaboradora deste blog, passou-me uma série de referência bem interessantes para quem quer se iniciar. O primeiro texto que ela recomendou para leitura é uma manual bem didático, publicado pela WWF (baixe aqui), ideal para conhecer melhor o tema com uma pouquinho mais de seriedade. Na sequência fui direcionado para o texto "Uma introdução às Redes Sociais ", de Augusto de Franco (baixe aqui), um pequeno artigo que insere a questão no âmbito do debate político atual; muito interessante para refletir sobre os desdobramentos possíveis das novas formas de comunicação nos movimentos políticos e sociais do século XXI. O artigo me instigou a pensar sobre a influência das novas formas de comunicação na reviravolta política recente do mundo árabe. Do mesmo autor há ainda a indicação de uma reflexão sobre o poder das redes sociais (disponível aqui). Essa última referência, aliás, para quem está com pouco tempo, pode ser um bom começo.

Na área específica da Ciência da Informação a prestativa colaboradora indicou dois artigos: "Das redes sociais à inovação", da colega Inês Tomael, de Londrina (acesse aqui) e outro sobre fundamentos e transversalidades, de Regina Marteleto (disponível aqui). Indo por um caminho um pouco mais, diríamos transcendental, nossa guia indica ter adorado a obra "A teia da vida", de Fritjof Capra (acessível aqui, até quando?). Propondo um pouco mais de solidez conceitual e histórica, Maíra me indica um texto clássico de 1973 sobre a força das relações supostamente frágeis (baixe aqui o trabalho de Mark Granovetter). 

É licito supor que uma prospecção à bibliografia até aqui apresentada permitirá um considerável avanço propedêutico, impulsionando o estudo para subtópicos mais específicos, como por exemplo, a questão da produção colaborativa e a descentralização da produção do saber. A obra indicada, Wikinomics, de Don Tapscott, infelizmente não está descentralizada quanto ao acesso pleno (aberto ou pirata) via web. Há uma série de referências (como esse blog aqui), resenhas e amostras da obra (algumas boas aqui, até quando?), todas com remissão a algum site para compra do livro :(  Ainda sobre o tema das redes sociais e a Internet, há a indicação do livro de Raquel Ricupero (pdf disponível aqui), com a ressalva de que a edição on-line apresenta problemas de revisão, sendo preferível adquirir a cópia impressa.

Quem quiser conhecer melhor a responsável pelas informações sintetizadas neste post pode acessar seu blog de pesquisa aqui.

EM TEMPO: hoje vi um e-mail, que me foi mandado há algum tempo pela minha amiga Carmem Barreira, que tem uma dimensão muito prática das redes sociais, como dirigente escoteira, que trazia um excelente vídeo introdutório de Augusto de Franco sobre o tema:

Cuidados com a revisão

Em post anterior (acesse aqui) foram anotados alguns problemas que a ausência de cuidado com a pontuação podem ocasionar no sentido das frases. A redação científica, como todos sabem, deve ser pautada pela precisão e pela clareza. Muitas vezes o iniciando em pesquisa acha que escrever "bem" é escrever "bonito", de modo empolado e confuso: ledo engano. Outra vezes o jovem pesquisador, ciente da próprias deficiências, contrata um serviço especializado: excelente decisão. O grande problema é conseguir separar o joio do trigo em um cenário repleto de picaretas. A situação é assaz grave em função do jovem autor não ter muito parâmetro do que é ou não um bom texto, já que ele, por natureza, tende a ser inseguro quanto a isso.

Recebi, à pouco, um e-mail de uma suposta revisora. O texto de apresentação profissional, como diriam os mineiros, é "ruim demais da conta gente". Para evitar um possível processo por expor a verdade nua e crua omiti os dados que pudessem levar à identificação da "profissional". Eis o texto recebido:

clique na imagem para ampliar

Quase joguei fora, depois ensaiei uma resposta e, por fim, resolvi externar minha "revisão" na mensagem abaixo:

clique na imagem para ampliar

Não sou nenhuma Dad Squarisi e este blog deve estar cheio de falhas de revisão. A diferença é que aqui, dada a própria dinamicidade da ferramenta, os textos são postados sem revisão. O erros, quando identificados, são imediatamente corrigidos. Os artigos que submeto a periódicos e congressos, por outro lado, sempre passam por uma revisão, que não é a da Fulana de Tal e, dependendo da importância do veículo, custa bem mais que os absurdos R$ 5,00 por folha anunciados (uma monografia meia-boca de 50 páginas vai "demandar" R$ 250,00 para um serviço com a qualidade "De Tal"?). 

Quando fui coordenador de editora universitária sempre me vali de bons revisores. Alguns bem indicados por  outros professores e outros que tomavam a liberdade, como a Sra. De Tal, de se apresentarem por e-mail. A diferença é que todos eles tinham um "cartão de visita" eletrônico impecável. Ja tive também alunos de jogaram dinheiro fora com revisores picaretas e que me apresentaram trabalhos inaceitáveis. Nesses casos, para infelicidade de meus alunos, fui irredutível em exigir que outra revisão fosse realizada. Ou seja, o barato, quando o assunto é revisão, sai caro e, geralmente, mal-feito.

Moral da história: cheque bem a qualidade do serviço de seu revisor, a começar pelo texto de apresentação. 

A perna manca do Brasil (só a perna?)

Clique na imagem para ler o texto do Prof. Saraiva

Em excelente artigo no Correio deste domingo, meu colega de Câmara de Pesquisa e Pós-graduação da UnB, o Prof. Ph.D. Flávio Sombra Saraiva, com a sua habitual perspicácia e precisão, retomou o tema da "perna-manca", utilizado na semana anterior para, metoforicamente explicar porque a atual onda de "crescimento" nacional está comprometida (acesse aqui a reportagem). No artigo de hoje o eminente professor detalha melhor alguns macro-problemas do modelo de desenvolvimento nacional, vigente há mais de um século. O paralelo com a UnB e o modelo de universidade perseguido (perseguido mesmo) não é diferente do que aquele que indiquei em comentário do post anterior, no qual fiz menção à Embrapa, como a exceção da pesquisa fora das universidades. Na tentativa de avançar a discussão sobre o desenvolvimento e seus entraves (representados pela perna-manca) teríamos que pensar, anatomicamente falando, ainda no cérebro, representado pela construção de conhecimento de ponta na universidades. 

Muitas vezes os "grandes" pensadores das grandes "soluções" para o Brasil se esquecem de pensar no dia-a-dia, como é o caso do salário dos professores (e não o dos juízes e deputados), a penúria dos bolsistas (alguns que ainda têm dívidas contraídas durante o Natal, quando houve um "apagão" em parte do sistema de pagamento de bolsas). É no dia-a-dia que se formam os pesquisadores de amanhã e que se produz, gota a gota, a inovação tecnológica. Sem ela, não há como produzir valor agregado comprometido com o desenvolvimento nacional. Os números que colocam o DF como um dos mais altos PIBs do país se esquecem de mostrar que tais índices vêm da circulação de dinheiros de impostos e de altos salários públicos (de impostos também, portanto) e não a produção de bens com valor agregado.

Hoje, fim de janeiro de 2011, a situação das IES federais é gravíssima. Os programas da UnB que acreditaram na possibilidade de transferir recursos não gastos em 2010 para 2011 se deram mal, posto que além de os orçamentos terem sido zerados eles ainda não foram abertos. Alguns programas pouparam recursos pensando em gastar melhor em 2011. O resultado foi uma perna mais do que manca com restrições em um ano e no outro. O pouco conhecimento de ponta que conseguimos, às duríssimas penas, produzir na pós-graduação depende, cada vez mais, de esforços abnegados de jovens pesquisadores. Uma das mais importantes conferências internacionais da área da Organização do Conhecimento aceitou a comunicação de um doutorando da UnB. Esse rapaz, por ter um projeto ligado à área da qualidade da informação em bibliotecas de saúde, pleiteou um auxílio ao Ministério da Sáude que foi negado. O tradicional apoio que o programa de pós ao qual ele se inscreve poderia dar obrigou-se a negar a solicitação de míseros 800 dolares para representar o programa e a UnB em uma conferência top na Índia, pela simples razão que o nosso orçamento ainda não foi liberado (e existem pressões para que a modalidade que hoje sustenta a pós na UnB, o programa PROF, seja extinta). Hoje não conseguimos montar bancas de mestrado com professores externos à Brasília, por conta de tais contingências. O prof Saraiva se pergunta (retoricamente) se algum dia termos um Nobel ministrando classes na UnB. Eu me pergunto quando é que vamos conseguir ter, de novo, um nome da USP, da UNICAMP, daqui do país mesmo, para compor um banca de mestrado e, eventualmente, dar uma palestra. 

O Brasil tem uma perna manca e um cérebro cada vez menos funcional. Os piratas, pelo contrário: tiram proveito da situação, mesmo com a perna manca. Os piratas, dos olhos de vidro (como alguns ufanistas da UnB, que só olham para um lado da questão), das pernas de pau, das caras de maus (e caras de pau mesmo), vão acumulando cada vez mais riquezas, entesourando-as, enquanto fazem a universidade pública andar na prancha, enquanto a galera vibra, entre um baseado e outro, porque as privadas nem na prancha estão.

A UnB é mesmo assim, ou as pessoas é que exageram?

foto com "legenda" adicionada, copiada de Ciência Brasil (ver post aqui)

Recentemente a UnB voltou aos noticiários,  não na seção de ciência e tecnologia e quase foi parar nas páginas policiais. Uma série de reportagens da grande imprensa sobre alguns gravíssimos problemas de comportamento estudantil e da postura da administração tem estado em evidência nos meios de comunicação de massa, o que tem gerado diversas manisfestações viruais (entre outras). O blog Ciência Brasil tem sistematicamente divulgado muitos desses problemas, inclusive antes deles chegarem às grandes redes (basta fazer uma busca por "corredor da morte" ali, ou clicar aqui). A própria instituição tem se utilizado de sua página oficial para tratar da questão (veja aqui o resultado da mesma busca, "corredor da morte" no portal da UnB). Os mais ácidos podem até dizer que as notícias no portal da própria instituição lembram a clássica piada dos operários suicidas (ver aqui), mas isso não está no escopo desta postagem. O fato é que a situação está tomando vulto com muitas fontes de divulgação: as deliberadamente contrárias à atual gestão da UnB; as da própria gestão e aquelas que nunca são neutras, mas que nunca dizem ao certo de que lado estão: a grande imprensa. 

foto copiada do Correio Braziliense (ver notícia aqui)

No meio de tal polêmica alguns alunos, que não são comprometidos com o jogo político interno da UnB também têm se manifestado, como pode ser visto em post no blog de Diplomática e Tipologia aqui.  A um dos comentários, com muita propriedade, não tenta tapar o Sol com a peneira, assume que o problema existe, mas pergunta qual é o interesse que move, constantemente, as grandes redes na divulgação (com um certo exagero) dos problemas da UnB. A comentarista diz que " (...)ainda é visível a superioridade da maioria dos cursos da UnB em comparação com os de instituições privadas do DF, o que indica o comprometimento dos alunos da instituição, não dá para avaliar e tachar a UnB apenas com o que a mídia se dispõe a mostrar" (Cf. comment de Fernanda Cândido aqui). Em parte ela tem razão e em parte não. Essa contradição é bem apontada por Adrielly Torres, a aluna autora da postagem em tela.

Desde que cheguei em Brasília tenho me surpreendido com a altíssima fama da UnB, que não é devidamente contrastada com um (salutar) exercício de auto-crítica. Há até quem diga (com alguma razão) que o Marcelo Hermes exagera nesse aspecto, porém suas críticas são, geralmente, muito pertinentes (ver exemplo aqui). Talvez ele exagere devido ao surpreendente silêncio dos bons :)  A Fernanda está certa quando compara a UnB com as privadas da região, ou mesmo com muitas outras públicas, de menor tradição espalhadas pelo Brasil. Pois é, dizem que em terra de cego, quem tem um olho só é rei. Mas, e se começarmos a comparar a UnB com outras IFES, como UFRJ, UFSC, UFRGS, UFMG etc.? A situação não é tão tranquila assim. A coisa é mais grave devido à história e à suposta vocação da UnB em ser A UNIVERSIDADE DO BRASIL. Isso sempre me impressionou por aqui: a incapacidade de tentar inserir a UnB em um panorama maior, que incorpore a discussão do paradigma do que é ser uma universidade de excelência e não o que é ser uma universidade melhor que as privadas locais. Falando nisso, alguém que conhece a BCE, da UnB já entrou na biblioteca do CEUB? É privada, tem problemas sérios para ser uma universidade de pesquisa, mas tem alguns pontos melhores resolvidos do que a UnB; detalhe irônico: a bibliotecária de lá foi formada na UnB.

O fundo da questão é exatamente esse: não queremos (eu e aqueles que defendem o que seja uma universidade de pesquisa séria - ver exemplo aqui) que a UnB seja uma instituição apenas formadora de mão de obra para o mercado (aqui, leia-se, concursos). Queremos que ela produza conhecimento e pessoas produtoras de conhecimento de ponta. Isso no Brasil, ainda é privilégio das universidades públicas, porque, via de regra (com honrosas exceções) as privadas ainda não conseguiram equacionar lucro com pesquisa e desenvolvimento.

Ficar só na comparação com as outras federais é desconfortável, porém pode-se ainda tentar pensar em algumas equivalências e em algumas similaridades. Mas, e se formos comparar a UnB com algumas estaduais importantes, que não precisam ser as paulistas? A distância começa a aumentar. Se começarmos a pensar sobre o que diferencia uma UnB de uma USP, é claro que haverá muitos fatores de ordem externa à administração da universidade, mas também haverá muitos fatores internos. Por exemplo: quem não é de São Paulo sabe que a USP tem, há mais de 20 anos uma rede integrada de biblioteca que congrega as mais de 40 bibliotecas de grande e médio porte? Será que as pessoas da UnB sabem que no campus da USP existe um ônibus interno, GRATIS, para que os alunos possam de locomover? São apenas exemplos que nos separam do resto do mundo. 

Comparar a UnB com as grandes universidades do mundo é praticamente impossível, mas e em um universo ibero-americano? Se tirarmos Espanha e Portugal a coisa fica mais ou menos assim:

• 1 USP - São Paulo
• 2 UNAM (México)
• 3 UNICAMP - São Paulo
• 4 UNESP - São Paulo
• 5 UFRJ
• 6 UBA - Argentina
• 7 UFRGS
• 8 UFMG
• 9 U Chile
• 10 UFSP

A UnB fica em 20º. Tudo bem aqui no DF, pois as outras duas melhores classificadas daqui são a Católica em 111º e o CEUB em 362º. Por isso que eu concordo e discordo da Fernanda. Rivalizar com USP,UNAM e UNICAMP é difícil, mas a UnB tinha a OBRIGAÇÃO de ser a melhor federal e teria condições de estar em um nível similar ao da UNESP. Isso não ocorre, principalmente, por motivos internos já que somos, provavelmente a mais rica das federais.

E se, além de deixarmos de brincar com os cegos, formos abrir um pouco mais os olhos. No mesmo ranking, incluindo Portugal e Espanha a situação fica assim:

• 1 USP - São Paulo
• 2 UNAM (México)
• 3 UNICAMP - São Paulo
• 4 U Barcelona - Espanha
• 5 UCM - Espanha
• 6 UNESP - São Paulo
• 7 UFRJ

A UnB cai para 48, a UCB para 177 e o CEUB para 470. Olha como a Fernanda está correta: em uma perspectiva internacional, de longe a UnB é bem melhor (e bota melhor nisso) que as privadas daqui. Mas porque será que a URFJ praticamente não balança quando mudamos a comparação e a UnB desaba? Talvez seja porque sempre nos achamos o máximo quando nos comparamos com o nosso próprio umbigo.

Os dados de ranking indicados são do SCImago, de maio de 2010 (ver post e acesso ao ranking aqui). Prefiro esse ranking por ser elaborado mais de acordo com as especificidades de nosso perfil ibérico de universidade. Existe um outro ranking, mundial, que é tido como padrão: o Webometrics. Por ele as melhores iberoamericanas ficam assim, de acordo com a posição mundial:

1. 71 UNAM México
2. 122 USP - São Paulo
3. 147 UCM - Espanha
4. 184 UPM - Espanha
5. 199 U Chile
6. 202 UPV - Espanha
7. 205 U VAlencia - Espanha

A UNICAMP está em 13º entre as iberoamericanas nesse ranking e em 239º no mundo. A melhor federal é a UFSC em 377º, seguida de perto pela UFRJ, que está em 386º. A UnB aparece na 681ª posição e as privadas daqui sequer configuram nessa lista, dando razão para todos aqueles que acham que a UnB é o máximo (ou nem tão ruim assim).

Como dizem por aí: o primeiro passo para resolver um problema é assumir que ele existe. Rankings são rankings e, portanto, sujeitos a várias distorções, mas, de qualquer modo, indicam uma tendência que não observamos porque insistimos em brincar de ser caolhos e continuar a reinar na terra dos cegos.

A dúvida da dúvida

A ciência é feita por verdades absolutas ou a consciência de uma ciência falível se faz importante para o seu próprio aprimoramento ao longo de sua trajetória? Lembro que muitas questões desse gênero foram discutidas no decorrer da disciplina de Metodologia. Além do fato de que a ciência, como um saber que beira muitas vezes os ares da intensa presunção, se apresenta sob fórmulas eruditas de expressão, escondendo erros e equívocos pela dificuldade de entendimento de um público mais amplo. Falar difícil, nesse caso específico, é esconder passos escorregadios. É pensar que se caminha sobre o cimento duro, quando se mergulha em areia movediça.

Pensando nesses pontos, a revista eletrônica Edge, que faz todos os anos uma pergunta aos cientistas com o objeto de destacar tendências nos rumos do pensamento científico, publicou as respostas do seguinte questionamento: "Qual conceito científico poderia aprimorar a ferramenta cognitiva de uma pessoa?" E nos parece que a dúvida foi o conceito mais citado dentre os pesquisados. Confira AQUI e tire suas próprias conclusões... ou suas próprias dúvidas.

Repositório de jornais impressos

O portal Google news traz uma excelente fonte de informação para o trabalho com jornais atuais e antigos. Por exemplo a coleção do Jornal do Brasil, está com 17.706 exemplares digitalizados, desde 1891 até 1999. No portal é possível ampliar a página, folhear o jornal e até imprimir. Confira a coleção do extinto jornal em suporte físico aqui. Acesse o portal, para consultar outros títulos, aqui.