Ambiente virtual de debate metodológico em Ciência da Informação, pesquisa científica e produção social de conhecimento

segunda-feira, 28 de fevereiro de 2011

Será que o Web Qualis é o melhor indicador?

O sonho positivista de indexar o mundo continua cada vez mais presente na atual política de pós-graduação nacional. Não apenas indexar, porém classificar e valorar. Grosso modo a qualidade dos programas de pós é aferida por suas publicações em periódicos especializados. O problema reside em como valorar todos os periódicos potenciais de acolherem publicações dos docentes, alunos e egressos de um programa de uma dada área. A listagem disponível no sistema Web Qualis (acesse aqui), busca ser extensiva em relação ao universo das publicações informadas pelos programas na coleta anual de dados. Os critérios de valoração foram definidos após várias rodadas de discussões nos comitês de área e são aplicados a totalidade do universo em análise. Apesar das boas intenções, vários problemas estão intricados em tal sistemática:
  • As áreas não são homogêneas e os comitês jamais darão conta de representar a totalidade dos veículos de divulgação.
  • Não é possível valorar sem distorções a importância de cada veículo posto que os comitês de área não são homogêneos e existem muitas especificidades localizadas dentro de cada área.
  • Os critérios aplicáveis a uma área não são transponíveis automaticamente às demais.
  • O comitê responsável por valorar e classificar os periódicos não é formado por especialistas em cientometria e nem se dedica exclusivamente a tal tarefa.
  • O sistema dá valores distintos para formatos impressos e digitais dos periódicos, como se o conteúdo fosse diferente.
  • A inclusão de um periódico "fora da lista" é trabalhosa e nem sempre possível de ser feita em tempo hábil de ser avaliada.
  • Por essa razão algumas áreas estão apresentando uma concentração excessiva da produção em alguns periódicos, dificultando a ampliação do debate em novos veículos.
  • A valoração em periódicos listados na área desestimula o debate intersdiscilpinar e "desvaloriza" as publicações em veículos de outras áreas, mesmo que apresentem qualidades superiores.
Os pesquisadores nacionais são obrigados a manterem-se vigilantes em suas publicações e sempre checar o o Web Qualis antes da submissão de um artigo. Por não ser uma listagem elaborada por profissionais cientometristas, ela apresenta algumas distorções que confundem o autor desavisado. Vamos analisar, à guisa de exemplo, a revista interdisciplinar, da área de humanidades, Universum, da Universidade de Talca, no Chile. Esse periódico, na antiga tabela de avaliação da CAPES era valorada no topo, como "A Internacional". Entre uma submissão que fiz e a publicação do artigo a CAPES implantou uma nova sistemática e a revista passou a ser "B5", ou seja pouco mais do nada. Na revisão feita no ano passado a revista passou a ter duas classificações "B5" para a edição on-line, que circula mais, e "B1" para a edição impressa. Passou a apresentar importantes variações de área também. Para a História ela é "B1", mas apenas se o pesquisador prometer (não vale mentir) não ler o exemplar on-line. Para a Ciência Política e para as Relações Internacionais ela continua sendo "B5". Acredito que o pesquisador deve prometer (também sem mentir) que não estudará Ciência Política ou Relações Internacionais com visão retrospectiva à História. Na minha área há uma revista, cujo último número publicado é de 2008 "vale" "B3". Por essa lógica o artigo que lá publiquei (esse aqui) seria mais importante do que o da revista chilena (esse aqui); não para mim e não para o retorno que tenho tido com um e com outro.

A despeito da sempre controversa questão da avaliação e do ranqueamento, parece lógico que quaisquer ferramentas adotadas para valorar a pós-graduação em termos de produtividade deveriam ser elaboradas por profissionais para terem mais consistência. O laboratório SCImago dedicas-se à análise cientométrica de de publicações, repositórios universidades etc. (acesse aqui). No caso dos periódicos permite traçar diverentes gráficos comparativos, construídos com parâmetros mais qualitativamente consistentes que os do Web Qualis. São, sobretudo, atualizados, independentemente da demanda deste ou daquele pesquisador haver publicado em determinado veículo. 

Vamos a uma nova comparação. Os periódicos "Ciência da Informação" e "Perspectivas em Ciência da Informação" são os tops nacionais da minha área. Tal fato reflete-se no Web Qualis, que os situa no estrato "A2" no comitê de Ciências Sociais Aplicadas I. Entretanto, conforme a área e conforme o formato de divulgação, o estrato pode chegar até o vergonhoso "C". Os mesmos periódicos pela metodologia do SCImago podem ser analisados comparativamente pelas referências, citações, contribuições internacionais, quantidade de artigos etc. Mais interessante ainda é poder ver tal comparação ao longo do tempo, aspecto não previsto pelo Web Qualis, o que possibilita entender, em determinado período qual era a importância relativa de determinado periódico ao invés de ser forçado a analisar uma produção antiga, com dados atuais.

Os gráficos comparativos a seguir indicam a análise do SCImago feita nas mencionadas revistas quanto à colaboração internacional, média de referências e o indicador SCImago que buscar poderar as diversas variáveis analisadas (clique nas imagens para ampliá-las).
Colaboração internacional


Média de referências


Indicador SCImago

Como pode ser visto, a despeito, da classificação da CAPES, as 3 revistas apresentam alguns indicativos quantitativamente similares e, em ao menos um caso, bastante antagônico. Não se trata de defender esta ou aquela maneira de classificar e valorar a produção científica, porém alertar que, para além das soluções caseiras (e impostas), existem muitas outras, que são, inclusive, internacionalmente reconhecidas e que podem apresentar resultados mais detalhados e significativos.


Outra coisa mais do que necessária é pensar nos limites da própria classificação da produção científica, sobretudo quando tal classificação implica em rankings e consequentes rateios de verbas. É sempre bom lembrar que em qualquer sistema de classificação, por mais perfeito que seja, sempre há um ornitorrinco que põe em xeque a lógica da representação do mundo. Em ciência, os ornitorrincos, justamente por exigirem um constante repensar sobre a realidade, são elementos fundamentais para evitar a estagnação e para fazer com que a ciência continue a ser ciência.

sexta-feira, 18 de fevereiro de 2011

Tudo o que você queria saber sobre redes sociais e sempre teve vergonha de perguntar


As redes sociais estão em toda as partes, até neste blog. Outro dia me deparei com a falta de referências básicas para quem quer sair da superfície e começar a ter uma compreensão um pouco mais séria sobre o tema. Maíra Murrieta Costa, colaboradora deste blog, passou-me uma série de referência bem interessantes para quem quer se iniciar. O primeiro texto que ela recomendou para leitura é uma manual bem didático, publicado pela WWF (baixe aqui), ideal para conhecer melhor o tema com uma pouquinho mais de seriedade. Na sequência fui direcionado para o texto "Uma introdução às Redes Sociais ", de Augusto de Franco (baixe aqui), um pequeno artigo que insere a questão no âmbito do debate político atual; muito interessante para refletir sobre os desdobramentos possíveis das novas formas de comunicação nos movimentos políticos e sociais do século XXI. O artigo me instigou a pensar sobre a influência das novas formas de comunicação na reviravolta política recente do mundo árabe. Do mesmo autor há ainda a indicação de uma reflexão sobre o poder das redes sociais (disponível aqui). Essa última referência, aliás, para quem está com pouco tempo, pode ser um bom começo.

Na área específica da Ciência da Informação a prestativa colaboradora indicou dois artigos: "Das redes sociais à inovação", da colega Inês Tomael, de Londrina (acesse aqui) e outro sobre fundamentos e transversalidades, de Regina Marteleto (disponível aqui). Indo por um caminho um pouco mais, diríamos transcendental, nossa guia indica ter adorado a obra "A teia da vida", de Fritjof Capra (acessível aqui, até quando?). Propondo um pouco mais de solidez conceitual e histórica, Maíra me indica um texto clássico de 1973 sobre a força das relações supostamente frágeis (baixe aqui o trabalho de Mark Granovetter). 

É licito supor que uma prospecção à bibliografia até aqui apresentada permitirá um considerável avanço propedêutico, impulsionando o estudo para subtópicos mais específicos, como por exemplo, a questão da produção colaborativa e a descentralização da produção do saber. A obra indicada, Wikinomics, de Don Tapscott, infelizmente não está descentralizada quanto ao acesso pleno (aberto ou pirata) via web. Há uma série de referências (como esse blog aqui), resenhas e amostras da obra (algumas boas aqui, até quando?), todas com remissão a algum site para compra do livro :(  Ainda sobre o tema das redes sociais e a Internet, há a indicação do livro de Raquel Ricupero (pdf disponível aqui), com a ressalva de que a edição on-line apresenta problemas de revisão, sendo preferível adquirir a cópia impressa.

Quem quiser conhecer melhor a responsável pelas informações sintetizadas neste post pode acessar seu blog de pesquisa aqui.

EM TEMPO: hoje vi um e-mail, que me foi mandado há algum tempo pela minha amiga Carmem Barreira, que tem uma dimensão muito prática das redes sociais, como dirigente escoteira, que trazia um excelente vídeo introdutório de Augusto de Franco sobre o tema:


terça-feira, 8 de fevereiro de 2011

Cuidados com a revisão


Em post anterior (acesse aqui) foram anotados alguns problemas que a ausência de cuidado com a pontuação podem ocasionar no sentido das frases. A redação científica, como todos sabem, deve ser pautada pela precisão e pela clareza. Muitas vezes o iniciando em pesquisa acha que escrever "bem" é escrever "bonito", de modo empolado e confuso: ledo engano. Outra vezes o jovem pesquisador, ciente da próprias deficiências, contrata um serviço especializado: excelente decisão. O grande problema é conseguir separar o joio do trigo em um cenário repleto de picaretas. A situação é assaz grave em função do jovem autor não ter muito parâmetro do que é ou não um bom texto, já que ele, por natureza, tende a ser inseguro quanto a isso.

Recebi, à pouco, um e-mail de uma suposta revisora. O texto de apresentação profissional, como diriam os mineiros, é "ruim demais da conta gente". Para evitar um possível processo por expor a verdade nua e crua omiti os dados que pudessem levar à identificação da "profissional". Eis o texto recebido:

clique na imagem para ampliar

Quase joguei fora, depois ensaiei uma resposta e, por fim, resolvi externar minha "revisão" na mensagem abaixo:
clique na imagem para ampliar

Não sou nenhuma Dad Squarisi e este blog deve estar cheio de falhas de revisão. A diferença é que aqui, dada a própria dinamicidade da ferramenta, os textos são postados sem revisão. O erros, quando identificados, são imediatamente corrigidos. Os artigos que submeto a periódicos e congressos, por outro lado, sempre passam por uma revisão, que não é a da Fulana de Tal e, dependendo da importância do veículo, custa bem mais que os absurdos R$ 5,00 por folha anunciados (uma monografia meia-boca de 50 páginas vai "demandar" R$ 250,00 para um serviço com a qualidade "De Tal"?). 

Quando fui coordenador de editora universitária sempre me vali de bons revisores. Alguns bem indicados por  outros professores e outros que tomavam a liberdade, como a Sra. De Tal, de se apresentarem por e-mail. A diferença é que todos eles tinham um "cartão de visita" eletrônico impecável. Ja tive também alunos de jogaram dinheiro fora com revisores picaretas e que me apresentaram trabalhos inaceitáveis. Nesses casos, para infelicidade de meus alunos, fui irredutível em exigir que outra revisão fosse realizada. Ou seja, o barato, quando o assunto é revisão, sai caro e, geralmente, mal-feito.

Moral da história: cheque bem a qualidade do serviço de seu revisor, a começar pelo texto de apresentação.