19 de outubro de 2008

Revistas Científicas : Publique e esteja errado.


Publish and be Wrong

Oct 9th 2008
From The Economist print edition

One group of researchers thinks headline-grabbing scientific reports are the most likely to turn out to be wrong


IN ECONOMIC theory the winner’s curse refers to the idea that someone who places the winning bid in an auction may have paid too much. Consider, for example, bids to develop an oil field. Most of the offers are likely to cluster around the true value of the resource, so the highest bidder probably paid too much.

The same thing may be happening in scientific publishing, according to a new analysis. With so many scientific papers chasing so few pages in the most prestigious journals, the winners could be the ones most likely to oversell themselves—to trumpet dramatic or important results that later turn out to be false. This would produce a distorted picture of scientific knowledge, with less dramatic (but more accurate) results either relegated to obscure journals or left unpublished.

In Public Library of Science (PloS) Medicine, an online journal, John Ioannidis, an epidemiologist at Ioannina School of Medicine, Greece, and his colleagues, suggest that a variety of economic conditions, such as oligopolies, artificial scarcities and the winner’s curse, may have analogies in scientific publishing.

Dr Ioannidis made a splash three years ago by arguing, quite convincingly, that most published scientific research is wrong. Now, along with Neal Young of the National Institutes of Health in Maryland and Omar Al-Ubaydli, an economist at George Mason University in Fairfax, Virginia, he suggests why.

It starts with the nuts and bolts of scientific publishing. Hundreds of thousands of scientific researchers are hired, promoted and funded according not only to how much work they produce, but also to where it gets published. For many, the ultimate accolade is to appear in a journal like Nature or Science. Such publications boast that they are very selective, turning down the vast majority of papers that are submitted to them.

Picking winners

The assumption is that, as a result, such journals publish only the best scientific work. But Dr Ioannidis and his colleagues argue that the reputations of the journals are pumped up by an artificial scarcity of the kind that keeps diamonds expensive. And such a scarcity, they suggest, can make it more likely that the leading journals will publish dramatic, but what may ultimately turn out to be incorrect, research.

Dr Ioannidis based his earlier argument about incorrect research partly on a study of 49 papers in leading journals that had been cited by more than 1,000 other scientists. They were, in other words, well-regarded research. But he found that, within only a few years, almost a third of the papers had been refuted by other studies. For the idea of the winner’s curse to hold, papers published in less-well-known journals should be more reliable; but that has not yet been established.

The group’s more general argument is that scientific research is so difficult—the sample sizes must be big and the analysis rigorous—that most research may end up being wrong. And the “hotter” the field, the greater the competition is and the more likely it is that published research in top journals could be wrong.

There also seems to be a bias towards publishing positive results. For instance, a study earlier this year found that among the studies submitted to America’s Food and Drug Administration about the effectiveness of antidepressants, almost all of those with positive results were published, whereas very few of those with negative results were. But negative results are potentially just as informative as positive results, if not as exciting.

The researchers are not suggesting fraud, just that the way scientific publishing works makes it more likely that incorrect findings end up in print. They suggest that, as the marginal cost of publishing a lot more material is minimal on the internet, all research that meets a certain quality threshold should be published online. Preference might even be given to studies that show negative results or those with the highest quality of study methods and interpretation, regardless of the results.

It seems likely that the danger of a winner’s curse does exist in scientific publishing. Yet it may also be that editors and referees are aware of this risk, and succeed in counteracting it. Even if they do not, with a world awash in new science the prestigious journals provide an informed filter. The question for Dr Ioannidis is that now his latest work has been accepted by a journal, is that reason to doubt it?


Autor : Adrian Johnson

Fonte : The Economist.com

O titulo foi traduzido do Inglês : "Scientific Journals
Publish and be wrong"

6 comentários:

Marco disse...

Ricardo,

Há maus exemplos na ciência assim como há maus exemplos na religião. Mas também há coisas óptimas na duas.

É costume ver alguns ateus a comparar o que a ciência tem de melhor com aquilo que a religião tem de pior (Sam Harris faz isso).

Eu acredito que a ciência é fruto do uso sistemático da razão, a mais preciosa bênção que Deus nos deu.

Por isso deixo a questão: qual é o propósito deste post?

Ricardo disse...

Caro Marco,

O propósito deste post, não visa um ataque ou qualquer rejeição em relação á ciência. Como observou no artigo, nada é referido, indicado como podendo ser ou dando a entender um mau exemplo da ciência. Mas antes lançar uma reflexão, sobre a forma da publicação dos últimos avanços da ciência. É possível devido à concorrência e especulação, uma intervenção colateral na forma como o conhecimento cientifico é publicado.

E cito: "The researchers are not suggesting fraud, just that the way scientific publishing works makes it more likely that incorrect findings end up in print. They suggest that, as the marginal cost of publishing a lot more material is minimal on the internet, all research that meets a certain quality threshold should be published online. Preference might even be given to studies that show negative results or those with the highest quality of study methods and interpretation, regardless of the results."

Encontrei este artigo, que me pareceu deveras interessante. E com isto procuro abrir uma ponte de dialogo sobre uma questão bastante pertinente da actualidade.

Saudações.

Pedro Morgado disse...

Ricardo,

A maioria das críticas do artigo citado no post não se aplicam às ciências naturais e médicas. Contudo, as publicações científicas em geral são natural e humanamente vulneráveis ao erro e estão infelizmente sujeitas à pressão de alguns interesses políticos e económicos. Ainda assim, são dos sectores da sociedade mais independentes e imunes a essas mesmas pressões.

Afirmo, sem qualquer dúvida, que a ciência é a actividade humana em que a mentira tem perna mais curta mesmo que publicada numa revista prestigiada.

A decisão de aceitar determinado artigo numa publicação está sujeita ao crivo de um número reduzido de pessoas, mas, depois de publicado, sujeita-se à livre crítica de todos e esse é uma das principais virtudes do conhecimento científico. Convém não esquecer que é pela busca humilde da verdade que o conhecimento científico se tornou na força motriz da sociedade ocidental e num dos principais responsáveis pelo progresso universal dos últimos séculos.

Cumprimentos.

Ricardo disse...

Caro Pedro Morgado,

"A maioria das críticas do artigo citado no post não se aplicam às ciências naturais e médicas." P. Morgado

Aplicam-se a todas as publicações cientificas, e dentro das mesmas a relacionadas com ciências naturais e médicas.

"Ainda assim, são dos sectores da sociedade mais independentes e imunes a essas mesmas pressões." P. Morgado

Discordo da sua opinião, pois quem financia e patriocina esse sector, são sobretudo as grandes empresas, que da investigação buscam receber o devido retorno. Tomemos por exemplo a Industria Farmaceutica, Computacional, Mecanica, Aeronautica, etc...

"Afirmo, sem qualquer dúvida, que a ciência é a actividade humana em que a mentira tem perna mais curta mesmo que publicada numa revista prestigiada." P. Morgado

Concordo consigo, mas a verdade é que a mentira existe.

"...within only a few years, almost a third of the papers had been refuted by other studies."


"Convém não esquecer que é pela busca humilde da verdade..." P. Morgado

Creio que essa busca não é assim tão humilde e em relação, á verdade pergunto o que é a verdade?

Concordo consigo em relação ao progresso Universal, devido ao contributo da ciência, mas creio que isso não está aqui em causa.

Comprimentos

Marcos Sabino disse...

"There also seems to be a bias towards publishing positive results."

Pois... como é que isto não me admira nada...

A respeito do assunto deste post, a ScienceDaily também falou com cientistas que abordem este assunto da "selecção artificial" na publicação das notícias científicas: Why Current Publication Practices May Distort Science

freefun0616 disse...

酒店經紀人,
菲梵酒店經紀,
酒店經紀,
禮服酒店上班,
酒店小姐兼職,
便服酒店經紀,
酒店打工經紀,
制服酒店工作,
專業酒店經紀,
合法酒店經紀,
酒店暑假打工,
酒店寒假打工,
酒店經紀人,
菲梵酒店經紀,
酒店經紀,
禮服酒店上班,
酒店經紀人,
菲梵酒店經紀,
酒店經紀,
禮服酒店上班,
酒店小姐兼職,
便服酒店工作,
酒店打工經紀,
制服酒店經紀,
專業酒店經紀,
合法酒店經紀,
酒店暑假打工,
酒店寒假打工,
酒店經紀人,
菲梵酒店經紀,
酒店經紀,
禮服酒店上班,
酒店小姐兼職,
便服酒店工作,
酒店打工經紀,
制服酒店經紀,
酒店經紀,

,酒店,