Hur mäta vetenskapligt genomslag?

Lite inside baseball:

En artikel (1) i senaste numret av Nature Neuroscience redovisar en liten undersökning gjord för att avgöra det faktiska läsandet (eller i alla fall nedladdandet och påföljande citering) av vetenskapliga artiklar när de citeras. Problemet med att analysera referenslistor till artiklar är att man naturligtvis inte kan avgöra huruvida en forskare faktiskt har läst de artiklar som citeras (är det möjligt?!).

"Blind citation could easily lead to increased error rates within any literature discussion, with inaccuracies reverberating significantly across disciplines", skriver man.

Efter ett litet test (på artiklar i PDF-format) från Nature Neuroscience mellan februari-december 2005) kommer man fram till att det finns en stark korrelation mellan omedelbara nedladdningar av artiklar och framtida citeringar av de samma.

These results suggest that immediate online readership, with the assumption that everyone downloading the paper is reading it, and eventual citation counts are highly correlated, casting some doubt on the potential view that manuscript citation numbers are often a product of 'reference mining' rather than a reflection of the influential science shaping an author's work.

Det är lite intressant hur man försöker mäta genomslag i den vetenskapliga litteraturen inte genom citeringar i traditionell mening, utan genom webbanalys (besök, nedladdning), precis som allting annat på webben.

Framtiden kan också behöva nya mått för att mäta inflytande:

Interestingly, as other 'Web 2.0' technologies such as blogs and paper commenting become more entrenched in the community as a way of providing feedback on papers and tracking their popularity, following reader traffic from these additional venues may provide other variables with which to calibrate citation numbers, providing a more complete picture of manuscript influence on a particular field.

Det vore riktigt coolt att genomföra en sån undersökning redan nu, mäta spridning och upptag på den "allmänna webben".

(1) "Deciphering citation statistics", Nature Neuroscience 11, 619 (2008). (Tyvärr bakom betalvägg, men Action Potential har alla detaljer).