OZ 2006/4

158

ORGANIZACIJA ZNANJA 2006, LETN. 11, ZV. 4

ranih člankov, negativni in napačni citati, kartelne oblike

citiranja, izbrisani citati, sekundarni citati, itd. (Archam-

bault idr., 2006, 332). Do podobnih sklepov, ki so teme-

ljili na vsebinski analizi stališč uglednih strokovnjakov s

področja bibliometrije, smo pred časom prišli tudi sami

(Mali in Jug, 1995).

Kriterij veljavnosti znanstvenim citatom kot meri kako-

vosti v znanosti daje šele ustrezna teoretska interpreta-

cija njegove kognitivne in socialne funkcije v sistemu

znanstvenega komuniciranja. Že omenjeni nizozemski

teoretik znanosti Loet Leydesdorff, ki se ne ukvarja samo

z vprašanji posredniških znanstvenih struktur in trojne

spirale, temveč tudi z kompleksnimi teoretskimi in em-

piričnimi analizami citiranj v znanosti, še zlasti opozarja

na ta multidimenzionalni značaj citiranj v modernem

znanstvenem komuniciranju. Ali kot pravi sam: “Število

citatov kot kazalec vpliva citiranega avtorja omogoča

izpeljavo iz kognitivne uporabe citatov v besedilu k delo-

vanju družbenega sistema nagrad v znanstveni skupnosti.

Poleg tega je v areni znanstvene politike argument citata

pomagal znanstvenikom do večjega zavedanja družbene-

ga in komunikacijskega konteksta njegovih trditev in tako

pripomogel k legitimnosti socioloških analiz znanosti”

(Leydesdorff, 1998, 19).

Tudi ko gre za vprašanje zanesljivosti bibliometričnih

kazalcev, se je treba zavedati, da ni možna popolna (ab-

solutna) standardizacija podatkov. Bibliometrični kazalci

niso enake vrste kot strogo kontrolirane spremenljivke v

laboratorijskih eksperimentalnih preučevanjih. Opirajo

se na podatkovne baze, katerih prvotni namen ni bil pod-

pora evalvacijskim postopkom. To velja navsezadnje tudi

za indekse citatov. Prvotni namen teh baz ni bila podpora

raziskovalnim politikam pri vrednotenju znanstvene ka-

kovosti. Prvotni namen je bil iskanje znanstvene litera-

ture. Drugi namen je bil vzpostavitev baze podatkov za

kvantitativne sociološke in zgodovinske analize razvoja

znanosti. Nekatere scientometrične raziskave, ki so bile

opravljene za posamezna področja znanosti, so še konec

osemdesetih let 20. stoletja odkrivala visoko stopnjo ne-

zanesljivosti podatkovnih baz. Znana je statistična analiza

R.E. Rica in soavtorjev, v okviru katere so v bazah Social

Science Citation Index in Journal Citation Reports odkrili

25-odstotno mersko napako pri citiranju, ki se nanašajo

na revije za informacijsko in bibliotekarsko vedo. Šlo je

za tip napak, ki so nastajale kot posledica opustitve pred-

hodnega naslova znanstvene revije, združevanje podatkov

o citatih in citiranosti v nerazpoznavno celoto, uporaba

nestandardiziranih okrajšav naslovov znanstvenih revij,

manjkajoči citati od “polno pokritih” znanstvenih revij,

nepravilno in nepopolno razvrščanje revij v specifične

znanstvene discipline. (Rice et al., 1989)

Ne smemo pozabiti, da so vodilni predstavniki ISI-ja,

še najbolj njen ustanovitelj Eugen Garfield, kar naprej

opozarjali, kako pomemben je ustrezen interpretacijski

okvir in uporaba citatov kot mera kakovosti v znanosti.

V zadnjem času prihajajo na površje strahovi, da ISI

postopoma izgublja to kritično avtorefleksijo glede do-

sega in omejitev njegovih podatkovnih baz za namene

ocenjevanja znanstvene kakovosti in vpliva v znanosti

(Adam, 2002; Weingart, 2005). Potem ko je Eugen Garfi-

led, ustanovitelj ISI-ja, omenjeno informacijsko servisno

podjetje prodal korporaciji Thomson, je ta družba, ki

sedaj poseduje ISI, sicer razvila vrsto programov, ki naj

bi pomagali pri pregledovanju podatkovnih baz (npr. Es-

sential Science Indicators). Hkrati pa je zaostrila pogoje

uporabe njenih podatkovnih baz za neodvisne in kritične

raziskovalce, ki se ukvarjajo z vprašanji scientometrije

za namene znanstvene politike. Thomson Scientific se je

v zadnjem času do te mere podredil komercialnim inter-

esom, zato številni bibliometriki izražajo strahove, da je

zaradi visokih stroškov uporabe njihovih podatkovnih baz

in drugih omejitev, ki jih postavlja Thomson Corporation,

vedno težje opravljati neodvisne in tudi kritične raziskave

o citiranosti v znanosti kot meri znanstvene kakovosti.

Delni dokaz, da moramo biti glede zanesljivosti poda-

tkov, ki jih producira Thomson Scientific, vseskozi zelo

pozorni, saj ne gre za bazo podatkov brez napak, so nav-

sezadnje tudi izkušnje IZUM-a. Slovenski raziskovalci

imajo trenutno v vzajemni bazi podatkov

COBIB.SI

več

kot 32.000 bibliografskih enot, objavljenih v revijah, ki

jih indeksira Thomson Scientific. Strokovnjaki IZUM-a

so do konca leta 2006 v Web of Science našli le nekaj nad

75 odstotkov bibliografskih enot, pod katere so podpisani

tudi raziskovalci iz Slovenije. Neskladje deloma izvira iz

t. i. tehničnih napak v bazah (napačno zapisani priimki,

pomanjkljivi podatki o institucionalni pripadnosti znan-

stvenikov, itd.).

Če skušamo podati nekaj splošnih sklepov o problemu

zanesljivosti in veljavnosti bibliometričnih kazalcev, po-

tem se ne moremo izogniti omembi naslednjih opozoril:

1. Noben kvantitativni kazalec v evalvacijskih postopkih

znanosti ne more v celoti zaobseči pojava, ki ga želi

izmeriti. Bibliometrija nima statusa eksperimentalnih

laboratorijskih raziskav. Zato bi zanjo lahko rekli, da

se giblje bolj v okviru hevristike kot natančno ope-

racionaliziranih definicij pojavov, ki jih želi meriti.

Ravno iz tega razloga je previdnost pri uporabi biblio-

metrije kot “orodja” za raziskovalno-razvojno politiko

še toliko bolj na mestu.

2. Bibliometrija, ki se prvenstveno ukvarja z merjenjem

znanstvenega outputa, se praviloma srečuje z bolj

kompleksno situacijo, kot je pri merjenju inputa v

znanost. V nasprotju z golimi številskimi vrednostmi