162
ORGANIZACIJA ZNANJA 2006, LETN. 11, ZV. 4
koli prej postavlja v ospredje vprašanje kriterijev veljav-
nosti in zanesljivosti kvantitativnih in kvalitativnih vred-
notenj znanosti. Zato smo velik del pozornosti namenili
ravno tej problematiki. Vse dosedanje študije dokazu-
jejo, da je uporaba bibliometričnih kazalcev za namene
vrednotenja raziskovanja in razvoja nesmiselna ali celo
škodljiva za razvoj znanosti, če ni utemeljena v ustrezni
teoretski refleksiji o dosegu in omejitvah kvantitativnih
merjenj znanosti. Enako seveda velja tudi za kvalitativne
ekspertne ocene v znanosti, četudi se vprašanja kriterijev
veljavnosti in zanesljivosti v tem primeru zastavljajo na
drugačen način. Predvsem pa je treba v vsakem primeru
iskati soglasje o tem, s katerimi instrumenti meriti zna-
nost, med vsemi vpletenimi akterji (znanstveniki, akterji
znanstvene politike, eksperti na področju bibliometrije
itd.). V Sloveniji veljavni evalvacijski sistem znanosti
sledi sodobnim trendom razvoja na tem področju. Upoš-
teva se kombinacija kvalitativnega in kvantitativnega
pristopa k vrednotenju kakovosti v znanosti. Zaradi dobro
urejenih podatkovnih baz (COBISS) je zlasti stopnja ve-
ljavnosti in zanesljivosti kvantitativnih ocenjevanj pri nas
vedno večja. Se pa pojavljajo tudi nekatere konceptualne
in metodološke težave, na katere smo skušali vsaj deloma
opozoriti.
Opombe
1
Načelo univerzalnosti pravi, da ne obstajajo privilegirani viri
znanstvenega vedenja, kar z drugimi besedami pomeni, da naj bi
se znanstveni rezultati posameznega raziskovalca ocenjevali zgolj
glede na interna znanstvena merila, ne glede na njegovo nacional-
no, ideološko, rasno, spolno ali katero koli drugo družbeno opre-
deljenost. Načelo komunalnosti pravi, da so rezultati znanstvene-
ga raziskovanja javni, načelo nepristranosti pravi, da znanost služi
sama sebi, kar z drugimi besedami pomeni, da naj bi znanstveniki
raziskovali in posredovali rezultate raziskovanja samo z enim na-
menom, namreč da prispevajo k napredku znanstvenega vedenja.
Načelo sistematičnega (organiziranega) skepticizma pravi, da naj
ne bi znanstveniki ničesar vzeli v dobri veri (lat. bona fide), tem-
več vseskozi skrbijo za kritično presojo in nadzor predloženega
znanstvenega vedenja. Merton je v svojih kasnejših delih pripisal
poseben pomen načelu skromnosti in originalnosti v znanosti
(Merton, 1973).
2
Na Nizozemskem so že v začetku devetdesetih let prejšnjega
stoletja začeli vključevati vse ključne elemente, ki označujejo pre-
mik od “kontrole” kakovosti znanosti k njenemu “monitoringu”.
Izredno velika teža je bila dana ravno širjenju tradicionalnega
sistema kolegialnega ocenjevanja v smeri večjega vključevanja
različnih družbenih akterjev v postopke ocenjevanja znanstvenih
rezultatov. (Van der Meulen in Rip, 2000.)
3
Tibor Braun, urednik revije Scientometrics, je čas pred nakupom
ISI-ja s strani korporacije Thomson označil za “romantično ob-
dobje bibliometrije”. Garfieldov močan osebni interes za različna
konceptualna vprašanja kvantitativnega merjenja znanosti je vpli-
val na to, da so imeli scientometriki več svobode glede ukvarjanja
z osnovnimi podatkovnimi bazami ISI-ja. (gl. Adam, 2002: 729)
4
Presenečenje se seveda ne nanaša toliko na razmere pri nas (empi-
rične sociološke analize o delovanju znanstvenega sistema pri nas
so še vedno precej nezaželene in to predvsem med znanstveniki
samimi), temveč na situacijo v zadnjih nekaj desetletjih nasploh
v razvitem znanstvenem svetu. Torej tam, kjer izhaja množica
uglednih mednarodnih znanstvenih revij. Po ugotovitvah Juana
Miguela Campanaria naj bi bile pred letom 1975 objavljene samo
3 relevantne empirične študije o delovanju mehanizmov recen-
ziranja v znanstvenih revijah (Campanario, 1998: 182). Razen
tega naj bi se empirične raziskave v glavnem osredotočale na
vprašanja zanesljivosti in nepristranosti ekspertnih kvalitativnih
ocen, premalo pozornosti pa naj bi namenile vprašanju njihove
veljavnosti (Daniel, 1993: 71).
Reference
[1] Adam, David (2002). The counting house.
Nature,
415 (6873),
726–729.
[2] Akerlof, George (2003). Writing the “Market for lemons’”: a
personal and interpretative essay. Dostopno na: http://nobelprize.
org/economics/articles/akerlof/index.html, zadnji dostop: 12.
januar 2007.
[3] Archambault, Eric, Vignola-Gagne Etienne, Grégoire Côté, La-
rivière, Vincent (2006): Benchmarking scientific output in the
social sciences and humanities: the limits of existing databases.
Scientometrics
, 68 (3): 329–342.
[4] Bayers, Nancy K. (2005). Using ISI data in the analysis of Ger-
man national and institutional research output.
Scientometrics
, 62
(1): 155–163.
[5] Campanario, Juan Miguel (1998). Peer review for journals as it
stands today – Part 1.
Science communication
, 19 (3): 181–211.
[6] Campanario, Juan Miguel (1998). Peer review for journals as it
stands today – Part 2.
Science communication
, 19 (4): 277–306.
[7] Crane, Diana (1969). Social structure in a group of scientists: a
test of the “invisible college” hypothesis.
American sociological
review
, 34 (2): 335–352.
[8] Daniel, Hans-Dietrich (1993). Guardians of science: fairness and
reliability of peer review. Weinheim & New York: VCH.
[9] Etzkowitz, H., Leydesdorff, L. (2001). Universities and the global
knowledge economy: a triple helix of university – industry – go-
vernment relations. New York: Continuum.
[10] Garfield, Eugen (1979). Citation indexing: its theory and appli-
cation in science, technology, and humanities. New York: John
Wiley & Sons.
[11] Hemlin, Sven (1996). Research on research evaluation.
Social
Epistemology
, 10 (2): 209–250.
[12] Hemlin, Sven (2006). The shift in academic quality control.
Sci-
ence, technology & human value
s, 31 (2): 173–198.
[13] Hicks, Diana, Hiroyuki, Tomizawa, Yoshiko, Saitoh, Shinichi,
Kobayashi (2004). Bibliometric techniques in the evaluation of
federally funded research in the United States.
Research evaluati-
on
, 13 (2): 78–86.