Prolog

Před téměř dvaceti lety jsem napsal úvahu o citačních indexech pod obdobným názvem, jako je ten dnešní, v němž se rovněž uvažuje, zda v daném případě jde o sluhu nebo pána (1). Když se v současnosti zabývám významem impakt faktoru (i. f.), zvláště v souvislosti s hodnocením vědy, vidím, že se situace příliš nezměnila. Fenomén i. f. je dnes stejně rozporuplný jako byl v roce 1988 fenomén citačních indexů. Proto jsem volil pro tuto současnou úvahu obdobný název. Při přípravě literatury k tomuto textu jsem mimochodem, a k milému překvapení, zjistil, že obdobným způsobem, tedy použitím stejného názvu pro příbuzná témata ve více článcích, postupoval v rozmezí let 1995 až 2005 ve svých čtyřech publikacích i Eugene Garfield (2 - 5), jehož celoživotní dílo se bytostně váže k i. f.. Oscilování E. Garfielda mezi nečinností a nadšením („agony and ecstasy“) patřilo postupně citační analýze, internetu, publikování vlastní knihy, ale nakonec i i. f.. Proto se v textu této úvahy také setkáme několikráte s odkazy na zásadní problematiku tohoto jeho posledního článku z roku 2005. Tato poslední Garfieldova esej svým názvem vlastně rovněž připomíná desáté výročí pobytu E. Garfielda na Univerzitě Karlově v roce 1995 u příležitosti udělení čestného doktorátu (2).

Cílem dnešního sdělení je s maximální objektivitou, opírající se o publikované konkrétní studie, posoudit jakou úlohu hraje i. f. v hodnocení vědy u nás i mezinárodně, jaké jsou v tomto směru perspektivy a jakým způsobem se na zlepšení situace se může podílet i odborný lékařský časopis jako je Časopis lékařů českých (ČLČ). Tento nejstarší český odborný lékařský časopis se již v roce 2002 zabýval problematikou současnosti a budoucnosti českých lékařských časopisů (6). V letošním roce 2006 pak se chce redakce věnovat diskusi „o významu „instituce“ označované jako impact factor, resp. o nutnosti vytvoření aktuálního hodnotícího systému odborné publikační činnosti, který by se opíral o reálné možnosti i jednoznačná východiska, aniž by byly dotčeny zájmy domácích autorů“ (7). Zdá se, že toto dlouhodobé cílevědomé úsilí ČLČ plně odpovídá odpovědnosti editorů odborných časopisů, jejichž prvotní cíl musí směřovat k publikování dobré vědy a nových znalostí v rozumném čase pro své čtenáře. To vyžaduje kritičnost vůči autorům i recenzentům (8). Tato kritičnost pak navíc ukládá redakční radě další nezastupitelnou roli, jakou je důsledně „hlídat samotné hlídače“. Tedy včetně těch, kdo ze své funkce a pozice kdekoliv, třeba v rámci hodnocení vědy nebo jejího řízení, nějakým způsobem „hlídají“ a hodnotí kvalitu publikací, resp. publikační činnosti jednotlivců, třeba pomocí i. f. (8). To vše plně odpovídá novodobé úloze redakčních rad, pokud mají respektovat moderní principy journalologie (8, 9).

Následující oddíly této úvahy jsou uvedeny jednoduchým názvem charakterizujícím jejich hlavní obsah, ale pod nimi jsou ještě doplněny „klíčové myšlenky“. Jejich smyslem je poskytnout heslovitě představu eventuálně dalšího členění textu mezititulky, jakož i další možné dopady fenoménu „i. f.“ v této úvaze neprobírané, o nichž by však měl čtenář sám uvažovat. Jejich formulaci však mohou čtenáři považovat také za inspirativní, symbolickou až provokativní. I to bylo cílem autora.

Text tohoto sdělení odpovídá svou formou a zpracováním review, tedy přehledovému článku. Vzhledem k jeho obsahu, ale zvláště k jeho poslání, je možno následující text označit i za esej, úvahu. E. Garfield, zabývajcí se celý život až do dnešních dní zvláště citačními indexy, citační analýzou, bibliometrií a samozřejmě i impakt faktory, shrnul své úvahy na tato témata do impozantního monografického seriálu „Essays of an information scientist“ (10). Považujte proto, prosím, tuto mou esej také za projev úcty a obdivu k jeho celoživotnímu dílu.

1 - Impact factor

Častá otázka v životě, vědě i v medicíně: Jak to dopadne? anebHledá se „činitel dopadu“ resp. „impakt faktor“ (i. f.).

Otázka „Jak to dopadne?“ je velmi častá. Klade si ji dítě naslouchající pohádce, čtenář románu a stejně i divák fotbalového přenosu v televizi. Proč by si ji neměl položit vědecký pracovník, a tím spíše i lékař. Pokud napsal nějaký článek, jistě jako autor bude zvědav „jaký ten článek bude mít dopad“. V oblasti vědy a výzkumu pak musela nastat situace, kdy vznikla snaha tento „dopad“ (angl. impact) nějak změřit, pokud možno kvantifikovaně a tudíž snad i objektivně, a vyjádřit ho jednoduchým číslem, indexem či činitelem. Dnes je takový „činitel dopadu“ nejlépe znám pod označením „impakt faktor“ (i. f.), resp. „impact factor“. Předpokládá se, že se jím dá změřit dopad vědeckého článku (odtud „bibliometrie“) a posoudit tak z pohledu publikačního výkonu i vědecký výkon autora (odtud „scientometrie“) (11).

Meteorický kráter Wolf Creek, západní Austrálie, průměr 0,86 km, stáří 3000 roků.

Takové „impakty“ nemusíme hledat jen ve vědě, ale nacházejí se dávno kolem nás v přírodě, kde na zemském povrchu vznikaly ve formě prohloubení při dopadech meteoritů (obr. 1). Pohled na takovou deformaci zemské kůry může snad názorně posloužit jako příklad k úvaze, jaký musí být náraz vědeckého článku nebo sdělení, aby ho věda, resp. vědecká komunita, na svém povrchu zaregistrovala. Zřejmě bude třeba vytvořit ve vědě jakési seismografické stanice, které by dopady článků registrovaly a měřily jejich intensitu. Pokud půjde při sledování dopadu o bibliometrické nebo scientometrické postupy, bude třeba k tomu mít nějaký nástroj, jakým mohou být citační rejstříky (indexy).

Meteority a jejich dopady na zemský povrch jsou svou hmotností a impozantností asi nejprůkaznějším a zřetelně hmotným dokladem existence i dalších objektů ve vesmíru. Stejně tak ve vědě to jsou publikované články a jejich „impakty“ pociťované v odborné komunitě. Z nich se dovídáme o existenci dalších vědeckých pracovníků v našem okolí či kdekoliv jinde ve světě. Produkce odborných článků se tak zdá být jedním, na první pohled jednoduchým kvantitativním kritériem průkazu vědeckého výkonu. Proto jsou také soupisy vědeckých článků (osobní bibliografie) nedílnou přílohou při žádostech do konkurzů. A proto v polovině minulého století vzniklo i ono dosti kruté, ale vcelku reálné úsloví „Publish or Perish“.

Pokud dojde k nějaké odezvě na uveřejněný článek, může to být osobní poznámka nebo verbální diskuze, čímž to také v polovině příkladů končívá. Tato pro autory ne zcela příjemná skutečnost byla opětovně a naprosto průkazně „změřena“ za léta 1945 až 1988 resp. až 2005 na 33 resp. 38 milionech článků (5, 12).

U druhé poloviny článků pak dochází, alespoň jednou, ke kvalitativně zcela jiné situaci. To tehdy, když nějaký čtenář odborného článku použije některé z jeho údajů k argumentaci ve svém vlastním právě připravovaném novém článku. K průkaznému „dopadu“ tedy dochází, pokud autor nového článku cituje článek jiného autora, již dříve publikovaný. Tento článek, včetně jména jeho autora, se objeví v soupisu literatury tohoto připravovaného článku, obvykle na konci textu, jako bibliografický záznam, či „reference“, která se odkazem na něj v textu právě změní v „citaci.“

Metamorfóza reference v citaci je dokladem impaktu citovaného článku a představuje ve světle takového citačního dopadu daného článku do vědecké komunity kvalitativní posun hodnocení publikačního výkonu toho autora, který byl citován. Místo kvantitativního sledování pouhého počtu publikací jednotlivých autorů, můžeme sledovat, kolikrát jsou jejich články citovány, tj. použity jinými autory. Jejich přeměnou v citaci se projeví jejich „dopad“, či význam v tom, že jsou zmíněny jinými autory jako citace v jejich článcích a dostává se jim tak jistého ocenění. Citaci lze tedy také jistým způsobem považovat za výraz poděkování citujícího autora.

I. f. pro běžný rok (např. 2004) se stanovuje ze dvou položek: čitatele a jmenovatele. čitatel uvádí počet citačních ohlasů v běžném roce (např. 2004) k jakémukoliv z článků, které daný časopis celkem uveřejnil v předchozích dvou letech (tedy 2002 a 2003). Jmenovatel uvádí celkový počet článků za ono dvouletí. I. f. by mohl být dokonce snadněji vypočten na základě článků a citací jen v jediném předchozím roce (v daném případě 2003), což by např. v rychle rozvíjející se vědní oblasti mělo větší význam. Stejně tak by mohlo být sledované období i delší, ale tím by i. f. ztrácel na své „pohotovosti“ (5).

E. Garfield opakovaně provedl studie o vlivu různě dlouhé periody sledovaní ohlasů a publikací, např. pro rozmezí 1-, 7- a 15-let, a ukázalo se, že v takovýchto rozdílných časových rozmezích nedochází k významným rozdílům i. f. (13 - 15). Ve dvou studiích z roku 1998 bylo sledováno prvních 200 časopisů s nejvyšším i. f. Záleželo, zda se porovnávaly výsledky napříč časopisy z různých nebo stejných oborů. V prvním případě např. fyziologické časopisy srovnávané jako skupina s dalšími skupinami si postavení nárůstem let polepšily. Pokud byly však časopisy porovnávány v rámci jediné skupiny, pořadí časopisů se neměnilo. Dokonce byla provedena srovnání pro periodu 24 let, kdy ne ve všech případech se stoupajícím počtem let stoupal také i. f. (5).

Je třeba při této příležitosti připomenou také nejrecentnější připomínku E. Garfielda k i. f. pokud jde o jejich uvádění na tři desetinná místa (5). Nepovažuje to za nejšťastnější řešení a domnívá se, že je dostačující pokud se i. f. uvede např. raději jako 21,5 než 21,455. Uvádět i. f. tak jako dosud v rozsahu tří desetinných míst je snad oprávněné jen v případech, aby se od sebe odlišily i. f. časopisů, jejichž hodnoty jsou na předních místech stejné.

I. f. by definován v roce 1955 vlastně v rámci projektů směřujících k vytvoření citačních rejstříků (16). V roce 1960 pak vyšel v experimentální podobě „Genetic Citation Index“ a o rok později došlo k vydání prvního svazku „Science Citation Index“ (SCI). Časopisy pro tuto novou databázi byly od roku 1960 vybírány právě podle i. f., který byl k tomu účelu vytvořen (E. Garfield a I. H. Sher podle (5)). Když došlo k získaní dostatečně velkého počtu zpracovaných časopisů a tím i článků a v nich obsažených referencí resp. citací (17), mohlo být přikročeno k vydání „Journal Citation Reports“ (JCR), které každoročně shrnovaly ve formě rozsáhlých statistických rozborů bibliometrické indikátory získané sofistikovanou bibliometrickou analýzu bibliografické indikátory u vybraných časopisů zpracovávaných pro SCI. Klasickými bibliometrickými indikátory k posouzení časopisů z hlediska počtu uveřejněných článků a počtu citovaných článků se staly v konečné podobě: impact factor, immediacy index, citing half-life a cited half-life.

Původně tištěné výstupy SCI a JCR přešly postupně do elektronické podoby „Web of Knowledge (Thomson)“, což je integrované rešeršní prostředí zprostředkovávající přístup k původním databázím (tj. citačním rejstříkům) produkovaným Institute of Scientific Information (ISI) ve Filadelfii, přičemž pro SCI jsou podklady zpracovány od roku1900 do současnosti. Obdobnou funkci plní i „Web of Science“ (WoS). Bibliometrické údaje jsou dostupné také prostřednictvím „JCRWeb“.

E. Garfield ve své poslední práci o historii a významu časopiseckého i. f. poznamenává ke vzniku i. f. v roce 1955, že netušil, že by se mohl stát v budoucnu tak kontroverzním. Předpokládal, že bude používán konstruktivně, a v době kdy neexistoval ještě SCI ani další produkty ISI, jako kdysi velmi oblíbené a využívané Current Contents, nemohl tušit, že ve špatných rukou může být zneužit. (5). Tvůrce i. f. E. Garfield věrný své vědecké erudici ho jako chemik od samého začátku (1955) vytvářel jako nástroj (5), „který by zabránil nekritickému citování podvodných, neúplných nebo zastaralých údajů, jež by byly v následujících článcích pak kritizovány”. I později (1998) upozorňuje na kontroverzní a nebezpečné používání i. f. při evaluaci vědy a i po padesáti letech od zveřejnění definice i. f. (2005), tedy zcela recentně, formuluje pregnantně možná jednu ze zásadních příčin majících za následek nepatřičné použití i. f..

E. Garfield považoval v roce 1998 za nutné začít přednášku na výročním shromáždění významné instituce, jakou je „Council of Biology Editors“ (CBE), větou: „Používání impakt faktoru, zvláště v Evropě, vzbudilo mnoho obav“ (12). A uvádí dále okolnosti, které by měly být od začátku jasné: je nebezpečné aplikovat jakékoliv statistické údaje mimo kontext (i. f. je klasickým výsledkem statistických operací); i.f. by se neměl používat jako náhražka skutečné citační výkonnosti (vysoký i. f. časopisu, v němž někdo publikoval článek nezaručuje, že tento článek získá skutečně vysoký počet citací, protože i. f. je statistickým průměrem všech citací daného časopisu, a trpí rizikem zkreslení díky ojedinělým citačně úspěšným článkům, jejichž zasloužený obdiv se použitím „průměrného“ i. f., a ne skutečných citací, neoprávněně přenese i na článek, citovaný třeba hluboce pod průměrem).

Stejně tak nedávno, v den svých osmdesátých narozenin, 16. září. 2005, v Chicagu na Mezinárodním kongresu o peer review a lékařském publikování (5) ve své přednášce, jíž se kongres otevíral, považoval za nutné při uvažování o různých aplikacích i. f. znovu, stejně jako před tím na setkání CBE (1998), upozornit na zásadní kontroverzialitu nahrazování počtu skutečných citací jen i. f. časopisu. A hned po té uvedl možná i hlavní důvod, který autory k takovému nepatřičnému postupu vede: „Grantové agentury a další instituce si často přejí vyhnout práci se zjišťováním počtu citací na jednotlivé články a autory. Čerstvě zveřejněné články údajně nemají dost času být citován, a tak se pokoušejí použít i. f. jako náhradní evaluační nástroj. Tím se předstírá, že již samotné přijetí článku k uveřejnění v časopise s vysokým i. f. je oním předpokládaným indikátorem věhlasu. A tak se i. f. používá k odhadu předpokládaného významu jednotlivých článků, který je naopak spíše pochybný, vzhledem ke známým odchylkám i. f. většiny časopisů.“

Uvedené citáty E. Garfielda (vybrané pasáže zvýraznil M. Š.) jsou uváděny jako autentické doklady o jeho skutečných názorech na význam i. f. v průběhu uplynulých padesáti letech. Je na čtenáři učinit si v tomto směru vlastní názor a porovnat často až úporné postoje některých svých publikačních kolegů nebo i vládních úředníků s názory E. Garfielda. Zastánci i. f., ani jeho odpůrci, se totiž ve své argumentaci na originální text E. Garfielda neobracejí, zvláště v těch případech, kdy by nemusel přesně odpovídat jejich cílům. Za zásadní považuji zvláště zmínku z poslední doby o roli grantových agentur. E. Garfield tak vůbec poprvé uvádí tohoto aktéra na scénu diskusí a úvah o vhodnosti či zneužívání i. f. v hodnocení vědy. Je možné, že postoje grantových agentur a podobných institucí k i. f. se mohou regionálně lišit.

Nepochybné však je, že implementace i. f. do systémů hodnotících vědu nezřídka postrádá, zvláště u institucionálních direktiv, postupy obvyklé při zdůvodňování vědeckého rozhodování, tj. argumentaci podloženou literárními odkazy. Proto jsou v této úvaze reference systematicky uváděny, neboť se to „sluší“, přinejmenším s ohledem na charakter sdělení, serióznost časopisu a respekt autora k jeho čtenářům.

2 - Science Citation Index

Koncepce i. f., jeho vývoj jako východisko ke vzniku citačního rejstříku „Science Citation Index“ (SCI) a jeho daleko širší dopad na celou publikační oblast.

První zmínka o i. f. byla zveřejněna v časopise Science 15. června 1955 (16). V samotném názvu článku je již obsažena podstata a význam citačních rejstříků, které jsou koncipovány právě svým propojením dříve zveřejněných článků formou citace do nových článků, jako „asociace myšlenek“, což je v jiné podobě vyjádřený jejich dopad na vědeckou komunitu. Hned na samém začátku článku je zdůrazněno, že snahou je vytvořit bibliografický systém pro vědeckou literaturu, který by zabránil nekritickému citování podvodných, neúplných nebo zastaralých údajů, jež by byly v následujících článcích pak kritizovány. Uvádí také obdobný systém citací ze soudních procesů, který vycházel již od roku 1873.

Samozřejmě v té době se pro zpracovávání všech dat předpokládaly ještě jen mechanické postupy, bez počítačů. „Impact factor“ uvažovaný jako relativní číslo měl být lepším kvantitativním ukazatelem k posouzení kvality časopisů, jež měly být zavzaty do připravovaného „Science Citation Index“ (18), který pak poprvé vyšel v roce 1961. SCI nepředstavoval okamžitý úspěch, dokonce po odmítnutí podpory od NSF ho E. Garfield vydává na vlastní náklady, s hrozbou bankrotu ISI. Byl přesvědčen o potřebnosti tohoto projektu pro vědecké pracovníky a proto do toho šel (19). Je třeba i zmínit, že pro SCI jsou vybrané časopisy nyní zpětně zpracované od současnosti až po rok 1900. V oblasti databází je to unikátní a souvisí to zřejmě s neustálou snahou E. Garfielda SCI rozvíjet, takže jeho další aplikací je mapování světové vědy, resp. konstrukce „historiografů“ zachycujících její historii. Je nyní možné sestavovat pro jednotlivé články kocitační mapy, umožňující sledovat provázanost výzkumu i sledování jeho trendů (20). Tyto mapy jsou již v některých bibliografických databázích přímo dostupné (např. ve Scopus).

SCI umožnil svým pojetím představit výzkum jako formalizovanou síť propojenou cestou slov a citací, čímž se splnil Garfieldův sen. Bylo jím vytvořit kombinací konceptu SCI, počítačů a literatury zcela nový svět, založený na semiotice citování. Garfield, původním vzděláním chemik, ve své snaze po získání kamene mudrců přeměnil olovo (reference) ve zlato (citace). Přitom on sám není ani chemik obrácený na dokumentátora, není ani informační vědec nebo IT vynálezce. Představuje bohaté a tvořivé tradice stejně tak staré jako jsou citační rejstříky. E. Garfield je alchymista (21).

I. f. používaný k hodnocení časopisů se vyvíjel, zvláště v Evropě, a záhy byl používán také jako i. f. pro autory. Tato dvoustrannost použít i. f. je však problematická. Zatím, co v případě časopisů se jedná často i o desetitisícové počty článků a citací, u individuálních autorů dosahuje jejich publikační produkce výjimečně počtu 1.000 nebo 2.000 článků. Práce o významu a využití i. f. pro hodnocení časopisů, uveřejněná v roce 1972 (17), upoutala pozornost i editorů (šéfredaktorů) těchto časopisů. Ukazuje se, že SCI sehrál také významnou roli pro vznik a rozvoj „journalologie”, čili discipliny zabývající se vším, co směřuje ke zdokonalení vydávání, redigováni i psaní vědeckých časopisů, včetně důsledné aplikace scientometrie na hodnocení časopisů (22).

Ukázalo se, že pro hodnocení vědeckých článků, mají na straně jedné jistý význam bibliometrické indikátory, jakým je i. f. Na straně druhé, vedle i. f., nesou neméně velkou zodpovědnost i editoři (redakční rady), a všichni, kdo stojí na začátku evaluačního procesu rukopisů zadávaných k uveřejnění. Vedle editorů a různých redaktorů, jsou to také, kromě autorů samých, hlavně recenzenti (peer reviewers) (23). Právě tato oblast hodnocení výzkumných výstupů má pro svůj dopad na konečnou kvalitu publikací i rozměr etický, počínaje důvěrností získaných informací až po konflikt zájmů.

Příkladem této hodnotící role budoucích publikací, jež se promítá i do i. f., je vznik vancouverské skupiny šéfredaktorů významných lékařských časopisů (1978) a sepsání jednotných požadavků na mezinárodní úpravu rukopisů pro lékařské časopisy (24). Ostatně E. Garfiled vždy vyhledával možnost kontaktů s editory, protože tak mohlo nejlépe docházet k oboustrannému zdokonalování práce jak na SCI tak i při ediční činnosti v redakční radách (5, 12, 25). Rychlost redakčního projednání přijetí rukopisu, stejně tak jako pohotovost recenzentů, mohou svým důsledkem na oddálení publikace a tím ztráty recentnosti, ovlivnit citovanost a tím i i. f. Stejně tak je nutné, aby redakce jednoznačně a zřetelně kategorizovaly jednotlivé články, což určuje jejich případné zavzetí do jmenovatele pro výpočet i. f. (26).

Nakonec je třeba připomenout, že hodnocení publikační výkonnosti resp. kvality vědy vedlo přirozeně k vytvoření samostatné discipliny „scientometrie”, jež se zabývá kvantitativními aspekty vědy o vědě, komunikací ve vědě a vědní politikou. Tento rozsah a obsah scientometrie zřejmě svou obsahovou specificitou a metodikami přesahuje znalosti všech, kdo nějakým způsobem působí jako „science policy makers“. Tedy zkušení nebo špičkoví vědci z různých jiných vědních oborů, editoři vědeckých časopisů i s dlouhodobou praxí, nebo manažeři a administrátoři univerzit nebo výzkumných ústavů a konečně i vládní úředníci. Pro podporu a výzkum v této oblasti byla proto založena “International Society of Scientometrics and Informetrics (ISSI)” (27) a v roce 1979 v rámci Maďarské akademie věd vznikl časopis „Scientometrics” (28) určený těm, kdo se studiem scientometrie chtějí vážně zabývat.

Možná, že dosud mezi vědeckými pracovníky ani mezi hodnotiteli vědy není dostatečně zdůrazněno a pochopeno, jak rozsáhlé spektrum oborů a činností může souviset s i. f., resp. s kvalitou citačních rejstříků, výsledky následné citační analýzy a tedy i s evaluací vědecké výkonnosti.

3 - Alternativy i. f. a SCI

Modifikace i. f. - Další ukazatele (E, H, aj.) - Indikátory výkonnosti ve vědě a technice. - Je těžké vytvořit další SCI? – Scopus aneb konec monopolu SCI. - I. f. a internet – citation, sitation, webometrics.

Dosavadní „dvouleté“ i. f. mohou být přeměněny na „kumulativní i. f.“ Tím, že se doba sledování počtu citací a počtu příslušných časopisů mění, prodlužuje se tak „okénko“ sledování. Tím se mění i i. f.. Např. pro Nature resp. Science při jednoletém „okénku“ (1989) i. f. pro dané časopisy dosahovaly hodnot 70,86 resp. 80,16 a při pětiletém „okénku“ (1989-93) hodnot 40,38 resp. 38,21, tedy klesaly (29). Dalším možnost rozšířením palety indikátorů přinesly výsledky dánské studie (1993-1998), kdy bylo použito pět diachronických scientometrických indikátorů. Formou modifikovaných i. f., jež představují robustní indikátory poskytující dobré a danému cíli odpovídající výsledky, byl sledován do budoucnosti vývoj publikačního chování a publikační výkonnosti (30). Výsledky zřejmě umožní zjišťovat okolnosti, jež vedou k docílení vysokého impaktu, pokud autor jednou uspěje publikovat ve vysoce impaktovaných časopisech. Zdrojem dat byly databáze ISI.

Existuje i celá řada dalších indikátorů měřících publikační rychlost a růst, jež různým způsobem vycházejí z počtu publikací a z období příslušných let, za něž je měření prováděno. Svým způsobem jsou některé z indikátorů v jistém vztahu se základním i. f. (31). Kromě toho firma Thomson produkuje Journal Performance Indicators (JPI), které z dat získaných z více než 10.000 vědeckých vysoce citovaných časopisů za období 24 let mohou poskytovat za různá období a pro různé časopisy a články různé citační a impaktfaktorové údaje (32). Indikátory JPI pokrývají nyní každoroční shrnutí pro období 1981-2004, a v porovnání s údaji v JCR poskytují pokud jde o i. f. přesnější hodnoty (5).

Mezi další užitečné produkty vycházející z WoS patří např. „citační denzita“ nebo „referenční denzita“ (11), udávající kolik připadá průměrně referencí na jeden článek. Stejně tak je třeba sledovat i „citační poločas“, který udává rok, v němž vycházeje retrospektivně z roku publikace toho článku, leží právě 50% ze všech v něm citovaných článků (5). Pro tyto oba významné bibliometrické ukazatele je třeba hledat jejich obvyklé hodnoty, jež je třeba znát při interdisciplinárním porovnávání. Tyto indikátory právě svými rozdílnými hodnotami poukazují na rozdílnost daných časopisů, nebo jejich skupin, podle jednotlivých vědních oborů a podooborů (26). Oborovou příslušnost časopisu pomáhá stanovit „koeficient příbuznosti“, který je nově zaveden do JCR (5).

Nelze na tomto místě nezmínit, že bibliometrickým indikátorům a analýze výzkumných systémů byla věnována samostatná publikace OECD (33). Práce probírá problematiku pečlivě a detailně. Za zmínku stojí závěr 4. kapitoly s pasáží o budoucnosti bibliometrických indikátorů (p. 23): „Každý indikátor má své přednosti a svá omezení. Nesmí se na ně hledět jako na „absolutní“ ukazatele; mají komplementární roli. Různé bibliometrické postupy a metody musí být používány v kombinaci, přestože mohou někdy vést k protichůdným výsledkům, zvláště pokud poskytují užitečné informace a odpovídají vědeckým a odborným standardům. Přes svá omezení, bibliometrické ukazatele poskytují zásadní kvantitativní měřítka vědeckého výkonu.“ O i. f. není v celé práci (70 str.) ani zmínka.

Není asi náhodou, že pomocí bibliometrických indikátorů byla hodnocena publikační výkonnost jednoho indického fyzika (34) a v Indii byla rovněž provedena rozsáhlá analýza výzkumu v oblasti „life sciences“ na základě databáze Biosis z let 1992-1994 (35). Jistěže naše poměry nejsou s těmito téměř kontinentálními rozměry vědy a výzkumu v Indii porovnatelné, ale v obou případech vstupoval do hry i. f. Je třeba doufat, že česká decizní sféra o tom ví. Z nedaleké Austrálie jsou pak recentně referovány dva projekty z oblasti výzkumné a evaluační politiky v sociálních vědách. Jde o strategické indikátory hodnotící výkonnost ve výzkumu a v druhém projektu jde o testování kvantitativních indikátorů kvality a dopadu výzkumu v sociálních vědách s projekcí na ekonomiku. (36, 37). Vzhledem k tomu, že v domácích poměrech jsou sociální vědy spíše mimo střed bibliometrického hodnocení, je i v tomto případě vhodné o existenci těchto prací vědět.

Mezi alternativní ukazatele sledující publikační výkonnost je možno zařadit Erdösovo číslo (E), a s ním spojené grafy spolupracovníků. Vychází z představy přiřazovat vědeckým pracovníkům E, představované celým číslem. Nejvyšší výchozí hodnota je 0 a patří maďarsko-americkému matematikovi Paulu Erdösovi (1913-1996). Další číslo je 1 a patří všem matematikům (více než 250), kteří byli spoluautory jeho publikací. Další, kdo publikovali s těmito držiteli E v hodnotě 1 mají číslo opět o jedničku větší, tedy 2 atd. P. Erdös byl velmi produktivní autor více než 1.000 publikací (11). E je celkem zvláštní překvapivá míra výkonnosti, známé přes více než 25 let.

Číslo E je fenomén vlastní matematické vědecké komunitě z druhé poloviny minulého století, kde panovala silná spolupráce s průvodním spoluautorstvím. Nositelé různých ocenění, např. Fieldsovy medaile dosahovali koncem minulého století E nižší než 6 a více než 60 nositelů Nobelovy ceny za fyziku, chemii, ekonomiku a medicínu mají E nižší než 9 (38). Jsou sestaveny rozsáhlé seznamy hodnoty E u nositelů různých cen a medailí (např. „Fields“, „Nevalinna“, „Wolf“, „Steel“) jakož početné graficky vyjádřené cesty počínající vždy Erdösem a sestupně se odvíjející podle následných spoluautorství. Pro medicínu E asi nemá význam, i když pro F. H. C. Cricka, genetika a biofyzika, spolunositele Nobelovy ceny za objev dvoušroubovice DNA, E dosáhlo hodnoty 7.

Dalším a zcela recentním alternativním ukazatelem ke sledování a hodnocení publikační výkonnosti je index h, jehož autorem je americký fyzik J. E. Hirsch (39). Index je definován jako číslo udávající počet článků (h) s počtem citací větším nebo stejným jako je počet těchto článků (h). Tento číselný index vyjadřuje vědecký výstup výzkumného pracovníka a může sloužit pro hodnocení nebo srovnávání při přijímaní na univerzity, povyšování v práci nebo žádostech o grant. Má-li někdo dosáhnout např. h =110, musí být autorem 110 článků, jež mají počet citací právě 110 nebo výše. Výhodou je, že měří autorovu produktivitu , nevýhodou, že nehodnotí důležitost článků nebo jejich impakt. Protože se zde vyjadřují citace vztažené na článek umožňuje h srovnávat vědce různého věku (na rozdíl třeba od i. f.). Principem h je z autorových všech publikací vybrat jich jen h, jež mají však zároveň i stejně h vysoký počet citací, takže představují jen ty „významné články“. Index h poskytuje představu širokého a trvalého impaktu pro jednoho autora. Pokud mají dva vědečtí pracovníci stejné h, i když celkový počet jejich článků a citací se velmi liší, mají oba stejný vědecký impakt. Naopak u dvou vědců, stejného „vědeckého“ věku, se stejným celkovým počtem článků a citací, ale velmi odlišným h, ten s vyšším h představuje vědce uznávanějšího. Vhledem k tomu, že výpočet je snadno možný podle databáze Thomson ISI Web of Science, stálo by za pokus provést v našich poměrech srovnání současného stavu hodnocení s tímto zcela novým systémem. Až na nevýhodu, stejnou jako u i. f., že je totiž citlivý na vědní disciplinu a tudíž výsledky jsou mezioborově těžko porovnávatelné, je tu příležitost využít jeho výše uvedených předností (porovnej (73)!).

Současnou alternativou SCI je databáze Scopus, která poskytuje ke všem zpracovaným článkům i možnost přímo sledovat všechny jejich dosavadní citační odkazy. Neobsahuje ve své koncepci nástroje umožňující přímo výpočet i. f.. Má naopak oproti SCI, resp. WoS, některé výhody, jež jsou komentovány a porovnávány v oddíle 5.

Na otázku uvedenou v záhlaví tohoto oddílu, jež je možná na první pohled provokativní, totiž zda je možné sestrojit další vlastní SCI, je možné odpovědět zcela uspokojivě na základě projektu uskutečněného v Národní lékařské knihovně v Praze (40). Koncepčním východiskem bylo počítačové zpracování národní lékařské bibliografie „Bibliographia medica čechoslovaca“. Pro modelovou demoverzi citační databáze byly použity tři časopisy: Vnitřní lékařství (za ne-chirurgické obory), Folia microbilogica (za molekulární biologii a genetiku) a Bratislavské lékařské listy (za klinickou a experimentální medicínu a všeobecné lékařství). K vypočtení dvou indikátorů, tj. i. f. a immediacy index za rok 2000, byly zpracovány tři ročníky výše zmíněných časopisů (1998, 1999 a 2000).

Pro tyto tři domácí pramenné časopisy, stejně jako pro dalších sedm domácích, jež v nich byly dostatečně zastoupeny, se podařilo na základě počtu všech článků zveřejněných v roce 1998 a 1999, a z nich pak citovaných v roce 2000, vypočíst jejich i. f. za rok 2000. Obdobným způsobem z počtu všech článků zveřejněných ve třech pramenných časopisech v roce 2000 a z nich v témže roce citovaných, byl pro 10 časopisů vypočítán i immediacy index. Kromě zjištění, že při dostatečné finanční podpoře lze takový rejstřík sestavit i pro větší počet časopisů, bylo zásadním poučením, že redakce zpracovávaných časopisů musí dbát o náležité uvádění referencí v literatuře, kdy samozřejmě je nepřípustné uvádět poznámku „Literatura u autora“. Při snaze zpracovat u článků nejen plnou referenci a soupis v práci uváděné literatury, ale i abstrakt, a zpřístupnit vše na internetu, se ukázalo za bezpodmínečné přejít při redakčním pracování na XML.

S ohledem na rostoucí počet článků dostupných na internetu, i když je to jen zhruba 20% jejich celoroční produkce, zdá se, že „impakt faktor“ pro články s „open access“ stoupá (41). Budou tedy nepochybně existovat i. f. také pro elektronické časopisy dostupné na internetu a vedle „biblio-„ a „sciento-metrics“ vznikne i „webometrics“, byť dosud příliš nevyzkoušená (5, 42). Vedle dosud obvyklých „citations“, odrážejících skutečnost, kdy nějaký autor citoval e-článek ve svém novém vědeckém článku, vzniknou i „sitations“ k postižení počtu čtenářů, kteří si e-článek pouze stáhli (download).

Z ryze formálního hlediska, aby nebyl opomenut, je uveden i jeden při nejmenším jménem velmi sugestivní „Euro-Factor (EF) ™“ (43). Přestože je EF prezentován v monografii (52 stran, 21 referencí) s 9 mezinárodně autorskými příspěvky, nelze zodpovědně posoudit o jaký „nový faktor analyzující kvalitu nejlepších evropských lékařských časopisů“ vlastně jde. Už proto, že není zřejmé, jak byl odvozen základní vzorec. Pro naše poměry to bude slepá vývojová kolej, která přes vznešené formulace, nemůže, ani alternativně, řešit evropskou situaci v této oblasti.

4 - Fenomén i. f. v českém pohledu

Z historie i. f. a SCI u nás. - Možnost uplatňovat i. f. a SCI v disparátní společnosti. - Současná stanoviska kritická i deklarační.

První česká práce o citování v odborné a vědecké literatuře prochází z roku 1943 a je z technické oblasti (44). První studie o frekvenci citování odborné metalurgické literatury vzniká až po dvaceti letech (45). Následující publikace, rovněž z pera dokumentátora, je již o citačním rejstříku (46) a chápe ho jako nástroj k vyhledávání pramenů, bez zmínky o citační analýze. Pak teprve přichází z řad vědeckých pracovníků první odezva na SCI, který začal být k dispozici v tištěné verzi i u nás (47, 48). Klíčovou osobou pro citační analýzu v československých zdravotnických časopisech je svými rozborovými i teoretickými studiemi s více než 25 záznamy přednášek a publikovaných sdělení MUDr. Jan Hlebich, CSc. z Národní lékařské knihovny z období 70. a 80. let, např. (49, 50). Ojedinělou prací o možnosti objektivního hodnocení úspěšnosti základního výzkumu je v 80. letech v naší literatuře studie L. Jánského sledující dynamiku citačních ohlasů vlastních prací o termoregulaci (51). Mezitím se u nás citační analýze a všemu, co s tím souvisí, věnoval na světové úrovni Ing. Jan Vlachý, jaderný fyzik a zároveň editor Czechoslovak Journal of Physics. Jeho práce zavzal E. Garfield trvale do metodické části SCI. Publikoval doma i v zahraničí přes 120 analytických prací, např. (52, 53, 54).

Pak až v 90. letech dochází mezi vědeckými pracovníky k řadě diskusních vystoupení na stránkách různých bulletinů vědeckých institucí, zřejmě v souvislosti s jejich restrukturalizací a hlavně restrikcí. Cílem obvykle bývá prokázat přednosti toho „svého“ nebo „našeho“ časopisu, jemuž hrozí zánik. Zřejmě proto také mají tyto příspěvky často polemický a konkrétními numerickými argumenty ne vždy dostatečně či racionálně podložený kritický charakter. Svědčí však alespoň o snaze „nenechat to jen tak být“. V titulu se vyskytuje zásadně „impact factor“, ale i „impaktový faktor“ (55, 56, 57, 58). Další článek ze stejného zdroje a na stejné téma, ale až z poslední doby, sice jen s limitovaným počtem argumentačních čísel přímo v textu, je již korektně kritickým rozborem metodiky hodnocení výzkumu a vývoje a jejich výsledků v roce 2005, jak je navrhla RV pro VaV, a to včetně komentování úlohy i. f. (59).

V českém odborném lékařském tisku editoři pak rádi uvolní stránky knihovníkům nebo rešeršérům, aby čtenářům jejich časopisů v popularizačním článku podali informace o impaktfaktoru a hodnocení vědecké práce (60), o citačním indexu a impakt faktoru (61), nebo o využití citačních rejstříků a impakt faktoru (62). Trochu v duchu journalologie a jejího zdůraznění role šéfredaktora při zvládání bibliometrických principů, se v některých časopisech této úlohy úspěšně ujímají šéfredaktoři (63, 64), někdy s doplněním konkrétních výsledků i v mezinárodním srovnání podle SCI ze svého časopisu nebo z instituce, jež ho vydává (65). Vedle toho se v našich odborných lékařských časopisech objevují k tématu i. f. kritické komentáře z řad vědeckých event. klinických pracovníků, které dosud na rozdíl od příspěvků v zahraničních časopisech nemají exaktně analytický charakter. Nejrozsáhlejší z nich (66) představuje kompilační esej z klinického pracoviště s dobrým informačním zabezpečením, v poněkud rétorickém stylu, zajímavý tím, že autoři uvádějí seriózní zahraniční opoziční názory na i. f. formulované např. T. Opthofem nebo P. O. Seglenem, aby zakončili zajímavě vizionářským závěrem.

Další dvě práce jsou zřejmě reakcí na článek hodnotící z hlediska SCI fakultní bibliografii a ukazující na možnosti publikovat i v časopisech s i. f. (65). V jedné z nich autor na základě dobrých znalostí bibliometrických principů i konkrétních hodnot z JCR připojuje i cenné zkušenosti ze zahraničních pobytů, aby závěrem racionálně uvedl podmínky, jež mohou vést i u nás k proniknutí do renomovaných časopisů (67). Druhý článek jen klasickou úvahou opírající nejen o velké klinické ale i publikační zkušenosti. Čtenář, zvláště začínající publikovat, se seznámí třeba i s tím, že průlomový článek o objevu paradoxního spánku, přestože vyšel ve významném časopisu Science, čekal téměř pět let než vešel ve známost (68). Před časem se objevil v ČLČ „diskusní příspěvek“ komentující internetový návrh na další nový faktor měřící publikační prestiž. Přitom čtenáře upozorní i na jiné problémy, než hodnocení vědy, jež jsou pro ni stejně tak významné. Autor příspěvku, zřejmě vědom si i zodpovědnosti za osud českého jazyka ve vědě, uvažuje, zda má vůbec cenu publikovat v češtině. Tedy v současné době, kdy komerční a showbyznisové trendy pronikající z kultury i do vědy, vedou ve svých důsledcích k poklesu úcty k rodnému jazyku. Je nepochybné, že i takovéto drobné poznámky a glosy patří z hlediska moderní journalologie do odborných časopisů, protože nejen zpestřují spektrum příspěvků, ale i na závažné téma upozorní inteligentním způsobem (69).

Cílem této části úvahy o i. p. nebylo podat vyčerpávající bibliografii článků o i. f. v domácích zdravotnických časopisech. Z toho, co bylo uvedeno je přesto potěšující, že redakční rady a vedoucí redaktoři odborných lékařských časopisů tomuto fenoménu věnují pozornost, i když je třeba někdy centrálně koordinována, např. přes ČLS JEP (62).

V poslední době (12. 10. 2005) se v novinách zaměřených na ekonomiku objevil k tématu hodnocení vědy článek, který svými autory, obsahem, stylem i samotným nadpisem zasluhuje pozornost (70). Dva pracovníci Filozofického ústavu AV ČR napsali téměř otevřený dopis, uvedený nadpisem: „Vládá měří vědu. Zničí přitom humanitní obory“. Je možné, že se na výsledné podobě některých formulací podíleli i redaktoři. Přesto samy mezititulky mnohé napoví: „Zredukovat na jediné číslo“, čímž je míněn právě i. f.,; „A co když „impakt“ chybí?“, kde je komentována mimo jiné metodika pro hodnocení, jíž se již zabýval také jeden z výše uvedených článků (59); „Není Journal jako Journal“, kde je konkrétně s čísly argumentováno, jak se ve skutečnosti publikuje ve dvou zahraničních časopisech, které autoři znají. „Jste málo užiteční“, jasně popisující pocit nedocenění humanitních oborů oproti v takových případech uváděné medicíně nebo chemii, jako oborů vždy a stále protežovaných. Svým obsahem je dopis věrohodný jak například kritizuje nastavení kritérií podle již jednou zmiňované „Metodiky“, kdy pod vlivem kritických reakcí mělo dojít k jistým posunům, nikoliv ale k omezení jejich diskriminačního charakteru.

Opatření Rady vlády pro vědu a výzkum, jímž se zřejmě některé časopisy bez i. f. podle SCI přesto zařadily pro hodnocení výstupů výzkumu do kategorie časopisů téměř identické s impakfaktorovanými časopisy. To postihlo i Časopis lékařů českých, který nebyl do této skupiny zařazen, zatím co Praktický lékař ano (7). Je to jeden z dokladů nesystematičnosti nebo netransparentnosti rozhodování RV VaV při hodnocení vědy, což pochopitelně vyvolává negativní odezvy ve vědecké obci, tím spíše, když ji to postihuje. Musíme vzít na vědomí, že takové arbitrární rozhodování v podobných institucích není zřejmě zase tak vzácné.

E. Garfield uvádí příklad z Ruska, kde byly podivuhodně nastaveny i. f., aby co nejvíce z 20.000 žadatelů mezi ruskými vědci mělo dobré citace a mohli dostat podporu od Sorosovy nadace. Obdobné politické manipulace se s i. f. staly také v Itálii (12). Dále je známo, že v sociálních vědách u řady vysoce hodnocených časopisů existuje nelinearita a těmto časopisům se dostává nepřiměřeně vysoké ocenění, zatím co časopisy nové a méně prestižní dostávají nižší kredit, než by jim podle i. f. náležel (71). A konečně pro naše pracovníky z humanitních oborů by bylo asi v jejich vlastním zájmu podstatné vědět, jaké se používají jinde při výzkumu v těchto vědách výkonnostní indikátory (35, 36).

Je zřejmé, že vědečtí pracovníci by měli možná ještě častěji jednat s vládní administrativou provádějící hodnocení vědy. Aby však byli při nejmenším rovnocennými partnery, je třeba mít dobré znalosti z bibliometrie a scientometrie, aby jejich argumentace obstála. V této eseji uváděná literatura, která by řadě pracovníkům mohla třeba pomoci, je dostatečným dokladem, že hodnocení vědy, scientometrie, potřebuje stejně kvalifikované a strukturované vzdělání ze svébytných disciplin, jako to svoje potřebují vědci, kteří se s úředními „scientometristy“ dostávají do sporu. Ztěžka lze očekávat, že by si vládní, a tedy politické orgány, zřídili poradenskou službu pro hodnocení vědy třeba právě na pomoc nešťastným, nespokojeným nebo neoceněným jednotlivcům. Vědci při rozdělování peněz, o což při tom v podstatě jde, jim nikdy nemohou být partnery, ale měly by se stát připravenými oponenty.

5 - Má i. f. roli v hodnocení vědy ve světě a u nás?

Co říká jeho tvůrce E. G.. - Zachovat jednotu a hledat další kritéria? - Pozor na známý následek vylévání vody z vaničky a osudu dítěte. - Má konsenzuální kritické řešení naději na přijetí vládní administrativou? - Qui custodiet ipsos custodes [viz literatura (9)].

E. Garfield uzavřel jednu ze svých četných přednášek pro zasvěcené editory vědeckých časopisů (25) použitím citátu z jednoho „dopisu redakci“ časopisu „Allergy“, který má sloužit k stručnému zhodnocení významu i. f. (72). Myslím, že ztěžka svým positivním obsahem může tento článek sloužit jako příklad četných kritických názorů na i. f., jak ho E. G. označuje. Přesto, nebo právě proto, je jistě vhodné toto uznání tlumočené tvůrcem i. f. znát: „Impakt faktor není dokonalý nástroj k měření kvality článků, ale není nic lepšího a má výhodu, ze již existuje a právě proto má možnost dobrého technického použití k vědeckému hodnocení. Zkušenost ukázala, že v každé specializaci jsou nejlepší ty časopisy, v nichž je nejnesnadnější docílit přijetí svého článku, a jsou to tyto časopisy, které mají vysoký impakt faktor. Tyto časopisy existovaly dlouho před tím než byl impakt faktor navržen.“

Takový názor je jistě možno přijmout a odpovídá současné domácí i zahraniční praxi, jakož i názoru řady vědeckých pracovníků. Já sám bych však ocitoval ze zmíněného článku (72) hlavně jeho poslední dvě věty, které vysvětlují předcházející citát převzatý Garfieldem v trochu jiném světle. Představují totiž místo Garfieldova „rozpačitého“ názoru, že „není nic lepšího“, jiný názor na vlastní roli i. f. trochu z praktického i filosofického pohledu, co je primární, zda hodnota samotného článku bez ohledu na i. f. časopisu, kam je zasílán, nebo naopak. Tedy autor svůj dopis redakci končí slovy: „Na závěr, prestižní časopisy uveřejňují články vysoké úrovně. Proto jejich impakt faktor je vysoký, a nikoliv naopak.“

Je třeba si uvědomit, že nejasnosti, kontroverze, neshody kolem i. f. vznikaly převážně z nesprávného jeho používání, a to z jakýchkoliv pohnutek nebo důvodů. E. Garfield až do současnosti se snaží podávat o tomto tématu vždy vyrovnaný obraz, právě pro jeho významnost (5). Jsou to právě spíše jednotlivci, vědecké instituce nebo hodnotitelská administrativa, které takový korektní postup příliš neplní.

Stojí za to na tomto místě uvést, že současný a až donedávna monopolní zdroj citačních ohlasů WoS (produkovaný americkou firmou Thomson), který představuje typicky výběrovou bibliografii, by v tomto směru mohl být nyní doplněn, zvláště vzhledem k naší evropské lokalizaci, novou databázi Scopus (představená nizozemskou firmou Elsevier koncem roku 2004), která rovněž eviduje citační ohlasy. Zpracovává více časopisů (14.000 oproti 8.000 u WoS), navíc zaměřených na evropské spektrum. Pro české prostředí je databáze zajímavá i tím, že respektuje českou diakritiku.

Mezi novinkami ze zcela poslední doby (29. 9. 2005) se objevil index h ke kvantifikaci individuálního vědeckého výkonu (39). Má výhodu, že měří výkonnost, umožňuje srovnání vědců různého věku, a ze svého principu vybírá z celé autorovy produkce jen „významné“ články. Autor mimo jiné s mimořádnou korektností upozorňuje na nevýhodu najít skutečně všechny (!) citace.

Jako nevýhodu indexu h sám autor uvádí dále citlivou otázku přehledových článků (review), jež obvykle získávají více citací než původní články prezentující nové výzkumné výsledky. Svůdné na tomto novém faktoru hodnotícím dopad vědecké práce u jednotlivého vědce je, že dokonce umožňuje sestavit jakousi klasifikační stupnici. Pokud vědecký pracovník po 20 letech práce dosáhne h rovné 20, je ho možno označit za úspěšného. Pokud h bude rovné 40 je vynikající a při hodnotě 60 (nebo 90 po 30 letech) je skutečně výjimečným jedincem.

Možná, že by neměla ani u nás uniknout členům různých konkurzních, akreditačních a dalších rozhodovacích komisí další autorova (39) praktická „evaluační“ aplikace pro h. Hodnoty v rozmezí 10 -12 by mohly být na velkých výzkumných univerzitách typické k udělení definitivy (tenure resp. assoc. prof.) a po dosažení hodnoty 18 i řádné profesury. Pro přijetí za fellow v American Physical Society h by mělo být 15 až 20 a členství v US National Academy of Science by mělo být spojováno s h vyšším než 45, kromě výjimečných okolností. Tato poslední poznámka ukazuje, jak obtížné je nastavovat jakékoliv rozhodovací mantinely, tím spíše v tak citlivých otázkách, jako je hodnocení vědeckého výkonu nebo rozhodování o celoživotní kariéře. Přesto je vhodné, o tom vědět a třeba i porovnávat, byť jsou podmínky tak rozdílné u nás či jinde. Zvláště ve Spojených státech, jež často, podle výhodnosti, bývají vybírány jako standard.

Článek o indexu h (39) může posloužit jakékoliv diskusi o používání různých indikátorů, zvláště i. f., k měření vědecké či publikační výkonnosti i tím, že jasně dokazuje intenzivní zájem o tuto otázku, jaká je jí v mezinárodním odborném tisku věnována. Navíc je tato otázka zřejmě řešena seriózním výzkumným způsobem, ne jen komentována diskusně. Měsíc po zveřejní bylo možno na zmíněném serveru již najít zásadní práci brazilských autorů z Filosofické fakulty univerzity v Sao Paolo (73), kteří ve svém indexu h1 zohledňují i počet spoluautorů a prokazují, že v této podobě je index h vhodný i ke srovnání mezi odlišnými vědními oblastmi. Nutno podotknout, že základem jejich studie bylo 190.000 vědeckých článků z oblasti matematiky, fyziky, chemie a biologie/biomedicíny z let 1945 až 2004, jež autoři získali z databáze Thomson ISI Web of Science. Pro dnešní úvahu je podstatné, že pokud je zájem hledat další postupy hodnocení vědecké výkonnosti i u nás, pak tedy „nihil obstat“ pokusit se ověřit vhodnost této metody h i u nás. Původní práce (39) vzbudila tiskovou odezvu v odborném časopise Nature (74) dokonce ještě před svým zveřejněním (18.8.2005), ale i u nás mohli čtenáři denního tisku (a posluchači radia ČRo 2 Praha ve výsílání Meteor) si přečíst již 5.11.2005 nejen o indexu h, ale i o Erdösově čísle E (75).

Otázka, jak přistupují vědečtí pracovníci nebo různé komise k hodnocení, jakémukoliv, je kardinální, protože výsledek takového rozhodnutí má vždy závažné důsledky, jako je přidělení grantů, udělení cen a vyznamenání nebo kariérní postup. V souvislosti s indexem h (74) se čtenáři mohli dočíst o názoru britských badatelů na hodnocení vědy, jaký v UK převládá po zkušenostech s hodnocením v roce 2001. Podle managera komise UK Research Assessment Exercice, která hodnotí kvalitu univerzitních vědeckých pracovišť k jejich financování, komise se záměrně vyhýbá „metrice“, včetně výslovně uvedených impaktových a citačních ukazatelů, a dává přednost „review panels“, tedy názoru expertů. Mezi výzkumnými pracovníky jich dává přednost takovému „peer review“ (vyjádření experta) 96%. Jistě je třeba pro naše poměry vážit srovnatelnost všech podmínek, avšak přehlížet tuto situaci by asi nebylo příliš vědecké, nehledě snad ani na to, že je to uveřejněno v odborném časopise Nature, který má pro rok 2004 impakt faktor 00,000.

Právě v případě takovýchto zásadních rozhodování mohou pro závažnost situace vstupovat do hry vedle racionality či vědeckosti i jiné faktory. Možná, že jsou to právě některé z dramatických prvků vědeckého života formulovaných až kánonicky J. Lederbergem v jeho úvodu ve svazku biografických medailonů významných vědců „The Excitement and fascination of science: Reflections by eminent scientist“ (76). Při hodnocení vědce jeho nadřazenou institucí se u něj může uplatnit zřejmě jeden z jeho konfliktních postojů kolísající mezi ikonoklasmem a respektem vůči ustáleným pravdám. Do stejné kategorie patří i postoj vědce k řadě „mythů“, tedy polopravd, které se ve vědě vyskytují i v oblasti používání i. f. při hodnocení vědy. Sám E. Garfield takovéto mythy pokud jde o i. f. komentuje a snaží se je uvést na pravou míru, a to opakovaně (12, 77). Uvádím názory J. Lederberga i E. Garfielda vedle sebe mimo jiné i proto, že oba dva stáli u vzniku SCI (78).

Další mythus, který zasahuje do procesu hodnocení, a tedy i do hodnocení vědeckých publikačních výkonů, je dosud stále deklarovaná nutnost dodržovat absolutní anonymitu při posuzování (peer review), tedy při recenzích či jiných oponenturách, k nimž ve vědecké sféře z mnoha důvodu a proto i velmi často dochází. Je naděje, že alespoň journalologie se takovému „open peer review“ již otevírá (od 1. 1. 1999 alespoň v BMJ – British Medical Journal, který má pro rok 2004 impakt faktor 00,000). Prokázalo se totiž, že otevření posuzovacího procesu nemá vliv na jeho kvalitu a ani počet recenzentů po zavedení tohoto režimu významně nepoklesl. Odstranění anonymity z posuzovacího procesu ve vědě již tedy nastoupilo realistickou cestu (79). Podceňovat nebo jakkoli přehlížet u nás při hodnocení vědy současnou situaci v oblasti „peer review“ by bylo asi nemoudré, při nejmenším z důvodu možnosti výskytu nepatřičného chování ve vědě (scientific misconduct), kde se na tomto poli situace v posledních desetiletích dramaticky změnila (80).

Asi by se neměl podceňovat názor čelného fyzika působícího po více než třicet let jako profesor na California Institute of Technology, jak ho uveřejnil v časopise vydávaném American Association of University Professors, jež má v podtitulu motto „Academic freedom for a free society“ (80). Autor celou podstatu problému shrnuje do dvou úvodních vět: „Vědci nejsou svatoušci. Ačkoliv málo z nich falzifikuje výsledky, konkurence je tak veliká, že mnozí z nich se zachovají zbaběle jiným způsobem“. Vědu brzdí nyní počet míst ve výzkumu a množství peněz, jež jsou k dispozici. „To, co až dosud bylo jen intelektuální soutěží, se změnilo v intenzivní boj o sporé finance. Tato změna je jako dlouhý běh, který je trvalý a neměnný a bude mít asi nežádoucí účinky na etické chování mezi vědci. Případy vědeckého podvodu se stanou ještě častější, stejně jako jiné formy špatného chování ve vědě“. V této situaci vidí, že recenzní řízení v časopisech je v nebezpečí. Jsou to totiž časopisy, které rozhodují, co bude publikováno a tím vlastně rozhodují i o tom, kdo získá finance. Grantové agentury totiž rozhodují při podpoře výzkumu právě převážně na základě publikací.

Z dosud uvedeného je zřejmé, že současné hodnocení vědeckých výsledků, tím spíše za použití i. f., bere za základ hodnocení publikační činnosti. Souvisí tedy přímo i s činností odborných redakčních rad, jež zajišťují redakční zpracování článků obsahujících výsledky výzkumu. A to včetně jejich hodnocení pomocí „peer review“. Tím dbají redakční rady o kvalitu publikační činnosti a přispívají k jejímu zlepšení. Existuje skutečná návaznost hodnotících procesů v redakcích během publikace článků s výsledky výzkumu a následným hodnocením článků v rámci aktivit hodnotitelských institucí.

Propojení, nebo aspoň paralela, obou dějů, tj. na jedné straně hodnocení redakčním a na straně druhé hodnocení hodnotitelskou institucí je evidentní. Přitom recenzní řízení probíhá anonymně a stejně anonymně postupují při rozhodování i grantové agentury. K průhlednému fungování vědy je proto třeba, aby v těchto oblastech, tj. publikování výsledků výzkumu (tedy journalologie) a hodnocení výsledků vědy (tedy evaluační komise a aplikace i. f.), se rozhodování všech, kdo se na tom pidílejí řídilo zdravými morálními principy. Proto snad není pochyb o nutnosti přistoupit k otevřenosti ve všech možných složkách hodnocení vědy, nemá-li v ní dojít k iniciaci nepatřičného- chování (misconduct).

Na tomto místě považuji za nutné a zásadní, v duchu jakési poznámky uvádějící „na správnou míru“ možnost používání i. f. k hodnocení jednotlivců, uvést i stanovisko E. Garfielda. Vzhledem k desetiletému intervalu od svého uveřejnění v BMJ by mělo být už nejen dostatečně známé, alespoň odborníkům na hodnocení, ale i všemi respektované (81). „Hodnocení univerzitních pracovníků je důležitý krok, který ovlivňuje jejich individuální kariéru. I. f. , určený primárně k hodnocení časopisů, pro což je důležitý, by neměl být používán mimo tuto oblast jako náhradní způsob hodnocení osob, kromě mimořádných okolností“. E. Garfield takovéto korigující či moderující články adresoval i konkrétním skupinám, aby je varoval, před nevhodným používáním i. f. (82).

Farmaceuty, farmakology, ale i praktické lékaře a jistě i sociology vědy, by v této souvislosti asi napadlo, zda by neprospělo všem, kdo používají i. f., tak jako je tomu povinností i u jiných „remedií“, přidávat příbalový lístek, jež by mohl zabránit nebo omezit jeho zneužívání (misuse, abuse). Musel by být na něm být uveden výrobce (např. Thomson), složení (přesně definován i. f. jako účinná látka jakož i příslušný citační rejstřík, z něhož byl odvozen), indikační skupina (vědečtí pracovníci, výzkumné instituce, autoři), charakteristika (bibliometrický indikátor časopisu), indikace (bibliometrické hodnocení odborných časopisů), kontraindikace (hodnocení publikačního či vědeckého výkonu jednotlivých pracovníků resp. autorů, nebo hodnocení za účelem docílení předem stanoveného výsledku evaluace), nežádoucí účinky (zkreslené výsledky hodnocení vedoucí k poškození hodnoceného, popř. i motivování k nepatřičnému vědeckému chování), interakce (k zajištění komplexního hodnocení výkonu, ne jen opírajícího se o jedno kritérium vědcovy publikační činnosti jakým i. f. je, nutnost kombinovat i. f. s dalšími vhodnými indikátory vědeckého výkonu a naprosto nutně při všech evaluacích spojit s posudkem kvalifikovaného a nezávislého experta), způsob podávání (použití i. f. vždy ještě doplnit informovaným souhlasem hodnoceného), upozornění (pokud i. f. nepoužívá odborník, doslova profesionál, seznámený při nejmenším se základy bibliometrie resp. scientometrie – pozor. nesměšovat s odbornými znalostmi v některém jiném vědním oboru nebo s hierarchickou pozicí v administrativě výzkumného ústavu nebo oficiální hodnotící instituce -, výslovně tuto okolnost uvést v závěru hodnocení, nebo je raději ani nedělat), způsob skladování a varování vyplývá z předchozích bodů.

Epilog

Tak co nakonec ten i. f. vlastně je?

• Je to číslo vypočtené na základě velkého množství dat zjištěných u vzorku článků uveřejněných za určité období ve vybraném časopise. Toto číslo je přesně vypočtené z údajů o počtu článků a počtu citací, které za dané období články dosáhly. I. f. je uváděn na tři platná desetinná místa a umožňuje statisticky odhadnout, jaký by, na základě těchto výpočtů platných pro zmíněný vzorek článků z uvedeného období, mohly mít citační ohlas další články, pokud budou do uvedeného časopisu zaslány a pak v něm uveřejněny. Označuje se jako „impakt faktor“, tedy „činitel dopadu“. Je to bibliometrický indikátor v podobě jednoho čísla a je platný jen pro daný časopis („journal impact factor“) a pro daný rok. I. f. neplatí pro jednotlivé články, z nichž byl vypočten, ani pro jejich autory.
• I. f. odhaduje průměrnou pravděpodobnost citovanosti. Přitom některé články, které v tom období v daném časopise vyšly, nemusely být vůbec citovány. I. f., jako průměrná hodnota, je vypočten z údajů získaných třeba jen z několika mála úspěšných článků, a propůjčuje tím svou hodnotu i těm článkům, které v časopisy vyšly, ale citovány nebyly. Proto se i. f. vztahuje jen na časopis jako celek.
• Pokud jde o citovanost, je třeba si uvědomit, že na základě dlouhodobých sledování po řadu desetiletí u mnoha milionů zveřejněných článků bylo prokázáno, že jen polovina z nich je někdy citována. A pro důkaz „dopadu“ článku svědčí právě to, že tento článek byl citován. Bez ohledu na to, jaký i. f. má časopis, v němž byl článek uveřejněn. I. f. časopisu nemůže nijak nahradit citovanost článku, tedy jeho jednotlivé konkrétní citační ohlasy.
• Publikační zvyklosti co do počtu článků se v jednotlivých vědních oborech, ale i jejich podoborech, podstatně liší a stejně oborově odlišné je i citační chování autorů. Nacházíme tudíž v jednotlivých vědních disciplinách odlišné i. f. jejich časopisů. Proto není zásadně možné interdisciplinárně navzájem porovnávat publikační výkonnost podle i. f., což platí jak pro jednotlivce tak i pro instituce.
• Nedodržení výše uvedených principů, zvýrazněných na konci jednotlivých odstavců, např. při hodnocení vědecké výkonnosti, vede k použití i. f. nepatřičným způsobem, popř. přímo k jeho zneužití. Za takovýchto okolností mohou hodnotitelé dojít k nesprávným, až podvodným výsledkům, s vážnými až nedozírnými následky. Proto je třeba jak na jedné straně ve vědeckých institucích, kde věda vzniká, tak i na straně druhé v institucích, jejichž úkolem je vědu hodnotit, vytvořit takové podmínky, aby nedocházelo na žádné straně, ani uvnitř nich samotných, k tlakům, jež by k takovému zneužití mohly účastníky svést. Tento etický aspekt, jak u i. f. tak i všech indikátorů a dalších postupů používaných v hodnocení vědy, je třeba trvale zdůrazňovat i kontrolovat (etické komise). I. f. je nástroj hodnocení, který stejně jako skalpel, může ve správných rukou pomoci přežít, v nesprávných zahubit.
• Role i. f. je významná i pro samotné autory, např. při volbě, kam zaslat k uveřejnění právě připravovaný rukopis. Zde je třeba si uvědomit, že procento přijatých rukopisů k uveřejnění v nějakém časopise v podstatě nepřímo závisí na jeho i. f., a přiměřená skromnost je na místě. I. f. může pomoci vědeckým pracovníkům i knihovníkům při objednávání nových časopisů, či při rušení jejich abonnement. Hodnota i. f. by však při takovémto rozhodování měla být obezřetně korigována skutečnou „užitnou“ hodnotou časopisu, jak se jeví těm, kteří ho skutečně „užívají“ ke své práci.
• Konečně je třeba si uvědomit, že časopis má dobrý i. f. proto, že se v něm za významné účasti editorů a recenzentů publikují právě ty kvalitní práce. A ne naopak, že by článek byl kvalitní proto, že je v časopise s dobrým i. f.. Mnozí autoři, a zvláště zkušení editoři a recenzenti, o této skutečnosti nepochybují. Obtížnější je o tom přesvědčit vyznavače i. f., kteří zaujati jediným číslem s přesností na tři desetinná místa mají usnadněno své rozhodování, třeba právě při hodnocení výzkumu, neb právě toto číslo v případě jakýchkoliv, i zřejmých pozdějších pochyb o správnosti jejich postupu, jim poskytne nezpochybnitelné alibi. „Nemohl jsem jinak. Vždyť to je přece v souladu s i. f.!“
• Z celého textu i z výše uvedených pasáží tohoto epilogu by mělo být zřejmé, že i. f. představuje zásadní a nenahraditelný nástroj pro hodnocení časopisů na základě citovanosti. (Bez citačních rejstříků by samozřejmě nemohl vzniknout.) Ale samotný i. f. nějakého časopisu, bez citačních ohlasů k danému článku v tom časopise uveřejněném, nestačí k hodnocení vědecké práce. Svou jednoduchostí a dostupností může být jedním z řady kritérií pro hodnocení publikační činnosti jednotlivců i institucí. I. f. sám jediný, zvláště bez posouzení kvality výzkumu nezávislým expertem z daného oboru, nikdy nemůže stačit. Pokud ovšem nemá posloužit hodnotitelské administrativě jako domnělá záruka objektivity.

Stále totiž platí, že „i. f. je dobrý sluha, ale špatný pán“.

Poděkování: Je mi milou povinností poděkovat svým přátelům, ing. Miloši Jílkovi, CSc., emeritnímu pracovníkovi Ústavu mikrobiologie AV ČR za pomoc při výběru indikátorů z hlediska statistika a ing. Janu Vlachému za rady při přípravě textu z hlediska zkušeného pracovníka v této oblasti. Konečně patří mé díky i PhDr. Jaroslavě Veselé, z Oddělení časopisů Národní lékařské knihovny, za pohotové poskytnutí valné většiny plnotextových článků získávaných z internetových zdrojů.

Literatura

1. Špála M.: Citační indexy – Dobrý sluha, ale špatný pán? In: Vlachý J. (ed.): Moderní využití citační indexů. ČSTVT, Praha, 1988 :138-141.
2. Garfield E.: Citation Analysis: The Agony and The Ecstasy. Předneseno na III. interní klinice Fakulty všeobecného lékařství Univerzity Karlovy u příležitosti udělení čestného doktorátu Univerzity Karlovy, 9. 5. 1995.
3. Garfield E.: Agony and ecstasy of the Internet: Experiences of an information scientist qua publisher. Publications of Essen University Library, 21 p. 202-222, 1997. Předneseno na 19th International Essen Symposium Towards a Worldwide Library: A Ten Year Forecast, September 23-26, 1996.
4. Garfield E.: The Agony and the Ecstasy of Publishing Your Own Book. Essays of an Information Scientist, Vol. 3, p.173-175, 1977-78, Current Comments, No. 27, p.5-7, July 4, 1997. / http://www.garfield.library.upenn.edu/essays/v3p173y1977-78.pdf – 8. 11. 2005/ Garfield E.: The agony and the ecstasy – The history and meaning of the Journal Impact Factor. International Congress on Peer Review and Biomedical Publication, Chicago, Sept 16, 2005 /www.eugenegarfield.org - 8. 9. 2005/
5. Bartůněk P. et al.: Současnost a budoucnost českých lékařských časopisů. Časopis lékařů českých, 142 (5) příl. :1-9, 2003.
6. Bartůněk P. Editorial. Časopis lékařů českých, 145 (1) :00-00, 2006.
7. Lee S. T.: Responsibilities of an editor. Annals Academy of Medicine, 28 (2) :163-165, 1999.
8. Rennie D.: Guarding the guardians: a conference on editorial peer review. JAMA 256 :2391-2392, 1986.
9. Garfield E.: Essays of an information scientist. Vol. 1. - 15., ISI, Philadelphia, 1962-1993.
10. Diodato V.: Dictionary of bibliometrics. The Haworth Press. New York, 1994.
11. Garfield E.: The use of Journal Impact Factors and citation analysis for evaluation of science. 41st Annual Meeting of the Council of Biology Editors, Salt Lake City, 1988. /www.garfield.library.upenn.edu - 8. 9. 2005/
12. Garfield E.: The use of JCR and JPI in measuring short and long term journal impact. Council of Scientific Editors Annual Meeting, 2000. /www.garfield.upenn.edu/papers/ - 8. 11. 2005/
13. Garfield E.: Long-term vs. short-term journal impact: Does it matter? The Scientist 12 (3) :10-12, 1998.
14. Garfield E.: Long-term vs. short-term journal impact: Part.II. Cummulative impact factors. The Scientist 12 (4) :12-13, 1998.
15. Garfield E.: Citation idexes to science: a new dimension in documentation through association of ideas. Science 122 (3159) 108-111, 1955.
16. Garfield E.: Citation analysis as a tool in journal evaluation. Science 178 (4060). 471-479, 1972.
17. Garfield E., Sher I. H.: New factors in the evaluation of scientific literature through citation indexing. American Documentation 14 (3) :195-201, 1963.
18. Hopkin K.: Most highly cited. The Scientist, 19 (20) :22-22, 2005.
19. Garfield E.: Mapping the world of science. Předneseno na 150. výročním zasedání AAAS, Philadelphia, 1998. /http://garfield.library.upenn.edu/papers/mapsciworld.html – 8.11.2003/
20. Wouters P.: Garfield as alchemist. In: Cronin B., Atkins H. B. (eds.): The web of knowledge. ASIS, 2000, :65-71.
21. Lock S.: Journalology: evolution of medical journals and some current problems. Journal of Internal Medicine, 232 :199-205, 1992.
22. Lock S. P.: „Journalology“: Are the quotes needed? CBE Views, 12 (4) :57-59, 1989.
23. International Committee of Medical Journal Editors (ICJME): Uniform Requirements for Manuscripts Submitted to Biomedical Journals: Writing and Editing for Biomedical Publication (Update October 2005). /http://www.icmje.org – 8.11.2005/
24. Garfield E.: The use of JCR and JPI in measuring short and long term journal impact. Předneseno na Council of Scientific Editors Annual Meeting, 9. 5. 2000 /http://www.library.upenn.edu/papers/cseimpactfactor05092000.htm – 4.9.2005/
25. Garfiled E.: Journal impact factor: a brief review. Canadian Medical Association Journal, 161 (8) :979-980, 1999.
26. /http://www.issi-society.info - 8. 11. 2005/
27. Scientometrics - An International Journal for all Quantitative Aspects of the Science of Science, Communication in Science and Science Policy. Springer Netherlands co-publication with Akadémiai Kiadó, Budapest, Hungary.
28. Garfield E.: Impact of cummulative impact factors. Proccedings of the 8th IFSE Conference, Barcelona 1995 : 68-81.
29. Ingversen P., Larsen B., Wormell O.: Applying diachronic citation analysis to reaserch program evaluations. In: Cronin B., Atkins H. B. (eds.): The web of knowledge. ASIS, 2000, :373-387.
30. Vinkler P.: Publication velocity, publication growth and impact factor: An empirical model. In: Cronin B., Atkins H. B. (eds.): The web of knowledge. ASIS, 2000, :163-176.
31. Thomson: Journal performance indicators. http://scientific.thomson.com/products.jpi – 4.11.2005/
32. Okubo Y. Bibliometric indicators and analysis of reserach systems: Methods and examples. OECD, Paris, 1997, STI Working Papers 1997/1 – OCDE/GD(97)41
33. Kademani B. S., Kalyane V. L.: Bibliometric indicators for publication productivity analysis of an individual scientist. The Intnt. J. of Scientometrics and Informetrics, 2 (4) :49-58, 1996
34. Arunachalam, S.: Mapping life sciences research in India: A profile based on BIOSIS 1992-1994. /http://dlist.sir.arizona.edu/845 – 31.10.2005/
35. Donovan C., Butler L.: Testing quantitative indicators of the quality and impact research in the social sciences: A pilot study in economics. EPP, Canberra, 2005. /http://repp.anu.edu/home.htm – 8.11.2005/
36. Research evaluation and policy project: Strategic assessment of research performance indicators. REPP, Canberra, 2005. /http://repp.anu.edu/home.htm – 8.11.2005/
37. De Castro R., Grossman J. W.: Famous trails to Paul Erdös. The Mathematical Intelligencer, 21 :51-63, 1999.
38. Hirsch J. E.: An index to quantify an individual’s scientific research output. /http://arxiv.org/abs/physics/0508025 – 30.10.2005/
39. Votípková M., Hercová J., Weichertová E., Pessrová H., Špála M.: Český citační rejstřík lékařské literatury. Praktický lékař, (6) :367-369, 2002.
40. The Open Citation Project (OpCit): The effect of open access and download („hits“) on citation impact: a bibliography of studies. /http://opcit.eprints.org/explorearchives.shtml – 28.10.2005/
41. Garfield E.: Impact factors, and why they won’t go away. Nature, 411 :522.522, 2001.
42. Hofbauer R.: Euro-Factor (EF) ™. The European Journal Quality Factor. The new European „scientific currency“. Vicer Publishing, Vienna, 2002.
43. Medonos S.: Citování v odborné a vědecké literatuře. Věstník SIA, 11 (11) :7-12, 1943.
44. Kofnovec L.: Které informační prameny se nejvíce citují v sovětské metalurgické literatuře. Bibliografický sborník, Matica slovenská, Martin 1963 :111-133.
45. Merta A: citační rejstřík jako účinný rešeršní nástroj. Metodika a technika informací, 6 (11) :1-7, 1964.
46. Bureš J.: Ohlas vědeckých prací. Vesmír 46 (5) :151-151, 1964.
47. Koryta J: Ohlas vědeckých prací. Vesmír 46 (5) :151-151, 1964.
48. Helbich J.: Některé výsledky citační analýzy časopisu Československá pediatrie. Československá pediatrie, 34 (11) :687-688, 1979.
49. Helbich J.: O principech a metodách naukometrických výzkumů. Zdravotnická dokumentace 26 (1-2) :64-75, 1987.
50. Janský L.: Je možno objektivně hodnotit úspěšnost základního výzkumu? Československá fyziologie 35 (3) :193-199, 1986.
51. Vlachý J.: Citation analysis of Europhysics journals. Czechoslovak Journal of Physics B30 (11) :477-480, 1980.
52. Vlachý J.: Citation historie of scientific publications – The data sources. Scientometrics 7 (3-6) :505-528, 1985.
53. Vlachý J.: Citation patterns in physical journals. Europhysics News 9 (7-8) :4-5, 1978.
54. Šesták Z.: Impact factor po dvou letech. Akademický bulletin, (06), 1999. /http://press.avcr.cz/ - 27.10.2005/
55. Hock M.: Srovnání a hodnocení vědeckých časopisů vydávaných AV ČR. Akademický bulletin (09) 1999. /http://press.avcr.cz/ - 27.10.2005/
56. Holý A.: Poznámky k výše uvedenému článku ing. M. Hocka. 66Akademický bulletin (09), 1999. /http://press.avcr.cz/ - 27.10.2005/
57. Hořejší V.: Ještě jednou impaktový faktor. Akademický bulletin (10) 1999. /http://press.avcr.cz/ - 27.10.2005/
58. Petrovský E.: „Impact Factor“ a hodnocení kvality vědeckých časopisů. Akademický bulletin (09), 2005. /http://press.avcr.cz// - 27.10.2005/
59. Kasal P., Feberová J.: Impact Factor a hodnocení vědecké práce. Pelikán 6, 1997. /http://www.lf2.cuni.cz/Projekty/pelikán – 27.10.2005/
60. Menoušek J.: Vědecké lékařské informace na internetu – VII. Citační index a impakt faktor. Praktický lékař 81 (1) :47-50, 2001.
61. Pitterová K: O využití citačních rejstříků a impakt faktoru. Časopis lékařů českých, 138 (15) :474-476, 1999.
62. Kolář J.: Impact Factor: Kritická analýza. Čes. radiologie, 53 (2) :100-103, 1999.
63. Svačina P.: Impakt faktor (editorial). Vnitřní lékařství, 48 (8) :693-694, 2002.
64. Špála M.: Jak publikují autoři z 1. lékařské fakulty Univerzity Karlovy v mezinárodním srovnání, také podle Science Citation Index. Na okraj fakultní bibliografie 1991-1995. Sborník lékařský, 97 (3) :511-519, 1997.
65. Šochman J., Belán A.: Impaktové faktory a scientometrie. Existuje skutečně čistá věda? Vnitřní lékařství, 49 (1) :3-9, 2003.
66. Zima T.: Impakt faktory ?! Sborník lékařský, 98 (3) :247-248, 1997.
67. Faber J.: Úvaha o impakt faktoru. Sborník lékařský, 98 (3) :249-250, 1997.
68. Brdička R.: Další nespokojenci s impakt faktorem!? Časopis lékařů českých, 141 (13) :435-435, 2002.
69. Peregrin J., Svoboda V.: Vláda měří vědu. Zničí při tom humanitární obory. Hospodářské noviny, 12.10.2005, rubika Názory, str. 11.
70. Christenson J. A., Sigelman L.: Accrediting knowledge: Journal stature and citation impact in social science. Social Science Quarterly 66 (4) :964-975, 1985.
71. Hoeffel C.: Journal impact factors (letter to the editor). Allergy, 53 (12) :1225-1225, 1998
72. Batista P D., Campiteli M. G., Kinouchi O., Martinez A. S.: Universal behaviour of a research produktivity index. /http://arxiv.org/abs/physics/0510142 – 30.10.2005/
73. Ball F.: Index aims for fair ranking of scientis. Nature 436 :900-900, 2005.
74. Grygar J.: Vědci mají nový metr na svoji práci. Lidové noviny, 5.11.2005, příloha Věda, str. IX.
75. Lederberg J.: Reflection on scientific biography. In: Lederberg J. (ed.): The Excitement and fascination of science: Reflections by eminent scientist, Vol. 3, Pt. 1, Annual Review Inc., Palo Alto, 1990 :xvii-xxiii.
76. Garfield E.: The use of journal impact factors and citation analysis for evaluation of science. Předneseno na mini-symposiu „Cell separation, hematology and journal citation analysis“ v Oslo 17. 4. 1998 /http://www.garfield.library.upenn.edu – 8.11.2005/
77. Lederberg J.: How the Science Citation Index got started. In: Cronin B., Atkins H. B. (eds.): The web of knowledge. ASIS, Medford, 2000 :25-64.
78. van Rooyen S.: The evaluation of peer-review quality. Learned Publishing 14 (2) :85-91, 2001.
79. Goldstein D.: Scientific misconduct. Academe, 12 :28-31, 2000.
80. Garfield E.: How can impact factors be improved? British Medical Journal, 313 :411-413, 1996.
81. Garfield E.: Der Impakt Faktor und seine richtige Anwendung. Unfallchirurg, 48 (2) :413-414, 1998.