Modulis 7: Teorinė dalis

Įvadas

Mokslinės veiklos generuojami rezultatai yra svarbūs ne patys savaime, bet dėl savo poveikio, skatinančio visuomenės pažangą. Mokslo rezultatų vertinimo tema yra aktuali ir kompleksiška akademinės bendruomenės veiklos dalis. Mokslo rezultatų vertinimo praktika formuoja ir atitinkamas akademinės bendruomenės narių nuostatas.

Mokslo rezultatų vertinimas yra mokslo administratorių veiklos sritis, bet mokslininkams irgi yra svarbu žinoti ir suprasti jų pasiekimų vertinimo metodus, suprasti už jų slypinčias kontroversijas. 

Tikslas
Šiuo moduliu siekiama ne išsamiai atskleisti akademinėje bendruomenėje vykstančių diskusijų kompleksiškumą, bet išryškinti pagrindinius rodiklius ir akcentus, kurie svarbūs pastarojo meto pasaulinėse, nacionalinėse ir institucinėse praktikose.

Ugdomi gebėjimai
Baigę nagrinėti šio modulio medžiagą, būsite susipažinę su mokslo rezultatų vertinimo tikslais, metodais ir rodikliais, taip pat formaliais ir alternatyviais mokslininkų veiklos vertinimo įrankiais bei rodikliais.

Mokslo rezultatų vertinimo tikslai

Mokslinė veikla vis labiau vertinama kaip esminis visuomenės gerovės veiksnys, todėl auga ir mokslo vertinimo svarba bei dėmesys mokslo rezultatų kokybei, skaidrumui, palyginamumui ir konkurencingumui.

„Kasmetinio universitetų ir mokslinių tyrimų institutų mokslinių tyrimų ir eksperimentinės plėtros ir meno veiklos vertinimo reglamente“ (patvirtintas Lietuvos Respublikos švietimo ir mokslo ministro 2017 m. spalio 4 d. įsakymu Nr. V-747) nurodoma, kad „mokslo (meno) veiklos vertinimo paskirtis – įvertinti mokslo ir studijų institucijų vykdytą mokslo (meno) veiklą, o vertinimo rezultatus viešinti bei teikti institucijoms, formuojančioms ir įgyvendinančioms mokslo ir studijų politiką. Šie rezultatai naudojami skiriant bazinio finansavimo lėšas moksliniams tyrimams ir eksperimentinei plėtrai (MTEP) bei meno veiklai valstybinėse Lietuvos mokslo ir studijų institucijose. Rezultatai gali būti naudojami ir kitiems tikslams, pvz., skirstant valstybės finansuojamas doktorantūros ir antrosios pakopos studijų vietas“.

Pagrindiniai mokslo rezultatų vertinimo tikslai – tinkamas ribotų išteklių paskirstymas mokslo ir inovacijų finansavimui, investicijų grąžos įvertinimas, individualių mokslininkų konkursinis finansavimas. Nacionalinės mokslo vertinimo institucijos kuria ir tobulina mokslo vertinimo schemas, kurios leistų tinkamai paskirstyti finansavimą atsižvelgiant į ankstesnius rezultatus. Mokslo institutai ir aukštosios mokyklos veikia globalioje rinkoje ir dalyvauja įvairiuose reitinguose, todėl siekia kurti vidines procedūras ir mokslo informacijos sistemas, leidžiančias analizuoti mokslo rezultatų kokybę ir dinamiką.

Mokslo rezultatų vertinimo metodai

Mokslinės veiklos rezultatai vertinami taikant kiekybinius (bibliometrija) ir kokybinius (recenzavimas) metodus bei jų derinius (ekspertinis vertinimas).

Istoriškai pagrindinis mokslinės veiklos vertinimo metodas nuo pirmųjų mokslinių žurnalų pasirodymo XVII a. buvo recenzavimas. Mokslo vystymosi sparta po Antrojo pasaulinio karo ir išaugusios mokslo rezultatų apimtys lėmė naujų metodų paiešką. Recenzavimo pagrindu vertinti mokslo rezultatų kokybę tapo sudėtinga ir dėl šiam vertinimui reikalingų sąnaudų, ir dėl objektyvumo trūkumo, kuris dažnas recenzavimo procese.

1963 m. pasirodė Science Citation Index – mokslinių žurnalų vertinimo sistema, kurią 1960 m. sukūrė E. Garfieldas. Indeksą sudarė svarbiausi (pagal cituojamumą) kiekvienos mokslo šakos žurnalai. Nors pats E. Garfieldas akcentavo, kad cituojamumo analizė gali būti klaidinanti vertinant mokslo produkciją (Garfield, 2007), jo sistema atvėrė naują mokslo vertinimo erą ir tapo atsvara recenzavimo subjektyvumui.

Lietuvoje nuo 2018 m. pradėti vykdyti kasmetiniai mokslo (meno) veiklos ir palyginamieji (vykdomi kas penkerius metus) mokslo veiklos vertinimai. Kasmetinius vertinimus atlieka Lietuvos mokslo taryba, o 2013–2017 metų mokslo veiklos palyginamąjį vertinimą atliko Mokslo ir studijų stebėsenos ir analizės centras MOSTA. Lėšos institucijoms skiriamos pagal kasmetinio vertinimo trejų paskutinių metų rezultatus ir palyginamojo ekspertinio vertinimo rezultatus.

MTEP ir meno veiklos vertinimas vykdomas pagal MTEP ir meno veiklos vertinimo gaires, kurias tvirtina Lietuvos mokslo taryba, suderinusi su Švietimo ir mokslo ministerija. Formalusis universitetų ir mokslinių tyrimų institutų mokslinių tyrimų ir eksperimentinės plėtros ir meno veiklos vertinimas remiasi kiekybiniais metodais ir yra derinamas su ekspertiniu vertinimu.

Mokslo rezultatų vertinimo rodikliai

Pagal „Kasmetinio universitetų ir mokslinių tyrimų institutų mokslinių tyrimų ir eksperimentinės plėtros ir meno veiklos vertinimo reglamentą“, „tarptautiniai žurnalai yra duomenų bazėse Clarivate Analytics ir Scopus referuojami žurnalai ir (taikoma iki 2022 m.) Lietuvoje leidžiami recenzuojami leidiniai, kuriuose per paskutinius trejus metus paskelbtuose straipsniuose užsienio autorių prieskyrų svoris yra didesnis nei Lietuvos autorių“.

Web of Science (Clarivate Analytics) ir Scopus (Elsevier) yra komerciniai produktai, prieinami tik juos prenumeruojančių institucijų vartotojams. Informaciją apie institucijas, prenumeruojančias šias duomenų bazes, galima rasti Lietuvos mokslinių bibliotekų asociacijos svetainėje.

Dėmesio!
Duomenų bazėje Web of Science indeksuojamų žurnalų sąrašas laisvai prieinamas adresu http://mjl.clarivate.com, o duomenų bazėje SCImago Journal & Country Rank galima rasti žurnalus, indeksuojamus duomenų bazėje Scopus.

Žurnalų vertinimo rodikliai

Duomenų bazė Web of Science (Clarivate Analytics)

• Science Citation Index (SCI) Expanded (nuo 1900 iki dabar) – fizinių, biomedicinos ir technologijos mokslų citavimo rodyklė;
• Social Sciences Citation Index (SSCI) (nuo 1900 m. iki dabar) – socialinių mokslų citavimo rodyklė;
• Arts & Humanities Citation Index (A&HCI) (nuo 1975 iki dabar) – humanitarinių mokslų citavimo rodyklė;
• Conference Proceedings Citation Index – Science (nuo 1900 iki dabar) – fizinių, biomedicinos ir technologijos mokslų konferencijų, simpoziumų, seminarų pranešimų medžiaga;
• Conference Proceedings Citation Index – Social Science&Humanities (nuo 1900 iki dabar) – socialinių ir humanitarinių mokslų konferencijų, simpoziumų, seminarų pranešimų medžiaga;
• Emerging Sources Citation Index (ESCI) (nuo 2015 m. iki dabar) – naujai į duomenų bazę Web of Science įtrauktų žurnalų, kurie gali būti pradėti indeksuoti, rodyklė („laukiančiųjų sąrašas“).

Pagrindiniai Web of Science žurnalų vertinimo rodikliai pateikiami 1 lentelėje.

Svarbu!
Skaičiuojami tik Science Citation Index (SCI) Expanded ir Social Sciences Citation Index (SSCI) leidinių citavimo rodikliai. Jie pateikiami duomenų bazėje Journal Citation Reports (JCR), kuri prieinama per Web of Science.

1 lentelė. Pagrindiniai Web of Science žurnalų vertinimo rodikliai

Remiantis „Kasmetinio universitetų ir mokslinių tyrimų institutų mokslinių tyrimų ir eksperimentinės plėtros ir meno veiklos vertinimo reglamentu“, aukščiausiai yra vertinamos publikacijos žurnaluose, kurių IF/AIF (cituojamumo rodiklis ir agreguotasis cituojamumo rodiklis, žr. 1 lentelę) yra didesnis nei 0,25, arba, jei žurnalas yra daugiakryptis, – kurio visų kategorijų IF/AIF vidurkis, apskaičiuotas atsižvelgiant į kategorijų dydį, yra didesnis už 0,25.

1 paveiksle pateiktoje žurnalo Journal of the Learning Sciences paskyroje matomas jo cituojamumo rodiklis (IF = 3) ir informacija, kad žurnalas priklauso dviem kategorijoms.

1 pav. Žurnalo Journal of the Learning Sciences paskyra duomenų bazėje Web of Science

Agreguotojo citavimo rodiklio (AIF) vertes galima rasti duomenų bazėje Journal Citation Reports (JCR), kuri prieinama per Web of Science. 2 paveiksle pateikiami įvairių kategorijų AIF įverčiai 2017 metais. Norint apskaičiuoti žurnalo Journal of the Learning Sciences IF ir AIF santykį, visų pirma reikia apskaičiuoti kategorijų, kurioms žurnalas priklauso, AIF vidurkį.

2 pav. Agreguotojo cituojamumo rodiklio vertės duomenų bazėje Journal Citation Reports (JCR)

Svarbu!
Atliekant publikacijų vertinimą, taikomi tų metų, kuriais straipsniai yra paskelbti, IF/AIF ir (ar) SNIP.

Scopus yra didelė ir sparčiai besivystanti bibliografinė duomenų bazė, sukurta 2004 m. 2 lentelėje pateikiami pagrindiniai Scopus žurnalų vertinimo rodikliai.

2 lentelė. Pagrindiniai duomenų bazės Scopus (Elsevier) žurnalų vertinimo rodikliai

2 lentelėje išvardyti rodikliai matomi 3 paveiksle pateikiamame duomenų bazėje Scopus esančios žurnalo paskyros pavyzdyje.

3 pav. Žurnalo Journal of the Learning Sciences paskyra duomenų bazėje Scopus

Mokslininkų vertinimo rodikliai

Populiariausias individualaus mokslininkų publikacijų populiarumo rodiklis yra H indeksas, jį 2005 m. pasiūlė fizikas Jorge E. Hirschas.

	H indeksas (angl. h-index) – individualus mokslininkų publikacijų populiarumo rodiklis, suderinantis kiekybę (publikacijų skaičių) su kokybe (citavimų skaičiumi). Jis parodo mokslininko darbų reikšmingumą per visą karjerą ar pasirinktą laikotarpį.

H indeksas rodo, kiek autorius turi straipsnių H, kurių kiekvienas buvo cituotas ne mažiau kaip H kartų. Pvz., jei autorius paskelbė 51 straipsnį, iš jų 5 straipsniai yra cituoti 5 ar daugiau kartų, jo H indeksas yra 5. Toliau pateiktame pavyzdyje (žr. 4 pav.) matomas 74 publikacijas duomenų bazėje Web of Science turinčio mokslininko H indeksas, lygus 35. Tai reiškia, kad 35 šio mokslininko publikacijos buvo cituotos bent 35 kartus.

4 pav. H indeksas duomenų bazės Web of Science cituojamumo ataskaitoje

Svarbu!
H indeksą apskaičiuojančios duomenų bazės Web of Science, Scopus, Google Scholar ir kt. indeksuoja skirtingus šaltinius, todėl jos pateikia skirtingus H indeksus.

Dėmesio!
Jeigu autoriaus pavardė yra populiari, reikėtų patikrinti, ar visos publikacijos yra būtent to autoriaus. Netikslumų atsiranda ir dėl rašybos skirtumų bei duomenų bazėse pasitaikančių klaidų. Jų išvengti padeda autorių identifikatorių (ORCID, Researcher ID, Scopus Author ID) naudojimas.

Reikia atkreipti dėmesį, kad mokslininko H indeksas laikui bėgant didėja net tada, kai jis nebevykdo mokslinės veiklos. Vien tik vertinimo rodikliai negali nustatyti tyrėjo indėlio į mokslą, todėl vertinant individualaus mokslininko rezultatus atsižvelgiama į rodiklių įvairovę (jo patirtį mokslinėje ir pedagoginėje veikloje, žinomumą visuomenėje, dalyvavimą projektinėje veikloje ir pan.). Tokio pobūdžio informacijai apibendrinti vis plačiau visame pasaulyje naudojamos institucinės ir nacionalinės mokslo informacinės sistemos (Current Research Information Systems, CRIS).

H indeksas taip pat gali būti taikomas mokslinio žurnalo, mokslo grupės, akademinio padalinio, institucijos ar šalies produktyvumui ir poveikiui vertinti.

Mokslo rezultatų vertinimo priemonės

Labiausiai pripažinti ir plačiausiai naudojami mokslo rezultatų vertinimo įrankiai (Clarivate Analytics InCites ir Elsevier SciVal) yra komerciniai produktai, prieinami tik juos prenumeruojantiems vartotojams.

InCites (Clarivate Analytics)

Svarbu!
Prieinama tik prenumeruojančių institucijų vartotojams (kaip ir duomenų bazė Web of Science).

5 pav. Analitikos įrankio InCites analizės lygmenys

Svarbu!
Dėl duomenų bazėje Web of Science pasitaikančių netikslumų InCites nėra patikimas individualaus mokslininko rezultatų, galinčių lemti ir institucinio lygmens vertinimą, vertinimo įrankis.

SciVal (Elsevier)

Svarbu!
Prieinama tik prenumeruojančių institucijų vartotojams (kaip ir duomenų bazė Scopus).

SCImago Journal & Country Rank

Šis laisvai prieinamas SCImago Journal & Country Rank įrankis pateikia žurnalų ir šalių citavimo rodiklius, kurie remiasi duomenų bazės Scopus duomenimis. Juo naudojantis galima lengvai rasti bet kurio duomenų bazėje Scopus indeksuojamo žurnalo rodiklius, konkrečioje šalyje leidžiamus žurnalus, kurie indeksuojami duomenų bazėje Scopus, šalies rodiklius ir juos lyginti su kitų šalių rodikliais.

Google Scholar

Tai laisvai prieinama bendrovės Google mokslinės informacijos paieškos sistema Google Scholar. Ji pateikia internete rastus įvairių mokslo sričių darbus, disertacijas, knygas, santraukas ir kitą mokslinę literatūrą. Pirmame paieškos sistemos puslapyje rodomi dažniausiai cituojami dokumentai.

Alternatyvus mokslo rezultatų vertinimas, rodikliai ir priemonės

Nuo 1963 m., kai pasirodė mokslinių žurnalų vertinimo sistema Science Citation Index, cituojamumo analizė buvo pagrindinis mokslininkų, institucijų ir šalių mokslo rezultatų vertinimo metodas. Sparčiai vystantis šiuolaikinėms technologijoms, elektroninei leidybai ir socialiniams tinklams, atsiranda vis naujų galimybių vertinti mokslininkų indėlį į mokslo ir visuomenės pažangą.

Straipsnių vertinimo rodikliai (angl. Article-Level Metrics, ALMs), inicijuoti JAV mokslininkų įsteigtos Viešosios mokslo bibliotekos (angl. Public Library of Science, PLOS), yra vienas iš tokių galimybių išnaudojimo pavyzdžių. Straipsnių vertinimo rodikliai mokslo komunikacijos poveikiui matuoti remiasi įvairiais duomenų šaltiniais – tradiciniai šaltiniai (pvz., citatos duomenų bazėse Web of Science ir Scopus) derinami su socialiniais tinklais (pvz., tviterio žinutėmis, feisbuko komentarais). Būtent dėl naujų komunikacijos priemonių, kaip informacijos šaltinių, inkorporavimo straipsnių vertinimo rodiklių metodika tapatinama su altmetrijos (angl. Altmetrics) samprata. Tačiau altmetrijos uždavinys yra poveikio matavimui inkorporuoti kiekybinius duomenis iš naujųjų komunikacijos kanalų ir duomenų šaltinių. Altmetrijos (priešingai nei straipsnių vertinimo rodikliai) priemonėmis vertinamas ne tik straipsnių, bet ir mokslinių žurnalų, individualių mokslininkų ar kt. poveikis.

Altmetrijos priemonių yra įvairių – nuo komercinių iki atvirojo kodo. Štai keletas populiariausių priemonių:

• Altmetric – komercinis produktas;
  
• Plum Analytics / PlumX Metrics – komercinis produktas;
  
• ImpactStory – atvirojo kodo programa, leidžianti rinkti duomenis iš įvairių alternatyvių šaltinių (duomenų rinkinių, programinės įrangos, tinklaraščių ir pan.).
  

Mokslo rezultatų vertinimo tendencijos

2012 m. grupė mokslinių žurnalų redaktorių ir leidėjų San Fransiske vykusioje Amerikos ląstelių biologijos draugijos (angl. The American Society for Cell Biology, ASCB) konferencijoje priėmė San Fransisko deklaraciją dėl mokslinių tyrimų rezultatų vertinimo (angl. San Francisco Declaration on Research Assessmen, DORA). 2015 m. Lietuvos universitetų rektorių konferencija savo Deklaracijoje dėl mokslo rezultatų vertinimo parėmė DORA rekomendacijas ir paskelbė, kad „visiškai palaiko svarbiausią San Fransisko deklaracijos nuostatą, kad mokslinės veiklos rezultatai neturi būti vertinami tik pagal mokslinių rezultatų publikacijas tam tikruose moksliniuose žurnaluose, bet laikytini ir įvertinti tyrimų duomenys, reagentai, programinė įranga, intelektinė nuosavybė bei gerai parengti jaunieji mokslininkai“ <https://lurk.lt/lt/dokumentai/lurk-deklaracijos/lurk-deklaracija-del-mokslo-rezultatu-vertinimo.html>.

2015 m. ekspertų komanda, vadovaujama Džordžijos universiteto politikos mokslų profesorės Dianos Hicks ir Leideno universiteto Mokslo ir technologijų studijų centro direktoriaus Paulo Wouterso, paskelbė Leideno manifestą, kurį įvardija kaip gerosios praktikos vadovą, siekiant kokybiškai įvertinti mokslinius tyrimus. Pagrindiniai Leideno manifesto teiginiai:

• kiekybinis vertinimas turi papildyti ekspertinį vertinimą;
• vertinimo rodikliai turi derėti su institucijos, mokslininko ar mokslininkų grupės mokslinės veiklos tikslais;
• reikia rūpintis vietiniu mastu reikšmingų tyrimų kokybe;
• kiekybiniai vertinimo rodikliai turi būti atviri, skaidrūs ir lengvai suprantami;
• mokslininkai turi turėti galimybę pasitikrinti duomenis apie vertinamus mokslinius tyrimus;
• reikia atsižvelgti į skirtingus mokslo krypčių rengiamų publikacijų būdus ir citavimo ypatumus;
• individualaus mokslininko veiklos vertinimo pagrindą turi sudaryti ekspertinis jo kompetencijos portfelio vertinimas;
• reikia vengti vertinimo rodiklių savitikslio preciziškumo;
• reikia įvertinti sisteminę pasirinktų vertinimo rodiklių įtaką mokslinių tyrimų kokybei;
• vertinimo rodikliai turi būti nuolat peržiūrimi ir atnaujinami.

Pastaraisiais metais intensyvėjantis dėmesys alternatyviems mokslo vertinimo rodikliams yra susijęs su atvirojo mokslo koncepcija ir jos įgyvendinimu. Viena vertus, vien tradiciniai bibliometriniai vertinimo metodai nebeatitinka atvirojo mokslo koncepcijos poreikių. Kita vertus, naujieji alternatyvūs metodai dar negali pasiūlyti patikimų vertinimo rodiklių.

Nuo 2016 m. dirbusi Europos Komisijos ekspertų grupė altmetrijos klausimais (angl. Expert Group on Altmetrics) 2017 m. publikavo ataskaitą ir rekomendacijas, pavadintas „Naujosios kartos rodikliais“ (angl. Next Generation Metrics). Šios ataskaitos bei EK atvirojo mokslo politikos platformos rekomendacijų pagrindu toliau dirba ekspertų grupė (angl. Expert Group on Indicators for Researchers’ Engagement with Open Science and its Impacts), pasiūlysianti rodiklius, skatinančius atvirojo mokslo praktiką ir vertinančius jos rezultatus.

Apibendrinimas

Šiame modulyje susipažinote su mokslo rezultatų vertinimo tikslais, metodais ir rodikliais, taikomais institucijų, mokslininkų ir mokslo publikacijų vertinimui, taip pat formaliais ir alternatyviais mokslininkų veiklos vertinimo įrankiais bei rodikliais. Besitęsiant visuotinei diskusijai dėl mokslo rezultatų vertinimo kaitos ir mokslo vertinimo metodų ir indikatorių tobulinimo, bibliometrijos praktika vis labiau tampa akademinių bibliotekų savastimi, todėl bibliotekų darbuotojai gali būti geri pagalbininkai, jei kyla su mokslo vertinimo rodikliais susijusių klausimų. Kita vertus, per šiuos rodiklius bibliotekų specialistai gali parodyti ir savo bibliotekos vertę institucijai.