Informaatioteknologian tiedekunta

Pukki kaalimaan vartijanako? Suomalainen julkaisujen luokitusjärjestelmä arvioitu

Viimeisin muutos keskiviikko 06. heinäkuuta 2016, 13.07

Jyväskylän yliopiston tutkijat analysoivat suomalaisen julkaisujen luokitusjärjestelmän tiedonlouhinnan ja koneoppimisen menetelmiä hyödyntäen. Tutkimuksessa havaittiin, että valtaosa luokituksista pystyttiin määräämään automaattisesti ja poikkeamat näistä säännöistä sisälsivät merkkejä kotiinpäin vetämisestä.

Suomalaisen julkaisujen luokitusjärjestelmän, Julkaisufoorumin, tarkoituksena on tunnistaa, arvioida ja tehdä näkyväksi relevantit tieteellisten julkaisujen julkaisukanavat eri tieteenaloilla. Julkaisufoorumi toimii myös resurssiohjauksen välineenä, sillä yliopistojen OKM-rahoituksesta 13% määräytyy julkaisutoiminnan tuotosten perusteella.

Julkaisuluokitukset perustuvat yli kahdenkymmenen eri tieteenalan paneelin määrittämiin tasoihin. 0-tason julkaisusarjoissa ei harjoiteta läpinäkyvää tieteellistä vertaisarviointia, kun taas 3-tason julkaisusarjat muodostavat eri tieteenalojen tavoitellut huippufoorumit. Erityisesti paneelien jäsenet, jotka ovat suomalaisen tiedeyhteisön arvostettuja jäseniä, vaikuttavat määrittämiensä luokitusten kautta suoraan edustamiensa yliopistojen ja omien tieteenalojensa saamaan rahoitukseen sekä yleiseen arvostukseen. 

Tutkimustulosten mukaan julkaisusarjojen tasoluokituksissa on kotimaisia painotuksia, jotka eivät täysin vastaa kansainvälisiä referenssejä. Tasoluokitukset olivat joiltakin osin nousseet niissä lehdissä, joissa suomalaiset julkaisevat paljon tai missä tekijät itse olivat päättämässä luokituksista. Tulokset antavat olettaa, että järjestelmä saattaa olla vinoutumassa.

Lisäksi asiantuntijapaneeleihin perustuva tasoluokittelu on kallista ja raskasta, sillä yli 30 000 julkaisusarjan (toistuva) arviointi vaatii merkittäviä resursseja. ”Onko järjestelmän oltava pelkästään asiantuntijapohjainen?” kysyy tutkimusryhmää johtanut professori Tommi Kärkkäinen Jyväskylän yliopistosta.

”Digitalisaatiota ja tiedonlouhinnan menetelmiä hyödyntämällä päätöksentekoa voitaisiin suoraviivaistaa ja saada merkittäviä säästöjä. Jo 15-vuotta kestäneessä perustutkimuksessamme on keskitytty erityisesti puuttuvan tiedon käsittelyyn. Julkaisuluokitusanalyyseissä referenssitiedon puuttuminen antaa itse asiassa merkittävästi informaatiota laadun arvioinnin tueksi”, Kärkkäinen painottaa.

”Korkeakoulujen rahoitus perustuu määrälliseen tulosohjaukseen eikä niinkään tutkittuun tietoon. Toivon, että suomalaisessa yliopistokentässä hyödynnettäisiin laajemmin laskennallisia menetelmiä toiminnan arvioinnissa ja sen kehittämisessä. Esimerkiksi koulutuksellisen tiedonlouhinnan keinoin suomalaisten nuorten PISA-tuloksia on opittu ymmärtämään paremmin”, tähdentää Jyväskylän yliopiston tietotekniikan laitoksen johtaja, professori Tuomo Rossi.

Lisätietoja:
Professori Tommi Kärkkäinen, tommi.karkkainen@jyu.fi, puh. 040-8054896, Tietotekniikan laitos, Jyväskylän yliopisto
Professori Tuomo Rossi, tuomo.j.rossi@jyu.fi, puh. 050-4285298, Tietotekniikan laitos, Jyväskylän yliopisto

Korkeimman luokituksen julkaisusarjassa julkaistu artikkeli on avoimesti luettavissa osoitteessa www.sciencedirect.com/science/article/pii/S1751157715302194

Mirka Saarela, Tommi Kärkkäinen, Tommi Lahtonen, Tuomo Rossi, Expert-based versus citation-based ranking of scholarly and scientific publication channels, Journal of Informetrics, Volume 10, Issue 3, August 2016, Pages 693-718, ISSN 1751-1577.