2. Systemaattinen menetelmä kirjallisuuskatsauksessa

Kaiken tutkimuksen tulee olla systemaattista, eikä kirjallisuuskatsaus ole tästä poikkeus. Näin todetaan kirjassa Systematic Approaches to a Successful Literature Review. (Booth et al. 2022)

Kirjallisuuskatsausten kontekstissa systemaattisuus viittaa seuraaviin piirteisiin:

• Katsausprosessi on huolellisesti etukäteen suunniteltu tutkimussuunnitelman tai katsausprotokollan avulla. Molempia täydentää suunnitelma aineiston hakemiseen.
• Katsauksen toteuttamisessa käytetään selkeästi määriteltyä menetelmää, jonka periaatteet on kuvattu esimerkiksi menetelmäoppaassa, menetelmäartikkelissa tai muussa vakiintuneessa ohjeistuksessa.
• Tutkimusaineisto kootaan ennalta tehdyn suunnitelman mukaisesti ja tutkimuskysymysten kannalta riittävän kattavasti.
• Aineistohaut pyritään toistamaan mahdollisimman samankaltaisina eri tietokannoissa, arkistoissa ja alustoilla.
• Katsaukseen koottu tutkimusaineisto seulotaan ennalta määriteltyjen sisäänottokriteereiden perusteella, eli mukaan otetaan vain tutkimuskysymykseen ja tutkimuksen tavoitteisiin vastaavat tutkimukset.
• Tarvittaessa aineiston laatu arvioidaan kriittisesti joko ennen tai jälkeen tietojen poiminnan. Apuna voi hyödyntää formaalia arviointikriteeristöä tai tarkastuslistaa.
• Katsauksen työvaiheet dokumentoidaan ja raportoidaan kattavasti ja läpinäkyvästi, tarvittaessa määriteltyjen raportointistandardien mukaisesti. Apuna voi hyödyntää erilaisia raportointipohjia.
• Koko katsausprosessi ja sen tulokset voidaan toistaa ja varmentaa.

Systemaattisuutta voidaan ajatella omana menetelmänään, jota sovelletaan erilaisissa kirjallisuuskatsaustyypeissä eri tavoin ja eriasteisesti (Booth et al. 2022).

• Esimerkiksi narratiivisessa kirjallisuuskatsauksessa sovelletaan systemaattista menetelmää harkinnanvaraisesti ja vain siinä määrin, kuin se on mahdollista. 
  • Narratiivisen kirjallisuuskatsauksen prosessiin kuuluu oleellisesti luovuus ja innovatiivisuus. Formaaleja menetelmäohjeita, eli katsausmenetelmiin keskittyneen yhdistyksen, instituutin tai verkoston julkaisemaa vakiintunutta ohjeistusta ei ole. Myös laadunarviointikriteerit ja raportointistandardit puuttuvat. 
• Systemaattisissa katsauksissa systemaattista menetelmää sovelletaan läpi koko katsausprosessin.
  • Systemaattisessa katsauksessa tavallisesti noudatetaan formaalin menetelmäohjeen tarjoamaa valmista "reseptiä," jolloin harkinnan- ja joustonvaraa on selkeästi narratiivista kirjallisuuskatsausta vähemmän.  
    • Innovaatiot löytävät tiensä formaaleihin menetelmäohjeisiin hitaasti, kollektiivisen ja perusteellisen harkinnan jälkeen.

Miksi systemaattista menetelmää pitäisi soveltaa, jos ei tee systemaattista katsausta?

• Käytännölliset perusteet:
  • Systemaattinen menetelmä helpottaa kirjallisuuskatsauksen toteuttamista jakamalla prosessin ennalta suunniteltuihin ja selkeästi rajattuihin työvaiheisiin.
• Tieteelliset perusteet:
  • Systemaattisuus on tae katsauksen laadusta ja luotettavuudesta sekä mahdollistaa tutkimustulosten toistamisen ja varmentamisen.

(Booth et al. 2022; Siddaway et al. 2019)

Kirjallisuuskatsausta varten laaditaan tutkimussuunnitelma samalla tavoin kuin mitä tahansa muuta tutkimusta varten. 

• Tutkimussuunnitelmassa esitetään tutkimuksen aihe ja tavoitteet; hahmotellaan katsausprosessin työvaiheet; sekä kuvataan ja perustellaan kaikki tehdyt valinnat tutkimuskysymysten, -menetelmien ja -aineiston suhteen.

Kirjallisuuskatsauksen tutkimussuunnitelmasta tulisi löytyä seuraavat tiedot:

• Tutkimuksen aihe, tavoitteet ja tutkimuskysymys/-kysymykset
• Tutkimuksen konteksti ja taustoitus, mukaan lukien aiemmat aiheesta tehdyt kirjallisuuskatsaukset
• Kirjallisuuskatsauksen tyyppi ja valitut katsausmenetelmät
• Tutkimusaineiston sisäänotto- ja poissulkukriteerit
• Tutkimusaineiston hakusuunnitelma
• Aineiston synteesi- ja analyysimenetelmät
• Tavat ja työkalut, joilla tutkimusprosessi dokumentoidaan ja raportoidaan
• Ohjelmistot, joita aiotaan käyttää viitteidenhallinnassa, aineiston seulonnassa, tiedon poimimisessa, synteesissä ja analyysissa
• Aikataulu
• Viitteet ja lähdeluettelo

(Booth et al. 2022; White 2019)

Systemaattisen menetelmän tavoitteena on kirjallisuuskatsausprosessin läpinäkyvyys.

• Kirjallisuuskatsauksen lukijan tulee voida arvioida, kuinka hyvin valitut menetelmät ja tutkimusaineisto vastaavat tutkimusaihetta, tutkimuksen tavoitteita ja tutkimuskysymystä. 
• Lisäksi lukijan on tärkeää ymmärtää, miten menetelmiä on käytännössä sovellettu. 

• Katsausprosessin kaikki vaiheet tulee siis kuvata selkeästi ja yksityiskohtaisesti. 

Läpinäkyvyys mahdollistaa sen, että tutkimuksen eri työvaiheet voidaan tarvittaessa toistaa ja tutkimustulokset validoida. 

(Booth et al. 2022; Snyder 2019)

Kirjallisuuskatsausprosessin läpinäkyvyys ja toistettavuus perustuvat huolelliseen dokumentointiin ja raportointiin:

• Jos et dokumentoi prosessia huolellisesti, et voi myöskään raportoida sitä läpinäkyvästi.
• Jos et raportoi tutkimusprosessia ja -menetelmiä läpinäkyvästi, ei lukija tai arvioija voi toistaa tutkimustasi.

(Peters et al. 2021; Siddaway et al. 2019)

Kirjaa siis ylös kaikki työvaiheet, valinnat ja päätökset. 

• Hyödynnä dokumentoinnissa esimerkiksi tutkimuspäiväkirjaa.

Kiinnitä erityisesti huomiota seuraavien työvaiheiden dokumentointiin ja raportointiin:

• Hakusuunnitelman ja -strategian toteuttaminen
  • Kirjaa ylös missä tietokannoissa teit aineistohakuja, milloin, millaisella hakulauseella, millaisilla hakusanojen kohdistuksilla ja millaisilla rajauksilla (esimerkiksi julkaisuaika, julkaisukieli).
  • Raportoi hakusi vähintään yhdestä, mutta mielellään kaikista tietokannoista. 
  • Raportoi myös kaikki käyttämäsi täydentävät hakumenetelmät.
• Aineiston seulominen
  • Listaa käyttämäsi viitteidenhallinta- ja kirjallisuuskatsaustyökalut.
  • Kuvaile miten olet poistanut kaksoiskappaleet, esimerkiksi Zoteron avulla.
  • Kirjaa ylös tutkimusaineiston julkaisujen määrä seulonnan eri vaiheissa.
• Valittu tutkimusaineisto
  • Tee taulukko sisäänottokriteereitä vastanneista ja siten synteesiin ja analyysiin valituista julkaisuista.

Huomaa!

• Joustavien kirjallisuuskatsausprosessien, kuten narratiivisten kirjallisuuskatsausten, raportointi voi olla haastavaa. Näin on erityisesti silloin, kun käytetään jotain valmista raportointipohjaa. Haastavuus ei kuitenkaan poista tutkijan velvollisuutta raportoida katsauksen työvaiheet tarkasti ja läpinäkyvästi. (Booth 2016)

Systemaattiseen menetelmään kuuluu olennaisena osana sisäänottokriteereiden määrittäminen etukäteen.

• Ennalta määritellyt sisäänottokriteerit auttavat varmistamaan, että katsauksen aineistoon valitaan tutkimuskysymyksen kannalta olennaiset julkaisut. 
• Kun sisäänottokriteerit kuvataan katsauksessa selkeästi, lukija voi arvioida, miten aineisto on valittu. Tämä lisää luottamusta siihen, että tutkimukset on valittu johdonmukaisesti ja ennalta sovittujen kriteerien perusteella, ei sattumanvaraisesti tai tiettyä tulkintaa tukemaan.

Sisäänottokriteerit tarkoittavat niitä tekijöitä, joiden perusteella valitset – eli seulot – julkaisut lopulliseen tutkimusaineistoosi synteesiä ja analyysia varten. 

• Sisäänottokriteerit tulee perustella tutkimuksen aiheen, tavoitteiden ja päätutkimuskysymyksen pohjalta. 

Sisäänottokriteerit saattavat kuitenkin elää tutkimusprosessin edetessä. 

• Esimerkiksi aineistoa seuloessa saattaa käydä ilmi, että tutkimuskysymykseen vastaamisen kannalta aivan oleellisia julkaisuja on jäämässä suunniteltujen sisäänottokriteerien ulkopuolelle. 
  • Tällaisissa tapauksissa kriteereihin tehdyt muutokset dokumentoidaan, raportoidaan ja perustellaan katsausjulkaisussa. 
• Etenkin systemaattisten katsausten kohdalla aineistoon pitäisi kuitenkin jo katsauksen suunnitteluvaiheessa tutustua tarpeeksi kattavasti ja huolellisesti, jotta kriteereihin ei myöhemmin tarvitse kajota. 

Sisäänottokriteerien lisäksi voit tarvittaessa määritellä myös poissulkukriteereitä.

• Poissulkukriteerien ei kuitenkaan tule olla pelkästään sisäänottokriteerien vastakohtia. 
  • On esimerkiksi turhaa toistoa määritellä sisäänottokriteeriksi "julkaisuaika: 2016–2026" ja sitten poissulkukriteeriksi "julkaisuaika: ei ennen 2016".

(Booth 2009; Dagher and Khan 2025, 886; Lubbe et al. 2020, 312; Siddaway et al. 2019; Snyder 2019)