2. Systemaattinen menetelmä kirjallisuuskatsauksessa

Kaiken tutkimuksen tulee olla systemaattista, eikä kirjallisuuskatsaus ole tästä poikkeus – näin todetaan kirjassa Systematic Approaches to a Successful Literature Review (Booth et al. 2022).

Kirjallisuuskatsausten kontekstissa systemaattisuus viittaa seuraaviin piirteisiin:

• Katsausprosessi on huolellisesti etukäteen suunniteltu, esimerkiksi tutkimussuunnitelman tai katsausprotokollan avulla.
• Katsaus noudattaa eksplisiittistä menetelmää, joka on esitetty esimerkiksi menetelmäoppaassa, menetelmäartikkelissa tai formaalissa menetelmäohjeessa.
• Tutkimusaineisto kootaan ennalta tehdyn suunnitelman mukaisesti ja niin kattavasti/tarkasti, kuin on tarkoituksenmukaista.
• Katsaukseen koottu tutkimusaineisto seulotaan ennalta määriteltyjen sisäänottokriteereiden perusteella.
• Tarvittaessa aineiston laatu arvioidaan kriittisesti joko ennen tai jälkeen tietojen poiminnan. Apuna voi hyödyntää formaalia arviointikriteeristöä tai tarkastuslistaa.
• Katsauksen työvaiheet dokumentoidaan ja raportoidaan kattavasti ja läpinäkyvästi, tarvittaessa määriteltyjen raportointistandardien mukaisesti. Apuna voi hyödyntää erilaisia raportointityökaluja.
• Koko katsausprosessi ja sen tulokset voidaan toistaa ja varmentaa.

Systemaattisuutta voidaan ajatella omana menetelmänään, jota sovelletaan erilaisissa kirjallisuuskatsaustyypeissä eri tavoin ja eriasteisesti. (Booth et al. 2022)

• Esimerkiksi narratiivisessa kirjallisuuskatsauksessa sovelletaan systemaattista menetelmää harkinnanvaraisesti ja vain siinä määrin, kuin se on mahdollista.
  • Formaaleita menetelmäohjeita, laadunarviointikriteereitä tai raportointistandardeja ei juuri ole ja prosessiin kuuluu oleellisesti myös luovuus ja innovatiivisuus.
• Systemaattisissa kirjallisuuskatsauksissa puolestaan harkinnan- ja joustonvaraa on vähemmän tai ei lainkaan, jos noudatetaan formaalin menetelmäohjeen valmista "reseptiä". 
  • Innovaatiot löytävät tiensä formaaleihin menetelmäohjeisiin hitaasti, kollektiivisen ja perusteellisen harkinnan jälkeen.

Miksi systemaattista menetelmää pitäisi soveltaa, jos ei tee systemaattista kirjallisuuskatsausta?

• Käytännölliset perusteet:
  • Systemaattinen menetelmä auttaa pilkkomaan kirjallisuuskatsausprosessin pienempiin, selkeisiin työvaiheisiin, jotka ensin suunnitellaan ja sitten toteutetaan.
• Tieteelliset perusteet:
  • Systemaattisuus on tae katsauksen laadusta ja luotettavuudesta sekä mahdollistaa tutkimustulosten toistamisen ja varmentamisen.

(Booth et al. 2022; Siddaway et al. 2019)

Kirjallisuuskatsaukseen tehdään tutkimussuunnitelma, kuten mihin tahansa muuhunkin tutkimusprojektiin. 

• Tutkimussuunnitelmassa esitetään tutkimuksen aihe ja tavoitteet; hahmotellaan katsausprosessin työvaiheet; sekä kuvataan ja perustellaan kaikki tehdyt valinnat tutkimuskysymysten, -menetelmien ja -aineiston suhteen.

Kirjallisuuskatsauksen tutkimussuunnitelmasta tulisi löytyä seuraavat tiedot:

• Tutkimuksen aihe, tavoitteet ja tutkimuskysymys/-kysymykset
• Tutkimuksen konteksti ja taustoitus, mukaan lukien aiemmat aiheesta tehdyt kirjallisuuskatsaukset
• Kirjallisuuskatsauksen tyyppi ja valitut katsausmenetelmät
• Tutkimusaineiston sisäänotto- ja poissulkukriteerit
• Tutkimusaineiston hakusuunnitelma
• Aineiston synteesi- ja analyysimenetelmät
• Tavat ja työkalut, joilla tutkimusprosessi dokumentoidaan ja raportoidaan
• Ohjelmistot, joita aiotaan käyttää viitteidenhallinnassa, aineiston seulonnassa, tiedon poimimisessa, synteesissä ja analyysissa
• Aikataulu
• Viitteet ja lähdeluettelo

(Booth et al. 2022; White 2019)

Systemaattisissa (mukaan lukien meta-analyysit) ja scoping-katsauksissa tutkimussuunnitelmaa kutsutaan katsausprotokollaksi.

Systemaattisen menetelmän tavoitteena on kirjallisuuskatsausprosessin läpinäkyvyys.

• Kirjallisuuskatsauksen lukijan tulee pystyä arvioimaan, kuinka hyvin käyttämäsi menetelmät sekä keräämäsi tutkimusaineisto soveltuvat tutkimusaiheeseen, tavoitteisiin ja tutkimuskysymykseen. 
• Lisäksi lukijan on tärkeää ymmärtää, miten menetelmiä on käytännössä sovellettu. 

• Katsausprosessin kaikki vaiheet tulee siis kuvata selkeästi ja yksityiskohtaisesti. 

Läpinäkyvyys mahdollistaa sen, että tutkimuksen eri työvaiheet voidaan tarvittaessa toistaa ja tutkimustulokset validoida. 

(Booth et al. 2022; Snyder 2019)

Kirjallisuuskatsausprosessin läpinäkyvyys ja toistettavuus perustuvat huolelliseen dokumentointiin ja raportointiin:

• Jos et dokumentoi prosessia huolellisesti, et voi myöskään raportoida sitä läpinäkyvästi.
• Jos et raportoi tutkimusprosessia ja -menetelmiä läpinäkyvästi, ei lukija tai arvioija voi toistaa tutkimustasi.

(Peters et al. 2021; Siddaway et al. 2019)

Kirjaa siis ylös kaikki työvaiheet, valinnat ja päätökset. 

• Hyödynnä dokumentoinnissa esimerkiksi tutkimuspäiväkirjaa.

Kiinnitä erityisesti huomiota seuraavien työvaiheiden dokumentointiin ja raportointiin:

• Hakusuunnitelman ja -strategian toteuttaminen
  • Kirjaa ylös missä tietokannoissa teit aineistohakuja, milloin, millaisella hakulauseella, millaisilla hakusanojen kohdistuksilla ja millaisilla rajauksilla (esimerkiksi julkaisuaika, julkaisukieli).
  • Raportoi hakusi vähintään yhdestä, mutta mielellään kaikista tietokannoista. 
  • Raportoi myös kaikki käyttämäsi täydentävät hakumenetelmät.
• Aineiston seulominen
  • Listaa käyttämäsi viitteidenhallinta- ja kirjallisuuskatsaustyökalut.
  • Kuvaile kaksoiskappaleiden poisto.
  • Kirjaa ylös tutkimusaineiston julkaisujen määrä seulonnan eri vaiheissa.
• Valittu tutkimusaineisto
  • Tee taulukko sisäänottokriteereitä vastanneista ja siten synteesiin ja analyysiin valituista julkaisuista.

Huomaa!

• Elävien ja iteratiivisten kirjallisuuskatsausprosessien (esimerkiksi narratiiviset kirjallisuuskatsaukset) raportointi – etenkin valmiita raportointipohjia hyödyntäen – voi olla haasteellista. Haasteellisuus ei kuitenkaan vapauta tutkijaa dokumentoinnin ja raportoinnin vaateesta. (Booth 2016)

Systemaattiseen menetelmään kuuluu olennaisena osana sisäänottokriteereiden määrittäminen etukäteen.

• Kun sisäänottokriteerit on ennalta määritelty, katsauksen tekijä voi paremmin varmistaa, että tutkimusaineistoon todella valikoituu aiheen kannalta relevantit julkaisut.
• Ja kun sisäänottokriteerit on lopullisessa katsauksessa eksplisiittisesti raportoitu, katsauksen lukija voi olla luottavainen, että tutkimusaineistoon ei ole valikoitu julkaisuja sattumanvaraisesti tai tarkoituksellisesti tiettyä argumenttia tai hypoteesia tukemaan. 

Sisäänottokriteerit tarkoittavat niitä tekijöitä, joiden perusteella valitset – eli seulot – julkaisut lopulliseen tutkimusaineistoosi synteesiä ja analyysia varten. 

• Sisäänottokriteerit tulee perustella tutkimuksen aiheen, tavoitteiden ja päätutkimuskysymyksen pohjalta. 

Sisäänottokriteerit saattavat kuitenkin elää tutkimusprosessin edetessä. 

• Esimerkiksi aineistoa seuloessa saattaa käydä ilmi, että tutkimuskysymykseen vastaamisen kannalta aivan oleellisia julkaisuja on jäämässä suunniteltujen sisäänottokriteerien ulkopuolelle. 
  • Tällaisissa tapauksissa kriteereihin tehdyt muutokset dokumentoidaan, raportoidaan ja perustellaan katsausjulkaisussa. 
• Etenkin systemaattisten katsausten kohdalla aineistoon pitäisi kuitenkin jo katsauksen suunnitteluvaiheessa tutustua tarpeeksi kattavasti ja huolellisesti, jotta kriteereihin ei myöhemmin tarvitse kajota. 

Sisäänottokriteerien lisäksi voit tarvittaessa määritellä myös poissulkukriteereitä.

• Poissulkukriteerien ei kuitenkaan tule olla pelkästään sisäänottokriteerien vastakohtia. 
  • On esimerkiksi turhaa toistoa määritellä sisäänottokriteeriksi "julkaisuaika: 2016–2026" ja sitten poissulkukriteeriksi "julkaisuaika: ei ennen 2016".

(Booth 2009; Dagher and Khan 2025, 886; Lubbe et al. 2020, 312; Siddaway et al. 2019; Snyder 2019)