02.10.2018

Digipalvelut kehittää - KeTarAT ajossa - tietojen validointipalvelu

KeTarAT (Kelvollisuustarkastukset ajastettuna tiedoille) on tietojen validointipalvelu.

Digipalveluissa tietovarastotiimissä on osana datan laadun parantamista kehitetty uusi KeTarAT-palvelu tietojen validointiin.

Miksi? Tietojen validointia tarvitaan, koska eri lähdejärjestelmissä ei ole riittävästi omia tarkastuksia syötetyille tiedoille. Osa virheellisistä tiedoista saattaa periytyä vanhoista järjestelmistä, joiden sisältämät tiedot on migroitu uusiin järjestelmiin erilaisten tietomallien vaatimien muunnosten kautta. Siten virheelliset tiedot vaikuttavat erilaisten tiedonsiirtoketjujen myöhemmissä vaiheissa, pahimmillaan kertautuen isommiksi vioiksi, näkyen käyttäjille pieninä tai isoina ongelmina tai heikentäen datan laatua.

KeTarAT tarjoaa menetelmän ja yksinkertaisen tekniikan, jolla minkä tahansa tietokannan sisältämiä tietoja voidaan validoida yksittäin tai toisiinsa nähden.

Esimerkiksi jos maisterintutkinto on myönnetty henkilölle, jonka ikä myöntämishetkellä on tietojärjestelmien rekistereiden mukaan 10 vuotta, on todennäköisesti jossain jokin tieto syötetty väärin: henkilön henkilötunnus tai syntymäaika, tutkinnon myöntämispäivä, validiussääntö tai jokin muu asiaan vaikuttava tieto.

KeTarAT tarjoaa listauksen validiussäännön antamista virheriveistä. Mikäli kaikki validiussäännön tarkastamat tiedot ovat kunnossa, ei virherivejä tule eikä siten ole mitään huomautettavaakaan. Virheellinen tieto otetaan mukaan listaukseen niin kauan kunnes tieto korjataan lähdejärjestelmässä tai validiussääntöä muokataan toisenlaiseksi. Kunkin validiussäännön listaus voidaan tallentaa halutuiksi tiedostoiksi tai lähettää sähköpostilla haluttuihin osoitteisiin.

KeTarAT kehitettiin osana tietovarastoa ja Sisu-käyttöönottoprojektia. Toteutuksessa käytetään Jitterbit-integraatiojärjestelmää, json-kuvauskieltä ja sql-kyselykieltä.

Lisätietoja: Pauli Kujala <tietovarasto@jyu.fi>