Rahvusvahelised standardid ja mudelid

Generic Statistical Information Model (GSIM)

Andmehalduses ja statistika tootmisel kasutatakse rahvusvahelisi standardeid ja mudeleid andmete, metaandmete, tööprotsesside ja infosüsteemide kirjeldamiseks. Standardimise eesmärk on ühtlustamine. Standardid hõlbustavad rahvusvahelist koostööd, loovad selgust ning soodustavad infosüsteemide koostalitlusvõimet. Ühised mõisted ja kirjelduspõhimõtted aitavad andmeid mõista ja taaskasutada. Standardid on ka usaldusväärsed allikad käsitletava teema sügavamaks mõistmiseks.

Statistikaametis kasutatavad standardid ja mudelid hõlmavad erinevaid käsitlusalasid, näiteks statistilise informatsiooni ja tööprotsesside kirjeldamist, statistikatootmise arhitektuuri, metaandmete modelleerimist ja haldamist, terminoloogia korrastamist, klassifikaatorite kirjeldamist ning haldamist, andmevahetust, aruandlust, andmekvaliteeti ja infoturvet. Üks standard võib täita ka mitut eesmärki. Järgnevalt on esitatud olulisemate standardite ja mudelite lühikirjeldused.

Generic Statistical Information Model (GSIM)

Generic Statistical Information Model (GSIM) ehk statistilise informatsiooni üldmudel on rahvusvaheline võrdlusraamistik statistika tootmise käigus kasutatava ja loodava informatsiooni kirjeldamiseks. Mudel on välja töötatud ÜRO Euroopa Majanduskomisjoni (UNECE) eestvedamisel rahvusvahelise statistikakogukonna koostöös. GSIM määratleb infoklassid (varasemates versioonides „infoobjektid“), nende tähenduse, põhiomadused ja omavahelised seosed ning aitab seeläbi ühtlustada statistilise teabe käsitlust ja haldust.

Lühidalt öeldes loob GSIM statistilise informatsiooni kirjeldamiseks ühise keele. Mudel liigitab infoklassid viide rühma: baasrühm (Base Group), protsessid ja tegevused (Business Group), mõisted (Concept Group), teabevahetus (Exchange Group) ja struktuurid (Structure Group). Näiteks saab mudeli põhjal kirjeldada statistilisi vajadusi ja programme, protsesside sisendeid ja väljundeid, andmestikke ja andmestruktuure, mõisteid, muutujaid, klassifikaatoreid, küsimustikke, statistilise informatsiooniga seotud isikuid ja organisatsioone jpm.

Asutused saavad GSIMi kasutada näiteks andme- ja metaandmemudelite koostamisel, statistiliste mõistete ja kirjelduste ühtlustamisel, infosüsteemide ja infovoogude kavandamisel ja analüüsimisel. Mudel aitab mõista, millist informatsiooni statistika tootmise eri etappides kasutatakse ja luuakse, kuidas need infoobjektid omavahel seostuvad ja liiguvad ühest tööetapist teise. Ühine mudel soodustab metaandmete taaskasutust ning koostööd nii organisatsioonide sees kui ka nende vahel. GSIM on seega justkui detailne kaart, mille abil saavad statistikat tootvad asutused terviklikult kirjeldada statistika tootmises kasutatavat informatsiooni, ühtlustada andmete ja metaandmete käsitlust ja toetada statistika tootmise läbipaistvust ja kvaliteeti.

GSIM täiendab statistika tootmise protsessimudelit GSBPM. Kui GSBPM kirjeldab statistika tootmisega seotud tegevusi ja etappe, siis GSIM kirjeldab, millist informatsiooni neis etappides kasutatakse ja luuakse. Koos aitavad need mudelid siduda protsessid andmete, metaandmete, metoodika ja statistilise väljundiga.

GSIM on kontseptuaalne võrdlusmudel, see ei määra ette andmete tehnilist esitust ega konkreetset rakendusstandardit. Selle infoklasse saab vastendada asjakohaste rakendusstandardite (näiteks DDI ja SDMXi) kirjelduselementidega. Mudeli kasutuselevõtuks tuleb selles kirjeldatud rühmad ja infoobjektid siduda asutuse tööprotsesside, terminoloogia, andmemudelite ja tehniliste standarditega. GSIMi võib rakendada tervikuna või kasutada asutuse vajadustele vastavaid osi.

Statistikaamet kasutab GSIMi andmete ja metaandmete kontseptuaalsete ja struktuursete osade haldamisel. GSIM aitab ühtlustada statistikatööde, andmestike, muutujate ja klassifikaatorite kirjeldamist ning määratleda objektidevahelised seosed.

GSIM 2.0 Kasutusjuhend Generic Statistical Information Model (version 2.0): User Guide | UNECE

GSIM 2.0 Interaktiivne mudel GSIM version 2.0

Data Documentation Initiative (DDI)

Data Documentation Initiative (DDI) ehk andmete dokumenteerimise algatus on rahvusvaheline metaandmete kirjeldusstandardite kogum uuringute ja statistiliste andmete dokumenteerimiseks ja haldamiseks. DDI standardid toetavad uuringuandmete kirjeldamist, säilitamist ja levitamist.

DDI sündis 1995. aastal rahvusvahelise algatusena, mille eesmärk oli töötada välja ühtne formaat sotsiaalteaduslike uuringute ja nende andmete dokumenteerimiseks ning metaandmete vahetamiseks ja säilitamiseks. DDI esimene ametlik versioon avaldati 2000. aastal. 2026. aastal avaldati DDI põhielemendid (DDI Common Core) ka ISO spetsifikatsioonina ISO/PAS 25955:2026.

DDI võimaldab kirjeldada näiteks uuringuid ja vaatlusi, andmekogumist, küsimustikke, statistilisi andmefaile, andmete päritolu ja töötlemist, juurdepääsutingimusi jm. DDI tootepere kesksed standardid on DDI-Codebook, DDI-Lifestyle ja DDI-CDI.

DDI-Codebook (DDI-C, praegune versioon 2.6) on DDI lihtsaim standard, mis on mõeldud üksiku andmestiku või uuringu dokumenteerimiseks. Selle abil saab kirjeldada uuringutasandi teavet, andmefaile, muutujaid, andmeallikaid, metoodikat, andmete päritolu, juurdepääsutingimusi jm. Standard võimaldab ka dokumenteerida andmete töötlemist ja analüüsi ning kasutada kontrollsõnastikke, mis toetavad andmestike leitavust ja võrreldavust. Standardi kasutamine hõlbustab andmete leidmist, säilitamist ja taaskasutamist.

DDI-Lifecycle (DDI-L, praegune versioon 3.3) on DDI edasiarendus ja selle tootepere kõige terviklikum standard, mis mõeldud andmete dokumenteerimiseks ja haldamiseks kogu uuringu elutsükli vältel. DDI Lifecycle’i abil saab nii kirjeldada kui ka hallata üksikuid uuringud, terveid uuringusarju ja nendega seotud andmestikke. Standard toetab küsimuste, muutujate, mõistete jm metaandmete taaskasutamist uuringute vahel ning sobib eriti longituuduuringute ja muude keerukate andmestike kirjeldamiseks. XML-skeemidel põhinev DDI-Lifecycle on modulaarne ja laiendatav.

DDI Cross-Domain Integration (DDI-CDI) on laiendatud fookusega valdkonnaülene standard eri valdkondade uuringuandmete ja nendega seotud protsesside kirjeldamiseks. See hõlmab enamikku levinud andmestruktuuridest ja on mõeldud eri teadusharude ja valdkondade andmete integreerimiseks. Fookuses on andmete struktuuri, tähenduse, päritolu ja töötlemise kirjeldamine vajaduse korral kuni üksiku andmeväärtuse tasandini. Standard toetab koostalitlust teiste standardite, metaandmemudelite ja kontrollsõnastikega.

DDI kirjeldusstandardeid saab seega kasutada nii üksiku andmestiku dokumenteerimiseks kui ka andmete ja metaandmete haldamiseks kogu nende elutsükli jooksul. Näiteks võimaldab DDI kirjeldada, millise mõiste alusel muutuja on loodud, millise küsimuse kaudu andmed koguti, milliseid väärtusi või klassifikaatoreid kasutatakse ning millise töötluse tulemusel andmed tekkisid. Masinloetav ja standarditud kirjeldus toetab metaandmete liikumist infosüsteemide vahel ning võimaldab neid automaatselt töödelda ja taaskasutada.

DDI ja GSIM on omavahel ühilduvad: GSIM määratleb statistilise informatsiooni kontseptuaalse mudeli, DDI-Lifecycle on rakendusmudel, mille abil saab GSIMi infoobjekte detailselt kirjeldada ja infosüsteemides rakendada. Mudelite mõisteid, muutujaid ja klassifikaatoreid käsitlevad osad on suuresti kattuvad.

Statistikaametis on DDI metaandmete haldamiseks kasutusel olev põhistandard. DDI kasutuselevõtuks on Statistikaamet juurutanud metaandmesüsteemi Colectica. DDI-Lifecycle 3.3 on aluseks Statistikaameti hallatud klassifikaatorite- ja koodiloendite kirjeldusstandardile.

DDI Alliance https://ddialliance.org/

Data Catalog Vocabulary (DCAT)

Data Catalog Vocabulary (DCAT) ehk andmekataloogi sõnastik on W3C avaldatud rahvusvaheline standard andmekataloogide, andmestike ja andmeteenuste kirjeldamiseks. Tegemist on RDF-sõnavaraga, mis määratleb ühise mudeli ja mõisted andmekataloogide, andmestike ja andmestike sarjade, levituste ja andmeteenuste ning nendevaheliste seoste kirjeldamiseks. Ühtne kirjeldus parandab andmestike ja andmeteenuste leitavust ning võimaldab metaandmeid koondada eri andmekataloogidest.

Algselt töötati DCAT välja riiklike andmekataloogide jaoks ning W3C avaldas selle esimese standardiversiooni 2014. aastal. Hilisemates versioonides lisati ka andmeteenuste, andmestike sarjade ja versiooniseoste kirjeldamise võimalused. Praegu kehtiv kolmas versioon avaldati 2024. aastal.

DCAT sobib nii avatud kui ka piiratud juurdepääsuga andmestike kirjeldamiseks. Üldiste kirjelduselementide jaoks kasutab DCAT paljuski Dublin Core’i termineid ehk metaandmeelemente ning määratleb lisaks andmekataloogide kirjeldamiseks vajalikud mõisted ja seosed. DCATi kirjelduselementide abil saab andmestiku kui terviku kohta esitada näiteks selle pealkirja, üldise sisukirjelduse, väljaandja, ajalise ja geograafilise kaetuse, juurdepääsu- ja kasutustingimused ning seosed andmestiku eri versioonide vahel. (Standard ei määra eraldi kirjelduselemente andmeväljade ja üksikute väärtuste kirjeldamiseks.) DCAT eristab andmestikku selle levitustest. Levitused võivad olla näiteks eri vormingus allalaaditavad failid. Kirjeldada saab ka andmeteenust, mille kaudu andmetele juurde pääseb.

Euroopa avalikus sektoris kasutatakse DCATil põhinevat rakendusprofiili DCAT-AP (DCAT Application Profile for Data Portals in Europe). Euroopa andmeportaalide jaoks koostatud DCAT-APi esimene versioon avaldati juba 2013. aastal. DCAT-AP määrab, millised kirjelduselemendid on profiilile vastavates andmekirjeldustes kohustuslikud, soovituslikud või valikulised, ning täpsustab, kuidas kasutada ühtseid kontrollsõnastikke. See aitab eri riikide ja valdkondade andmekirjeldusi omavahel paremini ühildada, võimaldab andmestike otsimist üle erinevate andmekataloogide ning toetab andmete piiriülest ja valdkondadevahelist taaskasutust.

Statistikaameti hallatav Eesti Andmekirjelduse standard põhineb andmekataloogi sõnastikul DCAT ja selle rakendusprofiilil DCAT-AP. Asutused saavad neid standardeid rakendada oma andmekataloogi haldamisel (kasutades selleks nt andmehalduse rakendust RIHAKE) ning andmestike metaandmete struktureerimisel ja andmekirjelduste edastamisel infosüsteemide vahel (nt andmete teabeväravasse).

DCAT 3.0 Data Catalog Vocabulary (DCAT) - Version 3

Dublin Core

Dublin Core on rahvusvaheline metaandmete kirjeldusstandard, mis pakub üldiseid mõisteid eri liiki ressursside kirjeldamiseks. Selle abil saab kirjeldada näiteks andmestikke, dokumente, veebilehti, väljaandeid ja muid digitaalseid või füüsilisi ressursse eri valdkondades. Lühidalt öeldes võib Dublin Core’i käsitleda metaandmete ühise baassõnavarana, mille abil saab ressursside põhiomadusi ühtsel viisil kirjeldada ja nende leitavust toetada.

Dublin Core sai alguse 1995. aastal USA Ohio osariigis Dublinis eesmärgiga lihtsustada veebiressursside kirjeldamist ja leidmist. Dublin Core’i 15 põhielementi avaldati 2003. aastal esmakordselt ISO standardina ISO 15836:2003 ning 2004. aastal eestikeelse standardina EVS-ISO 15836:2004 "Informatsioon ja dokumentatsioon. Dublin Core'i metaandmeelemendid". Täna on standardi põhielemendid esitatud selle esimeses osas ISO 15836-1:2017 ning laiendatud omadused ja klassid standardi teises osas ISO 15836-2:2019.

Dublin Core'i 15 põhielementi annavad ressursi üldise kirjelduse. Siia kuuluvad sellised laialt kasutatavad kirjelduselemendid, nt nagu pealkiri, kirjeldus, teema, looja, väljaandja, kuupäev, keel, identifikaator, õigused jm. Laiendatud terminikogu võimaldab kirjeldusi täpsustada, nt eristada ressursi loomise, avaldamise ja muutmise kuupäeva, üldiste õiguste asemel täpsustada litsentsi ja juurdepääsutingimusi, kirjeldada ressurssidevahelisi seoseid jmt. Lisaks sisaldab laiendatud terminikogu ka klasse, mis tähistavad objektide liike.

Dublin Core’i peamine tugevus on selle lihtsus ja üldkasutatavus. Üheselt määratletud terminid aitavad erinevatel asutustel ja infosüsteemidel kirjeldada ressursse sarnasel viisil. Asutused saavad Dublin Core’i kasutada näiteks dokumentide, andmestike ja teiste infovarade põhiomaduste kirjeldamisel. Seejuures ei määra standard konkreetset infosüsteemi ega metaandmete esitusvormingut: Dublin Core’i termineid saab kasutada muu hulgas RDF-is, XML-is, JSON-is, andmebaasides ja kombineerida teiste metaandmemudelitega.

Dublin Core on alus ka mitmetele teistele kirjeldusstandarditele. Näiteks kasutab DCAT ulatuslikult Dublin Core’i termineid andmekataloogis kirjeldatavate ressurside üldiste omaduste kirjeldamiseks: pealkirja jaoks kasutatakse elementi dcterms:title, kirjelduse jaoks dcterms:description ning avaldamise kuupäeva jaoks dcterms:issued. Eestis kehtiv andmekirjelduse standard, mis on kohandatud avaliku sektori jaoks, põhineb samuti DCATil.

Dublin Core koduleht DCMI: Home