Luotettavuus

Teorialähtöinen tutkimus
Validiteetti
Reliabiliteetti
Kuvio

Aineistolähtöinen tutkimus

Tuotteistettu kehittämisprosessi

Kirjallisuutta

Teorialähtöinen tutkimus

Käsitteet

1. Validiteetti eli pätevyys
2. Reliabiliteetti eli pysyvyys

Luotettavuuden kulmakiviä teorialähtöisessä tutkimuksessa voidaan havainnollistaa seuraavan kuvion avulla.

Validiteetti

• tutkimustulosten tarkkuus, missä määrin tehdyt johtopäätökset vastaavat todellisuutta, josta ne on saatu
• mittarin kykyä mitata juuri sitä ominaisuutta tai asiaa, mitä on tarkoitus mitata
• vaikuttavat systemaattiset mittausvirheet (syy voi olla tutkija, mittari, mittaustilanne..)

Validiteetin ”lajeja”

1. Sisältövaliditeetti (conte nt validity)
• mittari mittaa todella sitä, mitä sen pitää mitata (mittarin mittauskyky)
• kysymysten sisällöllinen kattavuus <--> Teoriatausta/tutkimusilmiö/-ongelma
• käsitteen selkeä määrittely välttämätöntä ennen mittarin rakentamista
• tutkijan oma subjektiivinen tai asiantuntija-arviot, indexit, mittarin huolellinen laadinta (sana- ja kysymysmuodot..), esitestaus, vastaajien informointi
  
2. Rakennevaliditeetti (käsite-, teoreettinen-)
• missä laajuudessa mittari mittaa ilmiötä/käsitettä
• mittarin käsitteelliset yhteydet teoriaan
• hyvä käsitteen operationaalistaminen
• mitä todella mitataan?, mitä ominaisuutta mitataan?
• mikä on pääkäsite ja miten muut käsitteet ovat suhteessa siihen - käsitteen selkeä hierarkisuus!
• rinnakkaismittaus, tilastolliset analyysit, kuten faktorianalyysi, korrelaatio,
• teoreettisen taustan muodostaminen, käsitevalinnat, näkökulma, käytettävä kirjallisuus,
• tärkein validiteetin muoto
  
3. Kriteerivaliditeetti (ennuste-)
• missä määrin mittarin arvo kertoo testattavasta asiasta
• ennustavaa tai samanaikaista

Reliabiliteetti

• viittaa johdonmukaisuuteen, täsmällisyyteen ja tarkkuuteen
• kyky antaa tarkkoja tuloksia
• määräävät satunnaiset mittausvirheet (tutkija, mittari, tutkittava, tilanne, aineiston käsittely)
• mitä enemmän sattumanvaraisia virheitä, sitä heikompi reliabiliteetti

Reliabiliteetin arviointi

1. Mittarin pysyvyys eli stability
• saadaanko toistuvissa mittauksissa samalla mittarilla samat tulokset eli mittarin herkkyys ulkopuolisille vaikutuksille
• mittauksen välisen ajan huomioon ottaminen
  -> uusintamittaus
2. Mittarin vastaavuus eli ekvivalenssi
• mittaustuloksen samanlaisuuden aste
• vastaako useammat mittarit samaan ongelmaan - tulokseen?
  -> rinnakkaismittaus (tutkijat, mittarit)
3. Mittarin sisäinen johdonmukaisuus eli konsistenssi
• mittarin eri osioiden kykyä mitata samaa asiaa
• tuottaako kaikki mittarin osiot samanlaisen tuloksen
  -> puolitusmenetelmä (split half), Cronbachin alfa

Mitä tehtävissä:

• esitestaus, mittarin selkeys vastaajalle, kysymykset, muoto
• mittarin hyvät käyttö- ja täyttöohjeet
• aineiston keruu tilanne (useampi tutkija, samanlainen toimintatapa kaikilla), analyysi, tutkittavan valmentaminen: aika, paikka, motivointi, häiriötekijät
  -> Tilannetekijät kaavamaiset vastaukset, persoonalliset tekijät, tutkimusjärjestelyt.

Aineistolähtöinen tutkimus

Ei selkeitä kriteereitä

• Kohdistuu koko tutkimusprosessiin (erityisesti aineiston keruuseen ja analysointiin sekä tutkimuksen raportointiin) ja erityisesti sen kontekstisidonnaisuuteen
• Aina tutkijan persoonallinen näkemys asiasta, ei yleistettävyyttä tms., joten validiteetti ja reliabiliteetti käsitteet eivät sovi kuvaamaan ko. prosessin arviointia

Luotettavuus korostuu erityisesti laadullisen tutkimuksen aikana

• tutkimusaineistossa ja sen hankinnassa
• aineiston analyysissa ja tulkinnassa
• raportoinnissa

Useimmin käytetyt kriteerit

1. Uskottavuus: miten totuus on muodostunut tutkijan ja tutkittavan välille
2. Todeksi vahvistettavuus: tutkimustulosten perustuttava aineistoon ja empiriaan
3. Merkityksellisyys: tutkittavan ilmiön esiintyminen ja merkitys ko. tutkimuskontekstissa
4. Toistuvuus: tutkittavan ilmiön esiintymisen ”tuttuus ja yleisyys”, ei satunnainen esiintyminen
5. Kyllästeisyys: tutkija saanut ilmiöstä kaiken olennaisen esille
6. Siirrettävyys; tulosten siirrettävyys toiseen samanlaiseen kontekstiin, tulkintojen muuttumatta

Myös Perttulan (1995) kehittämiä kriteerejä käytetään luotettavuuden arvioinnissa

1. Tutkimusprosessin johdonmukaisuus
2. Reflektoinnin kuvaus
3. Aineistolähtöisyys
4. Kontekstisidonnaisuus
5. Tavoiteltavan tiedon laatu
6. Metodien yhdistäminen
7. Tutkimuksen subjektiivisuus
8. Tutkijan vastuullisuus
9. Tutkijayhteisön vastuu

Kriteereinä myös:

1. Totuus
2. Sovellettavuus
3. Pysyvyys
4. Vahvistettavuus

TAI:

1. Sopivuus
2. Ymmärrettävyys
3. Yleisyys
4. Kontrolli

Kirjallisuutta

Ahola, A. 2000. Surveykysymysten tarkoitus ja vastausten tulkittavuus. Hyvinvointikatsaus 1, 67-71.

Alkula, T. & Pöntinen, S. & Ylöstalo, P. 1995. Sosiaalitutkimuksen kvantitatiiviset menetelmät.Porvoo. WSOY.

Anttila, P. 1996. Tutkimisen taito ja tiedon hallinta. Taito-, taide- ja muotoilualojen tutkimuksen työvälineet. Helsinki: Akatiimi Oy.

Erätuuli, M. 1994. Kvantitatiiviset tutkimusmenetelmät ihmistieteissä. Helsinki. Kirjayhtymä.

Heikkilä, T. 1998. Tilastollinen tutkimus. Helsinki: Edita.

Kerlinger, F. 1986. Foundations of behavioral research. Tokyo: C & B College.

Mäkelä, K. (toim.) 1990. Kvalitatiivisen aineiston analyysi ja tulkinta. Helsinki. Gaudeamus.

Nummenmaa, T. Konttinen, R. & Kuusinen, J. Leskinen, E. 1997. Tutkimusaineiston analyysi. Porvoo. WSOY.

Paunonen, M. & Vehviläinen-Julkunen, K. (toim.) 1997. Hoitotieteen tutkimusmetodiikka. Juva. WSOY.