Luotettavuus
Teorialähtöinen tutkimus
Validiteetti
Reliabiliteetti
Kuvio
Aineistolähtöinen tutkimus
Tuotteistettu kehittämisprosessi
Kirjallisuutta
Käsitteet
- Validiteetti eli pätevyys
- Reliabiliteetti eli pysyvyys
Luotettavuuden kulmakiviä teorialähtöisessä tutkimuksessa voidaan havainnollistaa seuraavan kuvion avulla.

- tutkimustulosten tarkkuus, missä määrin tehdyt johtopäätökset vastaavat todellisuutta, josta ne on saatu
- mittarin kykyä mitata juuri sitä ominaisuutta tai asiaa, mitä on tarkoitus mitata
- vaikuttavat systemaattiset mittausvirheet (syy voi olla tutkija, mittari, mittaustilanne..)
Validiteetin ”lajeja”
- Sisältövaliditeetti (conte nt validity)
- mittari mittaa todella sitä, mitä sen pitää mitata (mittarin mittauskyky)
- kysymysten sisällöllinen kattavuus <--> Teoriatausta/tutkimusilmiö/-ongelma
- käsitteen selkeä määrittely välttämätöntä ennen mittarin rakentamista
- tutkijan oma subjektiivinen tai asiantuntija-arviot, indexit, mittarin huolellinen laadinta (sana- ja kysymysmuodot..), esitestaus, vastaajien informointi
- Rakennevaliditeetti (käsite-, teoreettinen-)
- missä laajuudessa mittari mittaa ilmiötä/käsitettä
- mittarin käsitteelliset yhteydet teoriaan
- hyvä käsitteen operationaalistaminen
- mitä todella mitataan?, mitä ominaisuutta mitataan?
- mikä on pääkäsite ja miten muut käsitteet ovat suhteessa siihen - käsitteen selkeä hierarkisuus!
- rinnakkaismittaus, tilastolliset analyysit, kuten faktorianalyysi, korrelaatio,
- teoreettisen taustan muodostaminen, käsitevalinnat, näkökulma, käytettävä kirjallisuus,
- tärkein validiteetin muoto
- Kriteerivaliditeetti (ennuste-)
- missä määrin mittarin arvo kertoo testattavasta asiasta
- ennustavaa tai samanaikaista
- viittaa johdonmukaisuuteen, täsmällisyyteen ja tarkkuuteen
- kyky antaa tarkkoja tuloksia
- määräävät satunnaiset mittausvirheet (tutkija, mittari, tutkittava, tilanne, aineiston käsittely)
- mitä enemmän sattumanvaraisia virheitä, sitä heikompi reliabiliteetti
Reliabiliteetin arviointi
- Mittarin pysyvyys eli stability
- saadaanko toistuvissa mittauksissa samalla mittarilla samat tulokset eli mittarin herkkyys ulkopuolisille vaikutuksille
- mittauksen välisen ajan huomioon ottaminen
-> uusintamittaus
- Mittarin vastaavuus eli ekvivalenssi
- mittaustuloksen samanlaisuuden aste
- vastaako useammat mittarit samaan ongelmaan - tulokseen?
-> rinnakkaismittaus (tutkijat, mittarit)
- Mittarin sisäinen johdonmukaisuus eli konsistenssi
- mittarin eri osioiden kykyä mitata samaa asiaa
- tuottaako kaikki mittarin osiot samanlaisen tuloksen
-> puolitusmenetelmä (split half), Cronbachin alfa
Mitä tehtävissä:
- esitestaus, mittarin selkeys vastaajalle, kysymykset, muoto
- mittarin hyvät käyttö- ja täyttöohjeet
- aineiston keruu tilanne (useampi tutkija, samanlainen toimintatapa kaikilla), analyysi, tutkittavan valmentaminen: aika, paikka, motivointi, häiriötekijät
-> Tilannetekijät kaavamaiset vastaukset, persoonalliset tekijät, tutkimusjärjestelyt.

Ei selkeitä kriteereitä
- Kohdistuu koko tutkimusprosessiin (erityisesti aineiston keruuseen ja analysointiin sekä tutkimuksen raportointiin) ja erityisesti sen kontekstisidonnaisuuteen
- Aina tutkijan persoonallinen näkemys asiasta, ei yleistettävyyttä tms., joten validiteetti ja reliabiliteetti käsitteet eivät sovi kuvaamaan ko. prosessin arviointia
Luotettavuus korostuu erityisesti laadullisen tutkimuksen aikana
- tutkimusaineistossa ja sen hankinnassa
- aineiston analyysissa ja tulkinnassa
- raportoinnissa
Useimmin käytetyt kriteerit
- Uskottavuus: miten totuus on muodostunut tutkijan ja tutkittavan välille
- Todeksi vahvistettavuus: tutkimustulosten perustuttava aineistoon ja empiriaan
- Merkityksellisyys: tutkittavan ilmiön esiintyminen ja merkitys ko. tutkimuskontekstissa
- Toistuvuus: tutkittavan ilmiön esiintymisen ”tuttuus ja yleisyys”, ei satunnainen esiintyminen
- Kyllästeisyys: tutkija saanut ilmiöstä kaiken olennaisen esille
- Siirrettävyys; tulosten siirrettävyys toiseen samanlaiseen kontekstiin, tulkintojen muuttumatta
Myös Perttulan (1995) kehittämiä kriteerejä käytetään luotettavuuden arvioinnissa
- Tutkimusprosessin johdonmukaisuus
- Reflektoinnin kuvaus
- Aineistolähtöisyys
- Kontekstisidonnaisuus
- Tavoiteltavan tiedon laatu
- Metodien yhdistäminen
- Tutkimuksen subjektiivisuus
- Tutkijan vastuullisuus
- Tutkijayhteisön vastuu
Kriteereinä myös:
- Totuus
- Sovellettavuus
- Pysyvyys
- Vahvistettavuus
TAI:
- Sopivuus
- Ymmärrettävyys
- Yleisyys
- Kontrolli
Ahola, A. 2000. Surveykysymysten tarkoitus ja vastausten tulkittavuus. Hyvinvointikatsaus 1, 67-71.
Alkula, T. & Pöntinen, S. & Ylöstalo, P. 1995. Sosiaalitutkimuksen kvantitatiiviset menetelmät.Porvoo. WSOY.
Anttila, P. 1996. Tutkimisen taito ja tiedon hallinta. Taito-, taide- ja muotoilualojen tutkimuksen työvälineet. Helsinki: Akatiimi Oy.
Erätuuli, M. 1994. Kvantitatiiviset tutkimusmenetelmät ihmistieteissä. Helsinki. Kirjayhtymä.
Heikkilä, T. 1998. Tilastollinen tutkimus. Helsinki: Edita.
Kerlinger, F. 1986. Foundations of behavioral research. Tokyo: C & B College.
Mäkelä, K. (toim.) 1990. Kvalitatiivisen aineiston analyysi ja tulkinta. Helsinki. Gaudeamus.
Nummenmaa, T. Konttinen, R. & Kuusinen, J. Leskinen, E. 1997. Tutkimusaineiston analyysi. Porvoo. WSOY.
Paunonen, M. & Vehviläinen-Julkunen, K. (toim.) 1997. Hoitotieteen tutkimusmetodiikka. Juva. WSOY.