Library Research Guides – University of Wisconsin Ebling Library

Three Experimental Designs

to make things Helper, the following will act as representations in specific designs:

• X: Treatment
• O: Observation or measurement
• R: Random assignment

tässä jaksossa käsiteltävät kolme Koemallia ovat:

1) One Shot-tapaustutkimus

on yksi ryhmä ja sitä tutkitaan vain kerran. Ryhmä johdetaan hoitoon tai tilaan ja sen jälkeen havaitaan muutokset, jotka johtuvat hoidosta

X O

tämän mallin ongelmat ovat:

• täydellinen manipuloinnin puute. Lisäksi tieteellinen näyttö on hyvin heikkoa vertailun tekemisen ja vastakohtien kirjaamisen suhteen.
• on myös taipumus harhaluuloon väärään tarkkuuteen, jossa tutkija ryhtyy pitkäveteiseen tiettyjen yksityiskohtien keräämiseen, huolelliseen havainnointiin, testaamiseen ja niin edelleen., ja tulkitsee tämän virheellisesti vankan tutkimuksen hankkimiseksi. Yksityiskohtaista tiedonkeruumenettelyä ei kuitenkaan pitäisi rinnastaa hyvään suunnitteluun. Suunnittelua, mittaamista ja analysointia koskevassa luvussa nämä kolme osatekijää erotetaan selvästi toisistaan.
• valinnan ja kokeellisen muuttujan historia, kypsyminen, valinta, kuolleisuus ja vuorovaikutus ovat mahdollisia uhkia tämän mallin sisäistä validiteettia vastaan.

2) Yksi ryhmä Pre-Posttest suunnittelu

tämä on esitys pretest, jonka jälkeen käsittely, ja sitten posttest jossa ero O1 ja O2is selittää X:

O1 X O2

kuitenkin olemassa uhkia pätevyys edellä väitettä:

• historia: O1: n ja O2: n välillä on saattanut esiintyä X: n lisäksi monia tapahtumia, jotka ovat johtaneet tulosten eroihin. Mitä pidempi aikapula O1: n ja O2: n välillä on, sitä todennäköisemmin historia on uhka.
• kypsyminen: O1: n ja O2: n oppilaat ovat saattaneet ikääntyä tai sisätilat ovat saattaneet muuttua, joten saadut erot johtuisivat näistä muutoksista X: n sijaan. Jos esimerkiksi Yhdysvaltain hallitus ei tee mitään vuodesta 2008 alkaneelle talouslamalle ja antaa kriisin jatkua (näin Mitt Romney sanoi), kymmenen vuotta myöhemmin talous voi vielä kohentua. Tässä tapauksessa on ongelmallista verrata vuoden 2021 taloutta ja vuonna 2011 määrittää, onko tietty politiikka tehokasta; pikemminkin oikea tapa on verrata vuoden 2021 taloutta kokonaisuuteen (esim.2011-2021). SPSS: ssä oletuksena on, että kukin toimenpide verrataan lopulliseen mittaukseen, mutta se voi olla harhaanjohtava. SAS: ssä oletusarvoinen kontrastijärjestelmä on poikkeama, jossa jokaista mittausta verrataan kaikkien mittausten suureen keskiarvoon (kaiken kaikkiaan).
• testaus: itse teeskentelyn vaikutus voi vaikuttaa toisen testin tuloksiin (toisin sanoen toisella kerralla tehdyt älykkyystestit johtavat 3-5 pisteen nousuun verrattuna ensimmäiseen testiin). Yhteiskuntatieteissä on tiedetty, että mittausprosessi voi muuttaa sitä, mitä mitataan: reaktiivinen vaikutus syntyy, kun testausprosessi itsessään johtaa käyttäytymisen muutokseen sen sijaan, että se olisi passiivinen käyttäytymisen tallenne (reaktiivisuus: haluamme käyttää ei-reaktiivisia toimenpiteitä, kun se on mahdollista).
• Instrumentointi: esimerkkejä on uhkakuvissa validiteetti yli
• tilastollinen regressio: tai regressio kohti keskiarvoa. Aika-Käänteinen kontrollianalyysi ja populaatiovaihtelun muutosten suora tutkiminen ovat ennakoivia vastatoimia tällaisia tulosten virheellisiä tulkintoja vastaan. Jos tutkija valitsee erittäin polarisoituneen otoksen, joka koostuu erittäin taitavista ja erittäin köyhistä opiskelijoista, edellinen ryhmä saattaa joko osoittaa parannusta (kattovaikutus) tai vähentää pistemääriään, ja jälkimmäinen saattaa näyttää osoittavan parannusta. Sanomattakin on selvää, että tämä tulos on keskijohto, ja tämän tyyppisen väärintulkinnan korjaamiseksi tutkijat saattavat haluta tehdä aika-päinvastaisen (posttest-pretest) analyysin todellisten hoitovaikutusten analysoimiseksi. Tutkijat voivat myös sulkea poikkeamat pois analyysistä tai säätää pisteytyksiä winsorisoimalla keinoja (työntämällä poikkeavia kohti jakauman keskustaa).
• muut: historia, kypsyminen, testaus, instrumentointi testauksen ja kypsymisen vuorovaikutus, testauksen ja kokeellisen muuttujan vuorovaikutus sekä valinnan ja kokeellisen muuttujan vuorovaikutus ovat myös uhkia tämän mallin pätevyydelle.

3) Staattinen Ryhmävertailu

tämä on kahden ryhmän malli, jossa yksi ryhmä altistetaan hoidolle ja tulokset testataan, kun taas kontrolliryhmä ei altistu hoidolle, ja samalla tavalla testataan, jotta voidaan verrata hoidon vaikutuksia.

X	O1
	O2

• valinta: valitut ryhmät voivat itse asiassa olla erilaisia ennen hoitoa.
• kuolleisuus: erot O1: n ja O2: n välillä voivat johtua tietystä kokeellisesta ryhmästä tulevien henkilöiden keskeyttämisasteesta, mikä aiheuttaisi ryhmien epätasa-arvoisuuden.
• muut: valinnan ja kypsymisen yhteisvaikutukset sekä valinnan ja kokeellisen muuttujan yhteisvaikutukset.

kolme todellista Koemallia

seuraavat kolme käsiteltyä mallia ovat kaikkein suositeltavimpia:

1) Pretest-Posttest Control Group Design

tämä malli on tässä muodossa:

	O1	X	O2
	O3		O4

tämä muotoilu ohjaa kaikkia seitsemää voimassaolouhkaa, jotka on kuvattu yksityiskohtaisesti tähän mennessä. Selitys siitä, miten tämä malli ohjaa näitä uhkia on alla.

• historia: tätä valvotaan siten, että yleiset historian tapahtumat, jotka ovat saattaneet vaikuttaa O1-ja O2-vaikutuksiin, tuottaisivat myös O3-ja O4-vaikutukset. Tämä on kuitenkin totta, jos ja vain jos koe suoritetaan tietyllä tavalla: tutkija ei välttämättä testaa hoito-ja verrokkiryhmiä eri aikoina ja hyvin erilaisissa ympäristöissä, koska nämä erot voivat vaikuttaa tuloksiin. Sen sijaan tutkijan on testattava kontrolli-ja koeryhmiä samanaikaisesti. Myös Intrasession historia on otettava huomioon. Jos esimerkiksi ryhmiä testataan samaan aikaan, mukana voi olla eri kokeilijoita, ja kokeilijoiden väliset erot voivat vaikuttaa vaikutuksiin.

  tässä tapauksessa mahdollinen vastamitta on kokeellisten olosuhteiden satunnaistaminen, kuten vastapaino kokeen suorittajan, vuorokaudenajan, viikon jne. suhteen.

• kypsytys ja testaus: näitä kontrolloidaan siten, että ne ilmenevät yhtä lailla sekä hoito-että kontrolliryhmässä.
• Instrumentointi: tätä valvotaan, jos olosuhteet säätelevät intrasessiohistoriaa, erityisesti silloin, kun käytetään samoja testejä. Mutta kun mukana on erilaisia rataajia, tarkkailijoita tai haastattelijoita, tästä tulee potentiaalinen ongelma. Jos rotaattoreita tai tarkkailijoita ei ole riittävästi satunnaistettavaksi erilaisiin koeolosuhteisiin, niiden on oltava sokeita kokeen tarkoitukselle.
• regressio: tätä kontrolloidaan keskimääräisillä eroilla riippumatta äärimmäisen suuresta pistemäärästä tai ominaispiirteistä, jos hoito-ja kontrolliryhmät satunnaistetaan samasta ääriryhmästä. Jos näin tapahtuu, molemmat ryhmät taantuvat samalla tavalla hoidosta riippumatta.
• valinta: tätä kontrolloidaan satunnaistamisella.
• kuolleisuus: tämän sanottiin olevan hallittua tässä mallissa. Jos kuolleisuus ei kuitenkaan ole yhtä suuri hoito-ja kontrolliryhmissä, ei ole mahdollista osoittaa varmuudella, ettei kuolleisuus vaikuttanut kokeen tuloksiin. Vaikka jopa kuolleisuus todella tapahtuu, on olemassa mahdollisuus monimutkaisia vuorovaikutuksia, jotka voivat tehdä vaikutuksia keskeyttäminen määrä vaihtelee näiden kahden ryhmän välillä. Näiden kahden ryhmän välisten olosuhteiden on pysyttävä samanlaisina: jos esimerkiksi hoitoryhmän on osallistuttava hoitokertaan, kontrolliryhmän on osallistuttava myös istuntoihin, joissa joko ei tapahdu hoitoa tai tapahtuu ”lumelääke” – hoito. Tällöinkin on kuitenkin edelleen olemassa mahdollisuuksia pätevyyteen kohdistuviin uhkiin. Esimerkiksi, vaikka läsnäolo ”lumelääke” voi edistää vaikutus samanlainen kuin hoito, lumelääke hoito on jossain määrin uskottava ja siksi voi päätyä saada samanlaisia tuloksia!

tähän mennessä kuvatut tekijät vaikuttavat sisäiseen validiteettiin. Nämä tekijät voivat aiheuttaa muutoksia, jotka voidaan tulkita hoidon seurauksena. Näitä kutsutaan pääasiallisiksi vaikutuksiksi, joita on valvottu tässä mallissa antaen sille sisäisen pätevyyden.

tässä mallissa on kuitenkin ulkoisen pätevyyden uhkia (joita kutsutaan myös vuorovaikutusvaikutuksiksi, koska niihin liittyy hoito ja jokin muu muuttuja, jonka vuorovaikutus aiheuttaa uhkan pätevyydelle). Tässä on tärkeää huomata, että ulkoinen validiteetti tai yleistettävyys osoittautuu aina ekstrapoloinniksi sellaiseen alueeseen, jota ei ole edustettuna otoksessa.

sen sijaan sisäinen validiteetti on ratkaistavissa todennäköisyystilastojen logiikalla, eli sisäistä validiteettia voidaan kontrolloida tehdyn kokeen todennäköisyystilastojen perusteella. Toisaalta ulkoinen validiteetti tai yleistettävyys ei voi loogisesti tapahtua, koska emme voi loogisesti ekstrapoloida eri asetuksiin. (Humen truismi, että induktio tai yleistys ei ole koskaan täysin perusteltua loogisesti).

ulkoisia uhkia ovat:

• testauksen ja X: n yhteisvaikutus: koska pretestin ja itse hoidon välinen vuorovaikutus voi vaikuttaa kokeellisen ryhmän tuloksiin, on toivottavaa käyttää mallia, jossa ei käytetä pretestiä.
• valinnan ja X: n yhteisvaikutus: vaikka valintaa kontrolloidaan jakamalla satunnaisesti koehenkilöt koe-ja kontrolliryhmiin, on edelleen mahdollista, että osoitetut vaikutukset pätevät vain siihen populaatioon, josta koe-ja kontrolliryhmät valittiin. Esimerkki on tutkija yrittää valita koulujen tarkkailla, mutta on torjuttu 9, ja hyväksynyt 10. Ominaisuudet 10thschool voi olla hyvin erilainen kuin muut 9, ja siksi ei edusta keskivertokoulun. Siksi tutkijan tulisi kaikissa raporteissa kuvata tutkittu väestö sekä kaikki kutsun hylänneet populaatiot.
• reaktiiviset järjestelyt: tämä viittaa kokeellisen asetelman keinotekoisuuteen ja koehenkilön tietoon siitä, että hän osallistuu kokeeseen. Tämä tilanne ei edusta kouluympäristöä tai mitään luonnollista ympäristöä ja voi vaikuttaa vakavasti kokeilun tuloksiin. Tämän ongelman korjaamiseksi kokeet olisi sisällytettävä variantteina säännöllisiin opetussuunnitelmiin, testit olisi sisällytettävä normaaliin testausrutiiniin ja hoito olisi annettava vakinaiselle henkilökunnalle yksittäisten opiskelijoiden kanssa.

tutkimusta tulisi tehdä kouluissa näin: tutkimusideoiden tulisi olla peräisin opettajilta tai koulun muulta henkilökunnalta. Suunnitelmat tätä tutkimusta olisi työstettävä jonkun asiantuntija tutkimusmenetelmät, ja tutkimuksen itse suorittaa ne, jotka keksivät tutkimusidean. Tulokset olisi analysoitava asiantuntija,ja sitten lopullinen tulkinta välittäjän.

tämän mallin kannalta merkitykselliset testit: vaikka tätä rakennetta voidaan kehittää ja suorittaa asianmukaisesti, tilastollisia merkityksellisyystestejä ei aina käytetä asianmukaisesti.

• väärä tilasto yleisessä käytössä: monet käyttävät t-testiä laskemalla kaksi ts: tä, joista toinen on kokeellisen ryhmän pre-post-erolle ja toinen kontrolliryhmän pre-post-erolle. Jos kokeellinen t-testi on tilastollisesti merkitsevä verrattuna kontrolliryhmään, hoidolla sanotaan olevan vaikutusta. Tämä ei kuitenkaan ota huomioon, kuinka ”lähellä” t-testi saattoi todellisuudessa olla. Parempi menettely on suorittaa 2×2 anovan toistetut toimenpiteet, testaamalla pre-post-ero subjektin sisäisenä tekijänä, ryhmäero subjektin välisenä tekijänä ja molempien tekijöiden yhteisvaikutusvaikutus.
• käyttö voitto pisteet ja kovarianssi: eniten käytetty testi on laskea pre-posttest voitto pisteet kullekin ryhmälle, ja sitten laskea t-testi koe-ja verrokkiryhmän välillä voitto pisteet. Lisäksi on hyödyllistä käyttää satunnaistettua ” esto ”tai” tasoitus ” pretest tulokset, koska esto voi paikallistaa sisällä aihe varianssi, joka tunnetaan myös nimellä virhe varianssi. On tärkeää huomauttaa, että voitto pisteet sovelletaan katto ja lattia vaikutuksia. Edellisessä koehenkilöt aloittavat hyvin korkealla pretest-tuloksella ja jälkimmäisessä koehenkilöt ovat erittäin huonolla pretest-tuloksella. Tällöin kovarianssin analyysi (ANCOVA) on yleensä parempi kuin yksinkertainen voitto-pistevertailu.
• tilastot ehjien luokkahuoneiden satunnaisesta osoittamisesta hoitoihin: kun ehjiä luokkahuoneita on annettu sattumanvaraisesti hoidoille (toisin kuin henkilöitä on määrätty hoitoihin), käytetään perustietoina luokkakohtaisia menetelmiä, ja hoidon vaikutuksia testataan näiden keinojen vaihteluilla. Kovarianssianalyysi käyttäisi pretest-keinoja kovariaattina.

2) Soloman neljän ryhmän muotoilu

muotoilu on:

	O1	X	O2
	O3		O4
lä		X	O5
lä			O6

tässä tutkimusasetelmassa koehenkilöt jaetaan satunnaisesti neljään eri ryhmään: kokeellinen molemmilla Pre-posttesteilla, kokeellinen ilman pretestiä, kontrolli pre-posttesteilla ja kontrolli ilman pre-posttesteja. Tässä kokoonpanossa kontrolloidaan sekä testauksen pääasiallisia vaikutuksia että testauksen ja hoidon vuorovaikutusta. Tämän seurauksena yleistettävyys paranee ja X: n vaikutus monistuu neljällä eri tavalla.

tilastolliset testit tälle suunnittelulle: hyvä tapa testata tuloksia on sulkea pois pretest ”hoitona” ja hoitaa posttest-pisteet 2×2-analyysillä varianssi design-pretested vastaan unpretested. Vaihtoehtoisesti ancovassa voidaan käyttää kovariaattina pretestiä, joka on eräs esisuuruuden muoto.

3) vain verrokkiryhmän Jälkitesti

tämä malli on:

	X	O1
lä		O2

tätä mallia voidaan pitää Solomonin 4-ryhmän mallin kahtena viimeisenä ryhmänä. Ja voidaan nähdä ohjaavana testausta varten päävaikutuksena ja vuorovaikutuksena, mutta toisin kuin tämä muotoilu, se ei mittaa niitä. Mutta näiden vaikutusten mittaaminen ei ole välttämätöntä keskeiseen kysymykseen siitä, onko xdid: llä vaikutusta. Tämä malli sopii aikoina, jolloin pretests eivät ole hyväksyttäviä.

tilastolliset testit tälle mallille: yksinkertaisin muoto olisi t-testi. Kuitenkin kovarianssianalyysi ja esto tutkittavilla muuttujilla (aiemmat arvosanat, testitulokset jne.) voidaan käyttää, jotka lisäävät merkitsevyystestin tehoa samalla tavalla kuin mitä pretest tarjoaa.

Keskustelu syy-seuraussuhteen päättelystä ja yleistyksestä

kuten yllä on esitetty, Cook ja Campbell ovat ponnistelleet paljon välttääkseen / vähentääkseen sisäiseen pätevyyteen (syy ja seuraus) ja ulkoiseen pätevyyteen (yleistys) kohdistuvia uhkia. Jotkin laajalle levinneet käsitteet voivat kuitenkin aiheuttaa myös muunlaisia uhkia sisäistä ja ulkoista pätevyyttä vastaan.

jotkut tutkijat vähättelevät syy-seuraussuhteen merkitystä ja vakuuttavat ymmärtämisen arvoa. Tähän ymmärrykseen kuuluvat ”mitä”, ”miten” ja ” miksi.”Mutta onko ”miksi” ”syy-seuraussuhde”? Jos kysytään kysymys ”miksi X tapahtuu” ja vastaus on ”Y tapahtuu”, merkitseekö se, että ”Y aiheuttaa X”? Jos vain X ja Y korreloivat keskenään, se ei käsittele kysymystä ” miksi.”Syyn ja seurauksen ”korvaaminen” ymmärryksellä ”tekee johtopäätöksen hämmentäväksi ja johtaa tutkijoita harhaan pois” sisäisen pätevyyden kysymyksestä.”

jotkut tutkijat soveltavat suppeaa lähestymistapaa ” – selitykseen.”Tässä katsannossa selitys on kontekstualisoitu vain tiettyyn tapaukseen tietyssä ajassa ja paikassa, ja näin yleistämistä pidetään sopimattomana. Itse asiassa liian tarkka selitys ei välttämättä selitä yhtään mitään. Esimerkiksi, jos kysytään, ” miksi Alex Yu käyttäytyy tuolla tavalla, ”vastaus voisi olla” koska hän on Alex Yu. Hän on ainutlaatuinen ihminen. Hänellä on erityinen perhetausta ja erityinen sosiaalinen piiri.”Nämä” erityiset ” lausunnot ovat aina oikeassa, mikä johtaa tutkijat pois kysymys ulkoisen pätevyyden.

Chong-ho Yu & Barbara Ohlund (2012) http://www.creative-wisdom.com/teaching/WBI/threat.shtml