Library Research Guides – University of Wisconsin Ebling Knihovna

Tři Experimentální Design

Aby to bylo jednodušší, následující bude působit jako reprezentace v rámci konkrétní návrhy:

• X: Léčba
• O: Pozorování nebo měření
• R: Náhodné přiřazení

tři experimentální návrhy diskutovány v této sekci jsou:

1) Případová studie One Shot

existuje jedna skupina a je studována pouze jednou. Skupina je zavedena do léčby nebo stavu, a pak pozorovat změny, které jsou přičítány k léčbě

X O

problémy s tímto designem jsou:

• naprostý nedostatek manipulaci. Vědecké důkazy jsou také velmi slabé, pokud jde o porovnávání a zaznamenávání kontrastů.
• existuje také tendence mít klam nesprávné přesnosti, kde se výzkumník zabývá únavným sběrem konkrétních detailů, pečlivým pozorováním, testováním atd., a nesprávně to interpretuje jako získání solidního výzkumu. Podrobný postup sběru dat by však neměl být přirovnáván k dobrému designu. V kapitole o návrhu, měření a analýze jsou tyto tři složky od sebe jasně odlišeny.
• Historie, zrání, výběr, úmrtnost, a interakce výběru a experimentální proměnné jsou potenciální hrozby proti vnitřní platnosti tohoto návrhu.

2) Jedna Skupina Pre-a Posttest Design

Tohle je předložení předběžné zkoušky, následuje ošetření a pak posttest, kde rozdíl mezi O1 a O2is vysvětlil X:

O1 X O2

Nicméně, existuje ohrožení platnosti výše uvedené tvrzení:

• Historie: mezi O1 a O2 mohlo dojít k mnoha událostem kromě X, aby se vytvořily rozdíly ve výsledcích. Čím delší je časová prodleva mezi O1 a O2, tím pravděpodobnější se historie stává hrozbou.
• Zrání: mezi O1 a O2 studenti mohou mít starší nebo vnitřní stavy, mohou se změnily, a proto rozdíly získané by připadající na tyto změny oproti X. Například, pokud americká vláda nedělá nic, aby hospodářské krize od roku 2008 a nechte krize běží její průběh (to je to, co Mitt Romney řekl), o deset let později ekonomiky může být ještě lepší. V tomto případě je problematické porovnat ekonomiku v roce 2021 a to v roce 2011, aby se zjistilo, zda je konkrétní politika účinná; spíše je správnou cestou porovnat ekonomiku v roce 2021 s celkovou (např. 2011 až 2021). V SPSS výchozí párového srovnání je na rozdíl od každého opatření s konečným měřítkem, ale to může být zavádějící. V SAS je výchozí schéma kontrastu odchylka, ve které je každé opatření porovnáno s velkým průměrem všech opatření (celkově).
• Testování: efekt dává pretest sám může ovlivnit výsledky druhé zkoušky (tj., IQ testy přijata podruhé za následek 3-5 bodu více, než ty s to poprvé). Ve společenských vědách je známo, že proces měření může změnit to, co se měří: reaktivní efekt nastává, když samotný proces testování vede spíše ke změně chování než k pasivnímu záznamu chování (reaktivita: pokud je to možné, chceme použít nereaktivní opatření).
• instrumentace: příklady jsou v hrozbách platnosti nad
• statistická regrese: nebo regrese vůči průměru. Časově obrácená kontrolní analýza a přímé zkoumání změn variability populace jsou aktivními protiopatřeními proti takovým nesprávným interpretacím výsledku. Pokud výzkumník vybírá velmi polarizované vzorek skládající se z extrémně obratný a extrémně chudé studenty, bývalá skupina může buď ukázat žádné zlepšení (stropní efekt), nebo snížit jejich skóre, a to druhé by se mohlo jevit, ukázat nějaké zlepšení. Netřeba dodávat, že tento výsledek je midleading, a opravit tento typ výkladu, mohou vědci chtějí udělat čas-obrácené (posttest-pretest) analýza analyzovat skutečné léčebné účinky. Vědci mohou také vyloučit odlehlé hodnoty z analýzy nebo upravit skóre winsorizing prostředky (tlačí odlehlé hodnoty směrem ke středu distribuce).
• Ostatní: Historie, zrání, testování, přístrojové vybavení interakce testování a zrání, interakce testování a experimentální proměnné a interakce výběru a experimentální proměnné jsou také ohrožení platnosti pro tento design.

3) Statické Skupiny Srovnání

To je dvě skupiny designu, kde jedna skupina je vystavena ošetření a výsledky jsou testovány, zatímco kontrolní skupina není vystavena na léčbu a podobně testovány s cílem porovnat účinky léčby.

X	O1
	O2

Ohrožení platnosti zahrnovat:

• Výběr: vybrané skupiny může být skutečně různorodé před jakékoliv léčby.
• úmrtnost: rozdíly mezi O1 a O2může být způsobeno mírou vypadnutí subjektů ze specifické experimentální skupiny, což by způsobilo, že skupiny budou nerovné.
• Ostatní: interakce selekce a zrání a interakce selekce a experimentální proměnné.

Tři Pravé Experimentální Designy

další tři návrhy diskutovány jsou nejvíce důrazně doporučuje návrhy:

1) Pretest-Posttest Kontrolní Skupinou Design

návrhy trvá na této formě:

R	O1	X	O2
R	O3		O4

Tento design ovládací prvky pro všech sedm ohrožení platnosti podrobně popsáno tak daleko. Vysvětlení toho, jak tento návrh řídí tyto hrozby, je níže.

• historie: to je řízeno tím, že události Obecné Historie, které mohly přispět k účinkům O1 a O2, by také vytvořily účinky O3 a O4effects. To však platí pouze tehdy, pokud je experiment prováděn specifickým způsobem: výzkumný pracovník nesmí testovat léčebné a kontrolní skupiny v různých časech a v diametrálně odlišných nastaveních, protože tyto rozdíly mohou ovlivnit výsledky. Výzkumník musí testovat kontrolní a experimentální skupiny současně. Je třeba také vzít v úvahu historii Intrasession. Například pokud jsou skupiny testovány současně, mohou být zapojeni různí experimentátoři a rozdíly mezi experimentátory mohou přispět k účinkům.

  v tomto případě je možným protiopatřením randomizace experimentálních podmínek, jako je vyvažování z hlediska experimentátora, denní doby, týdne atd.

• zrání a testování: ty jsou kontrolovány v tom smyslu, že se projevují stejně jak v léčbě, tak v kontrolní skupině.
• přístrojové vybavení: toto je řízeno tam, kde se řídí podmínky pro historii intrasession, zejména tam, kde se používají stejné testy. Pokud se však jedná o různé hodnotitele, pozorovatele nebo tazatele, stává se to potenciálním problémem. Pokud není dostatek hodnotitelů, nebo pozorovatelů být náhodně rozděleny do různých experimentálních podmínek, hodnotitelů, nebo pozorovatelů musí být slepý na účel experimentu.
• Regrese: toto je řízen na mysli rozdíly bez ohledu na extrémně skóre nebo vlastnosti, pokud léčbu a kontrolní skupiny jsou náhodně přidělena ze stejné extrémní bazén. Pokud k tomu dojde, obě skupiny budou ustupovat podobně, bez ohledu na léčbu.
• výběr: toto je řízeno randomizací.
• úmrtnost: to bylo řečeno, aby bylo řízeno v tomto designu. Pokud však není úmrtnost stejná v léčebných a kontrolních skupinách, není možné s jistotou naznačit, že úmrtnost nepřispěla k výsledkům experimentu. I když dokonce úmrtnost skutečně nastane, stále existuje možnost složitých interakcí, které mohou způsobit, že se míry poklesu účinků mezi oběma skupinami liší. Podmínky mezi oběma skupinami musí zůstat podobné: pokud se například léčebná skupina musí zúčastnit léčebného sezení, musí se kontrolní skupina také zúčastnit zasedání, kde buď nedochází k žádné léčbě,nebo k léčbě“ placebem“. I v tom však přetrvávají možnosti ohrožení platnosti. Například i přítomnost „placeba“ může přispět k účinku podobnému léčbě, léčba placebem musí být poněkud uvěřitelná, a proto může skončit s podobnými výsledky!

dosud popsané faktory ovlivňují vnitřní platnost. Tyto faktory by mohly způsobit změny, které mohou být interpretovány jako výsledek léčby. Nazývají se hlavní efekty, které byly v tomto návrhu kontrolovány, což mu dává vnitřní platnost.

Nicméně, v tomto provedení, existuje ohrožení externí validity (také volal interakce účinky, protože zahrnují léčbu a některé jiné proměnné, interakce, které způsobují ohrožení platnosti). Zde je důležité poznamenat, že vnější platnost nebo zobecnění se vždy ukáže jako extrapolace do oblasti, která není ve vzorku zastoupena.

naproti tomu vnitřní platnost je řešitelná logikou statistiky pravděpodobnosti, což znamená, že můžeme kontrolovat vnitřní platnost na základě statistiky pravděpodobnosti v rámci provedeného experimentu. Na druhou stranu, externí platnost nebo zobecnění nemůže logicky nastat, protože nemůžeme logicky extrapolovat na různá nastavení. (Hume je truismus, že indukce nebo zobecnění není nikdy logicky zcela odůvodněno).

externí hrozby zahrnují:

• interakce testování a X: protože interakce mezi předběžné zkoušky a samotná léčba může ovlivnit výsledky experimentální skupiny, je žádoucí použít design, který nepoužívá předběžné zkoušky.
• Interakce výběru a X: i když výběr je řízen za pomocí náhodně přiřazení subjektů do experimentální a kontrolní skupiny, stále existuje možnost, že účinky prokázány platí pouze pro populaci, z níž experimentální a kontrolní skupiny byly vybrány. Příkladem je výzkumník, který se snaží vybrat školy, které má pozorovat, byl však odmítnut 9 a přijat 10. Charakteristiky 10. školy se mohou výrazně lišit od ostatních 9, a proto není reprezentativní pro průměrnou školu. Proto by měl výzkumník v každé zprávě popsat studovanou populaci i všechny populace, které pozvání odmítly.
• reaktivní uspořádání: to se týká umělosti experimentálního prostředí a vědomí subjektu, že se účastní experimentu. Tato situace nereprezentuje školní prostředí nebo jakékoli přirozené prostředí a může vážně ovlivnit výsledky experimentu. K nápravě tohoto problému, experimenty by měly být zahrnuty jako varianty pravidelného osnov, testů by měly být začleněny do běžné rutinní testování, a léčba by měla být poskytována prostřednictvím pravidelných zaměstnanců s jednotlivými studenty.

výzkum by měl být prováděn ve školách tímto způsobem: nápady pro výzkum by měly pocházet od učitelů nebo jiných pracovníků školy. Návrhy tohoto výzkumu by měly být zpracovány s někým odborníkem na metodologii výzkumu, a samotný výzkum prováděný těmi, kteří přišli s výzkumným nápadem. Výsledky by měly být analyzovány odborníkem a poté konečný výklad dodán zprostředkovatelem.

testy významnosti pro tento návrh: ačkoli tento návrh může být vypracován a proveden vhodným způsobem, statistické testy významnosti se ne vždy používají vhodným způsobem.

• nesprávná statistika v běžném použití: mnoho použít t-test výpočetní dvě ts, jeden pro pre-post rozdíl v experimentální skupině a jeden pro pre-post rozdíl od kontrolní skupiny. Pokud je experimentální t-test statisticky významný na rozdíl od kontrolní skupiny, léčba má účinek. To však nebere v úvahu, jak „blízko“ mohl být t-test. Lepší postup je spustit 2X2 ANOVA opakovaných měření, testování, pre-post jako rozdíl v rámci předmětu faktor, skupina rozdíl jako mezi-téma faktor, interakce efekt obou faktorů.
• použití skóre zisku a kovariance: nejpoužívanějším testem je výpočet skóre zisku před testem pro každou skupinu a poté výpočet t-testu mezi experimentální a kontrolní skupinou na skóre zisku. Kromě toho je užitečné použít randomizované „blokování“ nebo „vyrovnání“ na skóre pretest, protože blokování může lokalizovat rozptyl uvnitř subjektu, známý také jako rozptyl chyb. Je důležité zdůraznit, že skóre zisku podléhá účinkům stropu a podlahy. V prvním případě začínají subjekty s velmi vysokým skóre pretestu a v druhém mají subjekty velmi špatný výkon. V tomto případě je analýza kovariance (ANCOVA) obvykle výhodnější než jednoduché srovnání zisku a skóre.
• Statistiky pro náhodné přiřazení neporušené učebny pro ošetření: při neporušené učebny byly přiřazeny náhodně léčby (na rozdíl od osob, které jsou přiřazeny k ošetření), třída znamená, že jsou použity jako základní pozorování, a účinky léčby jsou testovány proti kolísání těchto prostředků. Analýza kovariance by jako kovariát použila prostředky pretest.

2) V Soloman Čtyři Skupiny Design

design je jako:

R	O1	X	O2
R	O3		O4
R		X	O5
R			O6

V tomto výzkumu design, předměty jsou náhodně rozděleni do čtyř různých skupin: experimentální s oběma pre-posttesty, experimentální bez předběžného testu, kontrola s pre-posttesty a kontrola bez předběžných testů. V této konfiguraci jsou kontrolovány jak hlavní účinky testování, tak interakce testování a léčby. Výsledkem je zlepšení zobecnění a účinek X je replikován čtyřmi různými způsoby.

Statistické testy pro tento návrh: dobrý způsob, jak testovat výsledky je vyloučit pretest jako „léčba“ a léčit posttest skóre s 2X2 analýza rozptylu design-pretested proti unpretested. Alternativně lze pretest, což je forma již existujícího rozdílu, použít jako kovariát v ANCOVĚ.

3) Posttest-Pouze Kontrolní Skupiny Design

Tento design je jako:

R	X	O1
R		O2

Tento design může být viděn jako v posledních dvou skupin v Šalamounovy 4-group design. A lze je považovat za kontrolu pro testování jako hlavní efekt a interakci, ale na rozdíl od tohoto designu je neměří. Měření těchto účinků však není nutné pro ústřední otázku, zda nemá Xdid účinek. Tento návrh je vhodný pro časy, kdy pretesty nejsou přijatelné.

statistické testy pro tento návrh: nejjednodušší formou by byl t-test. Analýza kovariance a blokování proměnných subjektu (předchozí známky, výsledky testů atd.) mohou být použity, které zvyšují sílu testu významnosti podobně jako to, co poskytuje pretest.

Diskuse o kauzální inference a zobecnění

, Jak je znázorněno výše, Cook a Campbell věnoval hodně úsilí vyhnout se/snížit hrozby proti vnitřní platnosti (příčina a následek) a vnější platnosti (generalizace). Některé rozšířené pojmy však mohou přispět i jinými typy hrozeb proti vnitřní a vnější platnosti.

někteří vědci bagatelizují význam kauzálního závěru a prosazují hodnotu porozumění. Toto porozumění zahrnuje „co, „“jak,“ a “ proč.“Je však“ proč „považován za vztah“ příčiny a následku“? Pokud je položena otázka „proč se X děje“ a odpověď je „y se stane“, znamená to, že „Y způsobuje X“? Pokud jsou X a Y korelovány pouze, neřeší otázku “ proč.“Nahrazení“ příčiny a následku“ „porozuměním“ činí závěr matoucími a nesprávnými výzkumníky od otázky „vnitřní platnosti“.“

někteří vědci používají úzký přístup k “ vysvětlení.“Z tohoto pohledu je vysvětlení kontextualizováno pouze na konkrétní případ v určitém čase a místě, a proto je zobecnění považováno za nevhodné. Ve skutečnosti, příliš konkrétní vysvětlení nemusí vysvětlovat vůbec nic. Například, pokud se člověk zeptá, „Proč se Alex Yu chová tímto způsobem, „odpověď by mohla být“, protože je Alex Yu. Je to jedinečná lidská bytost. Má zvláštní rodinné zázemí a specifický sociální okruh.“Tato“ konkrétní “ tvrzení jsou vždy správná, čímž zavádějí vědce od otázky vnější platnosti.

informace z hrozeb k platnosti výzkumného návrhu Chong-ho Yu & Barbara Ohlund (2012) http://www.creative-wisdom.com/teaching/WBI/threat.shtml