könyvtári kutatási útmutatók – Wisconsini Egyetem Ebling Könyvtár

három kísérleti terv

a dolgok megkönnyítése érdekében a következők reprezentációként működnek az adott terveken belül:

• X: kezelés
• O: megfigyelés vagy mérés
• R: véletlenszerű hozzárendelés

az ebben a szakaszban tárgyalt három kísérleti terv a következő:

1) Az egy lövés esettanulmány

egyetlen csoport van, és csak egyszer tanulmányozzák. Egy csoportot bevezetnek egy kezelésbe vagy állapotba, majd megfigyelik azokat a változásokat, amelyek a kezelésnek tulajdoníthatók

X O

ennek a kialakításnak a problémái a következők:

• a manipuláció teljes hiánya. Emellett a tudományos bizonyítékok nagyon gyengék az összehasonlítás és a kontrasztok rögzítése szempontjából.
• az a tendencia is fennáll, hogy a helytelen pontosság tévedése van, ahol a kutató konkrét részletek unalmas gyűjtésével, gondos megfigyeléssel, teszteléssel stb., és ezt félreértelmezi, mint szilárd kutatás megszerzését. A részletes adatgyűjtési eljárást azonban nem szabad egyenlővé tenni a jó tervezéssel. A tervezésről, mérésről és elemzésről szóló fejezetben ez a három összetevő egyértelműen megkülönböztethető egymástól.
• a történelem, az érés, a szelekció, a halandóság és a szelekció és a kísérleti változó kölcsönhatása potenciális veszélyt jelent e terv belső érvényességére.

2) egy csoport Pre-Posttest tervezés

ez egy elővizsgálat bemutatása, amelyet egy kezelés követ, majd egy posttest, ahol az O1 és az O2 közötti különbség X-vel magyarázható:

O1 X O2

a fenti állítás érvényességét azonban fenyegetések fenyegetik:

• történelem: az O1 és O2 között sok esemény történhetett az X-en kívül, hogy az eredmények eltérjenek. Minél hosszabb az O1 és O2 közötti idő, annál valószínűbb, hogy a történelem fenyegetéssé válik.
• érés: az O1 és az O2 között a diákok idősebbek lehetnek, vagy a belső állapotok megváltozhatnak, ezért a kapott különbségek ezeknek a változásoknak tulajdoníthatók, szemben az X-szel. Például, ha az Egyesült Államok kormánya nem tesz semmit a 2008-tól kezdődő gazdasági válsággal, és hagyja, hogy a válság folyjon (ezt mondta Mitt Romney), tíz évvel később a gazdaság még mindig javulhat. Ebben az esetben problematikus összehasonlítani a gazdaságot 2021-ben és 2011-ben annak meghatározása érdekében, hogy egy adott politika hatékony-e; inkább a helyes út az, ha összehasonlítjuk a gazdaságot 2021-ben az összessel (például 2011-2021). Az SPSS-ben az alapértelmezett páros összehasonlítás az, hogy az egyes mértékeket szembeállítják a végső mértékkel, de félrevezető lehet. Az SAS-ben az alapértelmezett kontrasztséma az eltérés, amelyben minden mértéket összehasonlítanak az összes mérték nagy átlagával (összességében).
• tesztelés: maga az elővizsgálat hatása befolyásolhatja a második teszt eredményét (azaz a második alkalommal elvégzett IQ tesztek 3-5 pont növekedést eredményeznek, mint az első alkalommal). A társadalomtudományokban ismert, hogy a mérési folyamat megváltoztathatja a mérést: a reaktív hatás akkor fordul elő, amikor maga a tesztelési folyamat a viselkedés megváltozásához vezet, nem pedig a viselkedés passzív nyilvántartása (reaktivitás: ha lehetséges, nem reaktív intézkedéseket akarunk használni).
• Műszerezés: a példák a
• statisztikai regresszió feletti érvényességet fenyegetik: vagy regresszió az átlag felé. Az időben fordított kontrollelemzés és a populációs variabilitás változásainak közvetlen vizsgálata proaktív ellenintézkedések az eredmény ilyen félreértelmezései ellen. Ha a kutató kiválaszt egy nagyon polarizált mintát, amely rendkívül ügyes és rendkívül szegény tanulókból áll, az előbbi csoport vagy nem mutat javulást (plafonhatás), vagy csökkentheti pontszámait, az utóbbi pedig némi javulást mutathat. Mondanom sem kell, hogy ez az eredmény középvezető, és az ilyen típusú félreértelmezés kijavítása érdekében a kutatók időt fordított (posttest-pretest) elemzést végezhetnek a valódi kezelési hatások elemzésére. A kutatók kizárhatják a kiugró értékeket az elemzésből, vagy módosíthatják a pontszámokat az eszközök winsorizálásával (a kiugró értékeket az eloszlás középpontja felé tolva).
• Egyéb: történelem, érés, tesztelés, a tesztelés és érés műszerezési kölcsönhatása, a tesztelés és a kísérleti változó kölcsönhatása, valamint a szelekció és a kísérleti változó kölcsönhatása szintén veszélyezteti a tervezés érvényességét.

3) a statikus csoport összehasonlítás

ez egy kétcsoportos kialakítás, ahol az egyik csoport ki van téve egy kezelésnek, és az eredményeket tesztelik, míg a kontrollcsoport nincs kitéve a kezelésnek, és hasonlóan tesztelik a kezelés hatásainak összehasonlítása érdekében.

X	O1
	O2

az érvényességet fenyegető veszélyek a következők:

• kiválasztás: a kiválasztott csoportok valóban eltérhetnek bármilyen kezelés előtt.
• halálozás: az O1 és O2 közötti különbségek oka lehet, hogy egy adott kísérleti csoportból származó alanyok lemorzsolódnak, ami a csoportok egyenlőtlenségét okozná.
• egyéb: a szelekció és érés kölcsönhatása, valamint a szelekció és a kísérleti változó kölcsönhatása.

három valódi kísérleti terv

a következő három terv a leginkább ajánlott tervek:

1) A Pretest-Posttest kontrollcsoport tervezése

ez a terv ebben a formában van:

R	O1	X	O2
R	O3		O4

ez a kialakítás az eddig részletesen ismertetett mind a hét érvényességi fenyegetést szabályozza. Az alábbiakban bemutatjuk, hogy ez a terv hogyan szabályozza ezeket a fenyegetéseket.

• előzmények: ezt úgy szabályozzuk, hogy az Általános történeti események, amelyek hozzájárulhattak az O1 és O2 hatásokhoz, az O3 és O4 hatásokat is előidézik. Ez azonban csak akkor igaz, ha a kísérletet meghatározott módon futtatják: a kutató nem tesztelheti a kezelést és a kontrollcsoportokat különböző időpontokban és nagymértékben eltérő körülmények között, mivel ezek a különbségek befolyásolhatják az eredményeket. Ehelyett a kutatónak egyszerre kell tesztelnie a kontroll és a kísérleti csoportokat. Az Intrasession történetét is figyelembe kell venni. Például, ha a csoportokat egyszerre tesztelik, akkor különböző kísérletezők is részt vehetnek, és a kísérletezők közötti különbségek hozzájárulhatnak a hatásokhoz.

  ebben az esetben egy lehetséges ellenmérés a kísérleti körülmények randomizálása, például a kísérletező, a napszak, a hét stb.

• érés és tesztelés: ezeket abban az értelemben kontrollálják, hogy mind a kezelési, mind a kontrollcsoportban egyformán manifesztálódnak.
• műszerek: ez akkor vezérelhető, ha a körülmények szabályozzák az intrasession előzményeit, különösen akkor, ha ugyanazokat a teszteket használják. Ha azonban különböző értékelők, megfigyelők vagy kérdezőbiztosok vesznek részt, ez potenciális problémává válik. Ha nincs elegendő értékelő vagy megfigyelő ahhoz, hogy véletlenszerűen hozzárendeljék a különböző kísérleti körülményekhez, az értékelőknek vagy megfigyelőknek vaknak kell lenniük a kísérlet célját illetően.
• regresszió: ezt az átlagos különbségek szabályozzák, függetlenül a pontszámoktól vagy a jellemzőktől, ha a kezelést és a kontrollcsoportokat véletlenszerűen osztják ki ugyanabból a szélsőséges készletből. Ha ez bekövetkezik, mindkét csoport hasonlóan regresszálódik, a kezeléstől függetlenül.
• kiválasztás: ezt randomizálás vezérli.
• halálozás: azt mondták, hogy ezt a kialakítást ellenőrzik. Azonban, hacsak a halálozási arány nem egyenlő a kezelésben és a kontrollcsoportokban, nem lehet bizonyossággal jelezni, hogy a mortalitás nem járult hozzá a kísérlet eredményeihez. Még akkor is, ha még a halálozás is bekövetkezik, továbbra is fennáll a komplex kölcsönhatások lehetősége, amelyek miatt a hatások lemorzsolódási aránya eltérhet a két csoport között. A két csoport közötti feltételeknek hasonlónak kell maradniuk: például, ha a kezelési csoportnak részt kell vennie a kezelési ülésen, akkor a kontrollcsoportnak is részt kell vennie olyan üléseken, ahol vagy nincs kezelés, vagy “placebo” kezelés történik. Azonban még ebben is fennáll az érvényesség fenyegetésének lehetősége. Például még a “placebo” jelenléte is hozzájárulhat a kezeléshez hasonló hatáshoz, a placebo kezelésnek kissé hihetőnek kell lennie, ezért hasonló eredményekkel járhat!

az eddig leírt tényezők befolyásolják a belső érvényességet. Ezek a tényezők változásokat idézhetnek elő, amelyek a kezelés eredményeként értelmezhetők. Ezeket fő hatásoknak nevezzük, amelyeket ebben a kialakításban ellenőriztek, így belső érvényességet biztosítva.

ebben a kialakításban azonban vannak fenyegetések a külső érvényességre (interakciós hatásoknak is nevezik, mert magukban foglalják a kezelést és néhány más változót, amelyek kölcsönhatása veszélyezteti az érvényességet). Fontos itt megjegyezni, hogy a külső érvényesség vagy általánosíthatóság mindig extrapolációt jelent egy olyan területre, amely nem szerepel a mintában.

ezzel szemben a belső érvényesség megoldható a valószínűségi statisztikák logikájával, ami azt jelenti, hogy a belső érvényességet az elvégzett kísérleten belüli valószínűségi statisztikák alapján ellenőrizhetjük. Másrészt a külső érvényesség vagy általánosíthatóság logikusan nem fordulhat elő, mert logikusan nem tudjuk extrapolálni a különböző beállításokat. (Hume truizmusa, miszerint az indukció vagy az általánosítás logikailag soha nem igazolható teljesen).

külső fenyegetések:

• a tesztelés és az X kölcsönhatása: mivel az elővizsgálat elvégzése és maga a kezelés közötti kölcsönhatás befolyásolhatja a kísérleti csoport eredményeit, kívánatos olyan tervet alkalmazni, amely nem alkalmaz elővizsgálatot.
• a szelekció és az X kölcsönhatása: bár a szelekciót az alanyok kísérleti és kontrollcsoportokba történő véletlenszerű hozzárendelésével szabályozzák, továbbra is fennáll annak a lehetősége, hogy a kimutatott hatások csak arra a populációra érvényesek, amelyből a kísérleti és kontrollcsoportokat kiválasztották. Példa erre egy kutató, aki megpróbálja kiválasztani a megfigyelendő iskolákat, azonban 9-en elutasították, 10-én pedig elfogadták. A 10.iskola jellemzői jelentősen eltérhetnek a többi 9-től, ezért nem reprezentatívak egy átlagos iskolára. Ezért minden jelentésben a kutatónak le kell írnia a vizsgált populációt, valamint azokat a populációkat, amelyek elutasították a meghívást.
• reaktív elrendezések: ez a kísérleti környezet mesterségességére és az alany tudására utal, hogy részt vesz egy kísérletben. Ez a helyzet nem reprezentálja az iskolai környezetet vagy bármely természetes környezetet, és komolyan befolyásolhatja a kísérlet eredményeit. A probléma orvoslása érdekében a kísérleteket be kell építeni a rendszeres tantervek változataiként, a teszteket be kell építeni a normál tesztelési rutinba, és a kezelést a rendszeres személyzetnek kell elvégeznie az egyes hallgatókkal.

a kutatást az iskolákban így kell végezni: a kutatási ötleteknek tanároktól vagy más iskolai személyzettől kell származniuk. Ennek a kutatásnak a terveit a kutatási módszertan szakértőjével kell kidolgozni, magát a kutatást pedig azok végzik, akik a kutatási ötlettel álltak elő. Az eredményeket a szakértőnek kell elemeznie, majd a közvetítő által adott végső értelmezést.

szignifikanciatesztek ehhez a kialakításhoz: bár ez a kialakítás megfelelő módon kidolgozható és elvégezhető, a szignifikancia statisztikai teszteket nem mindig használják megfelelően.

• helytelen statisztika a közhasználatban: sokan t-tesztet használnak két ts kiszámításával, egyet a kísérleti csoport poszt előtti különbségére, egyet pedig a kontrollcsoport poszt előtti különbségére. Ha a kísérleti t-teszt statisztikailag szignifikáns, szemben a kontroll csoporttal, a kezelésnek állítólag van hatása. Ez azonban nem veszi figyelembe, hogy a t-teszt valóban “szoros” volt. Jobb eljárás egy 2×2 ANOVA ismételt mérés futtatása, tesztelve a poszt előtti különbséget mint az alanyon belüli tényezőt, a csoportkülönbséget mint az alany közötti tényezőt, valamint mindkét tényező interakciós hatását.
• Gain pontszámok és kovariancia használata: a leggyakrabban használt teszt az egyes csoportok pre-posttest gain pontszámainak kiszámítása, majd a kísérleti és a kontroll csoportok közötti t-teszt kiszámítása az gain pontszámokra. Ezenkívül hasznos a randomizált “blokkolás” vagy “szintezés” használata az elővizsgálati pontszámokon, mert a blokkolás lokalizálhatja a tárgyon belüli varianciát, más néven hiba varianciát. Fontos kiemelni, hogy a nyereség pontszámok a mennyezet és a padló hatásaitól függenek. Az előbbiben az alanyok nagyon magas elővizsgálati pontszámmal indulnak, az utóbbiban az alanyok nagyon gyenge elővizsgálati teljesítménnyel rendelkeznek. Ebben az esetben a kovariancia (ANCOVA) elemzése általában előnyösebb, mint egy egyszerű nyereség-pontszám összehasonlítás.
• statisztikák az ép osztálytermek kezelésekhez való véletlenszerű hozzárendeléséhez: amikor az ép osztálytermeket véletlenszerűen rendelték a kezelésekhez (szemben a kezelésekhez rendelt egyénekkel), az osztályeszközöket használják alapvető megfigyelésként, és a kezelési hatásokat ezen eszközök variációival tesztelik. A kovariancia elemzés kovariánsként az elővizsgálati eszközöket használná.

2) A Soloman Négycsoportos tervezés

a tervezés olyan, mint:

R	O1	X	O2
R	O3		O4
R		X	O5
R			O6

ebben a kutatási tervben az alanyokat véletlenszerűen négy különböző csoportba sorolják: kísérleti mindkét pre-posttests, kísérleti nélkül pretest, ellenőrzés pre-posttests, és ellenőrzés nélkül pretests. Ebben a konfigurációban mind a tesztelés fő hatásait, mind a tesztelés és a kezelés kölcsönhatását ellenőrzik. Ennek eredményeként az általánosíthatóság javul, és az X hatása négy különböző módon replikálódik.

statisztikai tesztek ehhez a tervezéshez: az eredmények tesztelésének jó módja az, ha kizárjuk az elővizsgálatot “kezelésként”, és a posttest pontszámokat 2×2 varianciaanalízissel kezeljük-elővizsgálva az igénytelen ellen. Alternatív megoldásként az elővizsgálat, amely a már létező különbség egyik formája, kovariánsként használható ANCOVA-ban.

3) A Posttest csak kontrollcsoport kialakítása

ez a kialakítás olyan, mint:

R	X	O1
R		O2

ez a kialakítás a Salamon 4-Csoportos terv utolsó két csoportjának tekinthető. És úgy tekinthető, mint a tesztelés fő hatása és kölcsönhatása, de ellentétben ezzel a kialakítással, nem méri őket. De ezeknek a hatásoknak a mérése nem szükséges ahhoz a központi kérdéshez, hogy az Xdid-nek nincs-e hatása. Ez a kialakítás alkalmas olyan időkre, amikor az elővizsgálatok nem elfogadhatók.

statisztikai tesztek ehhez a tervezéshez: a legegyszerűbb forma a t-teszt lenne. A kovariancia elemzése és blokkolása a tárgyváltozókon (korábbi osztályzatok, teszteredmények stb.) használhatók, amelyek növelik a szignifikancia teszt erejét, hasonlóan ahhoz, amit egy elővizsgálat biztosít.

vita az ok-okozati következtetésről és az általánosításról

szakács és Campbell nagy erőfeszítéseket tett a belső érvényesség (ok-okozat) és a külső érvényesség (általánosítás) elleni fenyegetések elkerülésére/csökkentésére. Egyes széles körben elterjedt fogalmak azonban hozzájárulhatnak a belső és külső érvényesség elleni más típusú fenyegetésekhez is.

egyes kutatók alábecsülik az ok-okozati következtetés fontosságát, és megerősítik a megértés értékét. Ez a megértés magában foglalja a “mit”, “hogyan” és “miért”.”A” miért “azonban” ok-okozati ” kapcsolatnak tekinthető? Ha felteszünk egy kérdést, hogy “miért történik X”, és a válasz “Y történik”, az azt jelenti, hogy”Y okozza X-et”? Ha X és Y csak korrelál, akkor nem foglalkozik a “miért” kérdéssel.”Az” ok-okozat “helyettesítése a” megértéssel “a következtetést összezavarja és félrevezeti a kutatókat a “belső érvényesség” kérdésétől.”

egyes kutatók szűk megközelítést alkalmaznak a “magyarázatra”.”Ebben a nézetben a magyarázat csak egy adott esetre vonatkozik egy adott időben és helyen, ezért az általánosítás nem megfelelő. Valójában, egy túl specifikus magyarázat lehet, hogy egyáltalán nem magyaráz meg semmit. Például, ha valaki azt kérdezi: “miért viselkedik Alex Yu így”, a válasz az lehet, hogy “mert ő Alex Yu. Ő egy egyedülálló emberi lény. Sajátos családi háttérrel és sajátos társadalmi körrel rendelkezik.”Ezek a” konkrét ” állítások mindig helyesek, ezáltal félrevezetik a kutatókat a külső érvényesség kérdésétől.

Chong-ho Yu kutatási tervének érvényességét fenyegető információk & Barbara Ohlund (2012) http://www.creative-wisdom.com/teaching/WBI/threat.shtml