ghiduri de cercetare a Bibliotecii – Biblioteca Universității din Wisconsin Ebling

trei modele experimentale

pentru a ușura lucrurile, următoarele vor acționa ca reprezentări în cadrul anumitor modele:

• X: tratament
• O: observare sau măsurare
• R: atribuire aleatorie

cele trei modele experimentale discutate în această secțiune sunt:

1) studiul de caz one Shot

există un singur grup și este studiat o singură dată. Un grup este introdus într-un tratament sau o afecțiune și apoi observat pentru modificări care sunt atribuite tratamentului

X O

problemele cu acest design sunt:

• o lipsă totală de manipulare. De asemenea, dovezile științifice sunt foarte slabe în ceea ce privește realizarea unei comparații și înregistrarea contrastelor.
• există, de asemenea, o tendință de a avea eroarea de precizie deplasată, unde cercetătorul se angajează în colectarea obositoare a detaliilor specifice, observarea atentă, testarea etc., și interpretează greșit acest lucru ca obținând cercetări solide. Cu toate acestea, o procedură detaliată de colectare a datelor nu ar trebui echivalată cu un design bun. În capitolul privind proiectarea, măsurarea și analiza, aceste trei componente se disting clar între ele.
• Istoricul, maturizarea, selecția, mortalitatea și interacțiunea dintre selecție și variabila experimentală sunt potențiale amenințări la adresa valabilității interne a acestui design.

2) Un grup de proiectare Pre-Posttest

aceasta este o prezentare a unui pretest, urmat de un tratament, și apoi un posttest în cazul în care diferența dintre O1 și O2este explicată prin X:

O1 X O2

cu toate acestea, există amenințări la validitatea afirmației de mai sus:

• Istorie: între O1 și O2 s-ar fi putut produce multe evenimente în afară de X pentru a produce diferențele de rezultate. Cu cât intervalul de timp dintre O1 și O2 este mai lung, cu atât istoria devine mai probabilă o amenințare.
• maturizare: între elevii O1 și O2 s-ar fi putut îmbătrâni sau s-ar fi putut schimba stările interne și, prin urmare, diferențele obținute ar fi atribuite acestor modificări, spre deosebire de X. De exemplu, dacă guvernul SUA nu face nimic pentru depresiunea economică începând din 2008 și lasă criza să-și urmeze cursul (așa a spus Mitt Romney), zece ani mai târziu economia poate fi în continuare îmbunătățită. În acest caz, este problematic să comparăm economia în 2021 și în 2011 să stabilim dacă o anumită politică este eficientă; mai degrabă, modalitatea corectă este de a compara economia în 2021 cu cea globală (de exemplu, 2011-2021). În SPSS, comparația implicită în perechi este de a contrasta fiecare măsură cu măsura finală, dar poate fi înșelătoare. În SAS schema de contrast implicită este abaterea, în care fiecare măsură este comparată cu Marea medie a tuturor măsurilor (în general).
• testare: efectul de a da pretest în sine poate afecta rezultatele celui de-al doilea test (adică, testele IQ efectuate a doua oară au ca rezultat o creștere de 3-5 puncte decât cele care l-au luat prima dată). În științele sociale, s-a știut că procesul de măsurare poate schimba ceea ce se măsoară: efectul reactiv apare atunci când procesul de testare în sine duce la schimbarea comportamentului, mai degrabă decât la o înregistrare pasivă a comportamentului (reactivitate: vrem să folosim măsuri nereactive atunci când este posibil).
• instrumentație: exemplele sunt în amenințări la adresa valabilității peste
• regresie statistică: sau regresie spre medie. Analiza controlului inversat în timp și examinarea directă a modificărilor variabilității populației sunt contra-măsuri proactive împotriva unor astfel de interpretări greșite ale rezultatului. Dacă cercetătorul selectează un eșantion foarte polarizat format din studenți extrem de pricepuți și extrem de săraci, fostul grup ar putea fie să nu prezinte nicio îmbunătățire (efect de plafon), fie să-și scadă scorurile, iar acesta din urmă ar putea părea să arate o oarecare îmbunătățire. Inutil să spun că acest rezultat este de mijloc și, pentru a corecta acest tip de interpretare greșită, cercetătorii ar putea dori să facă o analiză inversată în timp (posttest-pretest) pentru a analiza efectele reale ale tratamentului. Cercetătorii pot, de asemenea, să excludă valorile aberante din analiză sau să ajusteze scorurile prin winsorizarea mijloacelor (împingând valorile aberante spre centrul distribuției).
• altele: Istoricul, maturarea, testarea, interacțiunea instrumentelor de testare și maturare, interacțiunea testării și variabila experimentală și interacțiunea selecției și variabila experimentală sunt, de asemenea, amenințări la adresa validității pentru acest design.

3) comparația statică a grupului

acesta este un proiect de două grupuri, în care un grup este expus la un tratament și rezultatele sunt testate în timp ce un grup de control nu este expus la tratament și testat în mod similar pentru a compara efectele tratamentului.

X	O1
	O2

amenințările la adresa valabilității includ:

• selecție: grupurile selectate pot fi de fapt disparate înainte de orice tratament.
• mortalitate: diferențele dintre O1 și O2poate fi din cauza ratei de abandon a subiecților dintr-un grup experimental specific, ceea ce ar determina ca grupurile să fie inegale.
• altele: interacțiunea selecției și maturării și interacțiunea selecției și variabila experimentală.

trei modele experimentale adevărate

următoarele trei modele discutate sunt cele mai recomandate modele:

1) designul grupului de Control Pretest-Posttest

aceste modele iau această formă:

R	O1	X	O2
R	O3		O4

acest design controlează toate cele șapte amenințări la adresa valabilității descrise în detaliu până acum. O explicație a modului în care acest design controlează aceste amenințări este mai jos.

• istoric: acest lucru este controlat prin faptul că evenimentele istorice generale care ar fi putut contribui la efectele O1 și O2 ar produce, de asemenea, efectele O3 și O4. Cu toate acestea, acest lucru este adevărat dacă și numai dacă experimentul este rulat într-un mod specific: cercetătorul nu poate testa grupurile de tratament și control în momente diferite și în Setări foarte diferite, deoarece aceste diferențe pot influența rezultatele. Mai degrabă, cercetătorul trebuie să testeze simultan grupurile de control și experimentale. Istoria intrasesiunii trebuie, de asemenea, luată în considerare. De exemplu, dacă grupurile sunt testate în același timp, atunci ar putea fi implicați diferiți experimentatori, iar diferențele dintre experimentatori pot contribui la efecte.

  în acest caz, o posibilă contra-măsură este randomizarea condițiilor experimentale, cum ar fi contra-echilibrarea în termeni de experimentator, ora din zi, săptămână și etc.

• maturizare și testare: acestea sunt controlate în sensul că se manifestă în mod egal atât în grupurile de tratament, cât și în cele de control.
• instrumentație: aceasta este controlată acolo unde condițiile controlează Istoricul intrasesiunii, în special acolo unde sunt utilizate aceleași teste. Cu toate acestea, atunci când sunt implicați diferiți evaluatori, observatori sau intervievatori, aceasta devine o problemă potențială. Dacă nu există suficienți evaluatori sau observatori pentru a fi repartizați aleatoriu în diferite condiții experimentale, evaluatorii sau observatorii trebuie să fie orbi la scopul experimentului.
• regresie: aceasta este controlată de diferențele medii, indiferent de extremitatea scorurilor sau caracteristicilor, dacă grupurile de tratament și control sunt repartizate aleatoriu din același bazin extrem. Dacă se întâmplă acest lucru, ambele grupuri vor regresa în mod similar, indiferent de tratament.
• selecție: aceasta este controlată prin randomizare.
• mortalitate: s-a spus că acest lucru este controlat în acest design. Cu toate acestea, cu excepția cazului în care rata mortalității este egală în grupurile de tratament și control, nu este posibil să se indice cu certitudine că mortalitatea nu a contribuit la rezultatele experimentului. Chiar și atunci când chiar mortalitatea apare de fapt, rămâne o posibilitate de interacțiuni complexe care pot face ca efectele ratelor de abandon să difere între cele două grupuri. Condițiile dintre cele două grupuri trebuie să rămână similare: de exemplu, dacă grupul de tratament trebuie să participe la sesiunea de tratament, atunci grupul de control trebuie să participe și la sesiuni în care fie nu apare niciun tratament, fie apare un tratament „placebo”. Cu toate acestea, chiar și în acest caz există posibilități de amenințări la adresa valabilității. De exemplu, chiar și prezența unui „placebo” poate contribui la un efect similar tratamentului, tratamentul placebo trebuie să fie oarecum credibil și, prin urmare, poate ajunge să aibă rezultate similare!

factorii descriși până în prezent afectează validitatea internă. Acești factori ar putea produce modificări, care pot fi interpretate ca rezultat al tratamentului. Acestea se numesc efecte principale, care au fost controlate în acest design, oferindu-i valabilitate internă.

cu toate acestea, în acest design, există amenințări la adresa valabilității externe (numite și efecte de interacțiune, deoarece implică tratamentul și o altă variabilă a cărei interacțiune provoacă amenințarea valabilității). Este important de menționat aici că validitatea externă sau generalizabilitatea se dovedește întotdeauna a implica extrapolarea într-un tărâm care nu este reprezentat în eșantionul cuiva.

în schimb, validitatea internă este rezolvabilă prin logica statisticilor de probabilitate, ceea ce înseamnă că putem controla validitatea internă pe baza statisticilor de probabilitate din cadrul experimentului efectuat. Pe de altă parte, valabilitatea externă sau generalizarea nu pot apărea logic, deoarece nu putem extrapola logic la diferite setări. (Truismul lui Hume că inducția sau generalizarea nu este niciodată pe deplin justificată logic).

amenințările externe includ:

• interacțiunea dintre testare și X: deoarece interacțiunea dintre efectuarea unui pretest și tratamentul în sine poate afecta rezultatele grupului experimental, este de dorit să se utilizeze un design care nu utilizează un pretest.
• interacțiunea dintre selecție și X: deși selecția este controlată prin atribuirea aleatorie a subiecților în grupuri experimentale și de control, rămâne posibilitatea ca efectele demonstrate să fie valabile numai pentru acea populație din care au fost selectate grupurile experimentale și de control. Un exemplu este un cercetător care încearcă să selecteze școli pentru a observa, totuși a fost refuzat de 9 și acceptat de 10. Caracteristicile celei de-a 10-a școli pot fi foarte diferite de celelalte 9 și, prin urmare, nu sunt reprezentative pentru o școală medie. Prin urmare, în orice raport, cercetătorul ar trebui să descrie populația studiată, precum și orice populație care a respins invitația.
• aranjamente Reactive: aceasta se referă la artificialitatea cadrului experimental și la cunoașterea subiectului că participă la un experiment. Această situație nu este reprezentativă pentru mediul școlar sau pentru orice cadru natural și poate avea un impact serios asupra rezultatelor experimentului. Pentru a remedia această problemă, experimentele ar trebui încorporate ca variante ale curriculei obișnuite, testele ar trebui integrate în rutina normală de testare, iar tratamentul ar trebui să fie livrat de personal regulat cu studenți individuali.

cercetarea ar trebui să se desfășoare în școli în acest mod: ideile de cercetare ar trebui să provină de la profesori sau de la alt personal școlar. Proiectele pentru această cercetare ar trebui elaborate cu cineva expert în metodologia de cercetare, iar cercetarea în sine efectuată de cei care au venit cu ideea de cercetare. Rezultatele ar trebui analizate de către expert, iar apoi interpretarea finală oferită de un intermediar.

teste de semnificație pentru acest proiect: deși acest proiect poate fi dezvoltat și realizat în mod corespunzător, testele statistice de semnificație nu sunt întotdeauna utilizate în mod corespunzător.

• statistică greșită în uz comun: mulți folosesc un test t calculând două ts, unul pentru diferența pre-post în grupul experimental și unul pentru diferența pre-post a grupului de control. Dacă testul t experimental este semnificativ statistic, spre deosebire de grupul de control, se spune că tratamentul are un efect. Cu toate acestea, acest lucru nu ia în considerare cât de „aproape” ar fi putut fi cu adevărat testul T. O procedură mai bună este de a rula o 2×2 ANOVA măsuri repetate, testarea diferenței pre-post ca factor în cadrul subiectului, diferența de grup ca factor între subiect și efectul de interacțiune al ambilor factori.
• utilizarea scorurilor câștigului și a covarianței: cel mai utilizat test este de a calcula scorurile câștigului pre-posttest pentru fiecare grup și apoi de a calcula un test t între grupurile experimentale și de control pe scorurile câștigului. În plus, este util să folosiți „blocare” sau „nivelare” randomizate pe scorurile pretest, deoarece blocarea poate localiza varianța în cadrul subiectului, cunoscută și sub numele de varianța erorii. Este important să subliniem că scorurile câștigului sunt supuse efectelor tavanului și podelei. În primul subiecții încep cu un scor pretest foarte mare, iar în al doilea subiecții au performanțe pretest foarte slabe. În acest caz, analiza covarianței (ANCOVA) este de obicei preferabilă unei simple comparații câștig-scor.
• statistici pentru atribuirea aleatorie a sălilor de clasă intacte tratamentelor: atunci când sălile de clasă intacte au fost atribuite la întâmplare tratamentelor (spre deosebire de persoanele care au fost atribuite tratamentelor), mijloacele de clasă sunt utilizate ca observații de bază, iar efectele tratamentului sunt testate împotriva variațiilor acestor mijloace. O analiză a covarianței ar folosi mijloacele pretestului ca covariat.

2) Soloman patru grupuri de proiectare

design-ul este la fel de:

R	O1	X	O2
R	O3		O4
R		X	O5
R			O6

în acest design de cercetare, subiecții sunt repartizați aleatoriu în patru grupuri diferite: experimental cu ambele pre-posttests, experimental fără pretest, control cu pre-posttests și control fără pretests. În această configurație, sunt controlate atât efectele principale ale testării, cât și interacțiunea dintre testare și tratament. Ca rezultat, generalizabilitatea este îmbunătățită și efectul X este reprodus în patru moduri diferite.

teste statistice pentru acest design: o modalitate bună de a testa rezultatele este de a exclude pretestul ca „tratament” și de a trata scorurile posttest cu o analiză 2×2 a designului varianței-pretestată împotriva pretestată. Alternativ, pretestul, care este o formă de diferență preexistentă, poate fi folosit ca covariat în ANCOVA.

3) proiectarea grupului de Control Posttest numai

acest design este ca:

R	X	O1
R		O2

acest design poate fi privit ca ultimele două grupuri din designul Solomon 4-group. Și poate fi văzut ca control pentru testare ca efect principal și interacțiune, dar spre deosebire de acest design, nu le măsoară. Dar măsurarea acestor efecte nu este necesară pentru întrebarea centrală dacă nu Xdid au un efect. Acest design este potrivit pentru momentele în care pretestele nu sunt acceptabile.

teste statistice pentru acest design: cea mai simplă formă ar fi testul T. Cu toate acestea, analiza covarianței și blocarea variabilelor subiectului (note anterioare, scoruri de testare etc.) pot fi utilizate care cresc puterea testului de semnificație similar cu ceea ce este furnizat de un pretest.

discuție despre inferența cauzală și generalizare

după cum s-a ilustrat mai sus, Cook și Campbell au depus multe eforturi pentru a evita/reduce amenințările împotriva valabilității interne (cauză și efect) și valabilității externe (generalizare). Cu toate acestea, unele concepte răspândite pot contribui și la alte tipuri de amenințări la adresa validității interne și externe.

unii cercetători minimizează importanța inferenței cauzale și afirmă valoarea înțelegerii. Această înțelegere include „Ce”, „cum” și ” de ce.”Cu toate acestea,” de ce „este considerată o relație” cauză și efect”? Dacă se pune o întrebare” De ce se întâmplă X „și răspunsul este” y se întâmplă”, înseamnă că”Y provoacă X”? Dacă X și Y sunt corelate numai, nu abordează întrebarea ” de ce.”Înlocuirea” cauzei și efectului „cu” înțelegerea „face concluzia confuză și direcționează greșit cercetătorii departe de problema” validității interne.”

unii cercetători aplică o abordare îngustă „explicație.”În acest punct de vedere, o explicație este contextualizată doar la un anumit caz într-un anumit timp și loc și, prin urmare, generalizarea este considerată inadecvată. De fapt, o explicație supra-specifică ar putea să nu explice nimic. De exemplu, dacă cineva întreabă „De ce Alex Yu se comportă în acest fel”, răspunsul ar putea fi „pentru că el este Alex Yu. El este o ființă umană unică. Are un fundal familial special și un cerc social specific.”Aceste afirmații” particulare ” sunt întotdeauna corecte, îndepărtând astfel cercetătorii de problema validității externe.

informații de la amenințări la validitatea de proiectare de cercetare de Chong-ho Yu & Barbara Ohlund (2012) http://www.creative-wisdom.com/teaching/WBI/threat.shtml