Library Research Guides-University of Wisconsin Ebling Library

drie experimentele ontwerpen

om het gemakkelijker te maken, zullen de volgende als representaties binnen bepaalde ontwerpen fungeren:

• X: behandeling
• O: observatie of meting
• R: willekeurige toewijzing

de drie experimentele ontwerpen die in deze sectie worden besproken, zijn::

1) De One Shot Case Study

er is één enkele groep en deze wordt slechts één keer bestudeerd. Een groep wordt geïntroduceerd in een behandeling of aandoening en vervolgens waargenomen voor veranderingen die worden toegeschreven aan de behandeling

X O

de problemen met deze opzet zijn::

• een totaal gebrek aan manipulatie. Ook is het wetenschappelijk bewijs zeer zwak in termen van het maken van een vergelijking en het vastleggen van contrasten.
• er is ook een neiging om de misplaatste precisie te hebben, waarbij de onderzoeker zich bezighoudt met het moeizaam verzamelen van specifieke details, zorgvuldige observatie, testen, enz., en verkeerd interpreteert dit als het verkrijgen van solide onderzoek. Een gedetailleerde gegevensverzamelingsprocedure mag echter niet worden gelijkgesteld met een goede opzet. In het hoofdstuk over ontwerp, meting en analyse worden deze drie componenten duidelijk van elkaar onderscheiden.
• voorgeschiedenis, rijping, selectie, sterfte en interactie van selectie en de experimentele variabele zijn potentiële bedreigingen voor de interne validiteit van dit ontwerp.

2) Een groep Pre-Posttest ontwerp

dit is een presentatie van een pretest, gevolgd door een behandeling, en vervolgens een posttest waarbij het verschil tussen O1 en O2 wordt verklaard door X:

O1 X O2

:

• geschiedenis: tussen O1 en O2 kunnen vele gebeurtenissen behalve X hebben plaatsgevonden om de verschillen in resultaten te veroorzaken. Hoe langer de tijdspanne tussen O1 en O2, hoe waarschijnlijker geschiedenis wordt een bedreiging.
• rijping: tussen O1 en O2 studenten kunnen ouder zijn geworden of interne toestanden kunnen zijn veranderd en daarom zouden de verkregen verschillen aan deze veranderingen kunnen worden toegeschreven in tegenstelling tot X. Bijvoorbeeld, als de regering van de VS doet niets aan de economische depressie vanaf 2008 en laat de crisis loopt zijn beloop (Dit is wat Mitt Romney zei), tien jaar later kan de economie nog steeds worden verbeterd. In dit geval is het problematisch om de economie in 2021 te vergelijken en dat in 2011 om te bepalen of een bepaald beleid effectief is; de juiste manier is om de economie in 2021 te vergelijken met de totale economie (bv. 2011-2021). In SPSS is de standaard paarsgewijze vergelijking het contrast van elke maat met de uiteindelijke maat, maar het kan misleidend zijn. In SAS is het standaard contrastschema deviatie, waarbij elke maat wordt vergeleken met het grootgemiddelde van alle maten (Totaal).
• testen: het effect van het geven van de pretest zelf kan de resultaten van de tweede test beïnvloeden (IQ-tests die een tweede keer worden uitgevoerd, resulteren in een stijging van 3-5 punten dan die welke de eerste keer worden uitgevoerd). In de sociale wetenschappen is bekend dat het proces van meten kan veranderen wat wordt gemeten: het reactieve effect treedt op wanneer het testproces zelf leidt tot de verandering in gedrag in plaats van dat het een passieve registratie van gedrag is (reactiviteit: we willen waar mogelijk niet-reactieve maatregelen gebruiken).
• instrumentatie: voorbeelden zijn in validiteitsbedreigingen boven
• statistische regressie: of regressie naar het gemiddelde. Tijdreversed control analyse en direct onderzoek naar veranderingen in populatievariabiliteit zijn proactieve tegenmaatregelen tegen dergelijke verkeerde interpretaties van het resultaat. Als de onderzoeker selecteert een zeer Gepolariseerde steekproef bestaande uit zeer bekwame en uiterst arme studenten, de voormalige groep kan ofwel vertonen geen verbetering (plafond effect) of verlagen hun scores, en de laatste kan lijken te vertonen enige verbetering. Onnodig te zeggen, dit resultaat is midleading, en om dit soort misinterpretatie te corrigeren, willen onderzoekers mogelijk een time-reversed (posttest-pretest) analyse doen om de ware behandelingseffecten te analyseren. Onderzoekers kunnen ook uitschieters uitsluiten van de analyse of om de scores aan te passen door winsorizing de middelen (duwen de uitschieters naar het centrum van de distributie).
• Overige: geschiedenis, rijping, testen, instrumentatie interactie van testen en rijping, interactie van testen en de experimentele variabele en de interactie van selectie en de experimentele variabele zijn ook bedreigingen voor de validiteit voor dit ontwerp.

3) De statische Groepsvergelijking

dit is een opzet van twee groepen, waarbij één groep aan een behandeling wordt blootgesteld en de resultaten worden getest terwijl een controlegroep niet aan de behandeling wordt blootgesteld en op soortgelijke wijze wordt getest om de effecten van de behandeling te vergelijken.

X	O1
	O2

bedreigingen voor de validiteit zijn onder meer:

• selectie: geselecteerde groepen kunnen voorafgaand aan een behandeling eigenlijk ongelijksoortig zijn.
• mortaliteit: de verschillen tussen O1 en O2 kunnen het gevolg zijn van het uitvalpercentage van proefpersonen uit een specifieke experimentele groep, waardoor de groepen ongelijk zouden zijn.
• Overige: interactie van selectie en rijping en interactie van selectie en de experimentele variabele.

drie echte experimentele ontwerpen

de volgende drie besproken ontwerpen zijn de meest aanbevolen ontwerpen:

1) Het ontwerp van de Pretest-Posttest-controlegroep

dit ontwerp neemt deze vorm aan:

R	A1	X	O2
R	O3		O4

Dit ontwerp controles voor elk van de zeven bedreigingen voor de validiteit in detail beschreven zo ver. Hieronder volgt een uitleg van hoe dit ontwerp deze bedreigingen controleert.

• geschiedenis: Dit wordt gecontroleerd in die zin dat de gebeurtenissen in de algemene geschiedenis die mogelijk hebben bijgedragen aan de O1-en O2-effecten ook de O3-en O4-effecten zouden veroorzaken. Dit is echter alleen waar als het experiment op een specifieke manier wordt uitgevoerd: de onderzoeker kan de behandelings-en controlegroepen niet op verschillende tijdstippen en in zeer verschillende instellingen testen aangezien deze verschillen de resultaten kunnen beà nvloeden. In plaats daarvan moet de onderzoeker de controle-en experimentele groepen gelijktijdig testen. Ook moet rekening worden gehouden met de intrasessiegeschiedenis. Als de groepen bijvoorbeeld tegelijkertijd worden getest, kunnen er verschillende onderzoekers bij betrokken zijn en kunnen de verschillen tussen de onderzoekers tot de effecten bijdragen.

  in dit geval is een mogelijke tegenmaat de randomisatie van experimentele omstandigheden, zoals contrabalancering in termen van onderzoeker, tijd van de dag, week en enz.

• rijping en testen: deze worden gecontroleerd in die zin dat zij zich zowel in de behandelings-als in de controlegroep gelijkelijk manifesteren.
• instrumentatie: dit wordt geregeld wanneer de omstandigheden de intrasessiegeschiedenis controleren, in het bijzonder wanneer dezelfde tests worden gebruikt. Wanneer echter verschillende raters, waarnemers of interviewers betrokken zijn, wordt dit een potentieel probleem. Als er niet genoeg raters of waarnemers zijn om willekeurig aan verschillende experimentele omstandigheden te worden toegewezen, moeten de raters of waarnemers blind zijn voor het doel van het experiment.
• regressie: dit wordt gecontroleerd door de gemiddelde verschillen ongeacht de extreem van scores of kenmerken, als de behandelings-en controlegroepen willekeurig worden toegewezen uit dezelfde extreme pool. Als dit gebeurt, zullen beide groepen op dezelfde manier achteruitgaan, ongeacht de behandeling.
• selectie: dit wordt gecontroleerd door randomisatie.
• mortaliteit: dit zou worden gecontroleerd in dit ontwerp. Tenzij het sterftecijfer in de behandelings-en controlegroepen gelijk is, is het echter niet mogelijk met zekerheid aan te geven dat de sterftecijfers niet tot de resultaten van het experiment hebben bijgedragen. Zelfs wanneer zelfs de sterfte daadwerkelijk optreedt, blijft er een mogelijkheid van complexe interacties waardoor de effecten uitvalpercentages tussen de twee groepen kunnen verschillen. De omstandigheden tussen de twee groepen moeten vergelijkbaar blijven: als de behandelingsgroep bijvoorbeeld de behandelingssessie moet bijwonen, moet de controlegroep ook sessies bijwonen waarbij ofwel geen behandeling plaatsvindt, ofwel een “placebo” – behandeling plaatsvindt. Maar zelfs hierin blijven er mogelijkheden van bedreigingen voor de validiteit. Bijvoorbeeld, zelfs de aanwezigheid van een” placebo ” kan bijdragen aan een effect vergelijkbaar met de behandeling, de placebo behandeling moet enigszins geloofwaardig zijn en daarom kan eindigen met soortgelijke resultaten!

de tot nu toe beschreven factoren beïnvloeden de interne validiteit. Deze factoren kunnen veranderingen veroorzaken, die kunnen worden geïnterpreteerd als het resultaat van de behandeling. Deze worden genoemd belangrijkste effecten, die zijn gecontroleerd in dit ontwerp waardoor het interne geldigheid.

echter, in dit ontwerp zijn er bedreigingen voor de externe validiteit (ook wel interactie-effecten genoemd omdat ze de behandeling en een andere variabele omvatten waarvan de interactie de validiteit bedreigt). Het is belangrijk om hier op te merken dat externe validiteit of generalizability altijd extrapolatie blijkt te impliceren in een gebied dat niet wordt weergegeven in iemands steekproef.

daarentegen is de interne validiteit oplosbaar door de logica van waarschijnlijkheidsstatistieken, wat betekent dat we interne validiteit kunnen controleren op basis van waarschijnlijkheidsstatistieken binnen het uitgevoerde experiment. Aan de andere kant, externe validiteit of generalizability kan niet logisch optreden omdat we niet logisch kunnen extrapoleren naar verschillende instellingen. (Hume ‘ s waarheid dat inductie of generalisatie nooit volledig logisch gerechtvaardigd is).

externe bedreigingen omvatten:

• interactie van testen en X: omdat de interactie tussen het nemen van een pretest en de behandeling zelf de resultaten van de experimentele groep kan beïnvloeden, is het wenselijk om een ontwerp te gebruiken dat geen pretest gebruikt.
• interactie van selectie en X: hoewel selectie wordt gecontroleerd door willekeurig proefpersonen toe te wijzen aan experimentele en controlegroepen, blijft de mogelijkheid bestaan dat de aangetoonde effecten alleen gelden voor die populatie waaruit de experimentele en controlegroepen werden geselecteerd. Een voorbeeld is een onderzoeker die probeert scholen te selecteren om te observeren, maar is afgewezen door 9, en geaccepteerd door de 10e. De kenmerken van de 10e school kunnen sterk verschillen van de andere 9, en daarom niet representatief zijn voor een gemiddelde school. Daarom moet de onderzoeker in elk rapport zowel de bestudeerde populatie beschrijven als alle populaties die de uitnodiging hebben afgewezen.
• reactieve arrangementen: dit verwijst naar de kunstmatigheid van de experimentele setting en de kennis van de proefpersoon dat hij deelneemt aan een experiment. Deze situatie is niet representatief voor de school setting of een natuurlijke setting, en kan ernstige gevolgen hebben voor de resultaten van het experiment. Om dit probleem op te lossen, moeten experimenten worden opgenomen als varianten van de reguliere curricula, tests moeten worden geïntegreerd in de normale testroutine, en de behandeling moet worden geleverd door regelmatig personeel met individuele studenten.

onderzoek moet op deze manier op scholen worden uitgevoerd: ideeën voor onderzoek moeten afkomstig zijn van leraren of ander schoolpersoneel. De ontwerpen voor dit onderzoek moeten worden uitgewerkt met een expert op het gebied van onderzoeksmethodologie, en het onderzoek zelf uitgevoerd door degenen die met het onderzoeksidee kwamen. Resultaten moeten worden geanalyseerd door de deskundige, en vervolgens de uiteindelijke interpretatie geleverd door een tussenpersoon.

significantieproeven voor dit ontwerp: hoewel dit ontwerp op de juiste wijze kan worden ontwikkeld en uitgevoerd, worden statistische significantieproeven niet altijd op de juiste wijze gebruikt.

• verkeerde statistiek in algemeen gebruik: velen gebruiken een t-test door twee T ‘ s te berekenen, één voor het pre-post verschil in de experimentele groep en één voor het pre-post verschil in de controlegroep. Als de experimentele t-test statistisch significant is in tegenstelling tot de controlegroep, zou de behandeling een effect hebben. Dit houdt echter geen rekening met hoe “dichtbij” de T-test werkelijk kan zijn geweest. Een betere procedure is het uitvoeren van een 2×2 ANOVA herhaalde metingen, het testen van het pre-post verschil als de binnen-subject factor, het groepsverschil als de tussen-subject factor, en het interactie-effect van beide factoren.
• gebruik van versterkingsscores en covariantie: de meest gebruikte test is het berekenen van pre-posttest versterkingsscores voor elke groep en vervolgens het berekenen van een t-test tussen de experimentele en de controlegroepen op de versterkingsscores. Daarnaast is het handig om gerandomiseerde “blocking” of “leveling” te gebruiken op pretest scores omdat blokkeren de binnen-onderwerp variantie kan lokaliseren, ook bekend als de fout variantie. Het is belangrijk om erop te wijzen dat de winst scores zijn onderworpen aan het plafond en vloer effecten. In de eerste beginnen de proefpersonen met een zeer hoge pretest score en in de tweede hebben de proefpersonen zeer slechte pretest prestaties. In dit geval is analyse van covariantie (ANCOVA) meestal beter dan een eenvoudige gain-score vergelijking.
• statistieken voor het willekeurig toewijzen van intacte klaslokalen aan behandelingen: wanneer intacte klaslokalen willekeurig zijn toegewezen aan behandelingen (in tegenstelling tot individuen die worden toegewezen aan behandelingen), worden klassemiddelen gebruikt als basiswaarnemingen en worden de behandelingseffecten getest op variaties in deze gemiddelden. Een covariantie analyse zou pretest middelen gebruiken als de covariante.

2) De Soloman Four-Group Design

Het ontwerp is als:

R	A1	X	O2
R	O3		O4
R		X	O5
R			O6

In dit onderzoek zijn de proefpersonen zijn willekeurig toegewezen in vier verschillende groepen: experimenteel met beide pre-posttesten, experimenteel zonder pretest, controle met pre-posttesten en controle zonder pretest. In deze configuratie worden zowel de belangrijkste effecten van het testen als de interactie van het testen en de behandeling gecontroleerd. Hierdoor wordt de generaliseerbaarheid verbeterd en wordt het effect van X op vier verschillende manieren gerepliceerd.

statistische tests voor dit ontwerp: een goede manier om de resultaten te testen is het uitsluiten van de pretest als een “behandeling” en het behandelen van de posttest scores met een 2×2 analyse van variantie ontwerp-preteste tegen niet-preteste. Als alternatief kan de pretest, die een vorm van reeds bestaand verschil is, worden gebruikt als covariant in ANCOVA.

3) De Posttest-Only Control Group Design

Dit ontwerp is als:

R	X	A1
R		O2

Dit ontwerp kan beschouwd worden als de laatste twee groepen in de Salomon 4-group design. En kan worden gezien als controle voor testen als belangrijkste effect en interactie, maar in tegenstelling tot dit ontwerp, meet het ze niet. Maar het meten van deze effecten is niet nodig om de centrale vraag of van niet Xdid een effect hebben. Dit ontwerp is geschikt voor tijden waarin pretests niet aanvaardbaar zijn.

statistische tests voor dit ontwerp: de meest eenvoudige vorm zou de t-test zijn. Covariantieanalyse en blokkering van variabelen van het onderwerp (voorafgaande cijfers, testscores, enz.) kan worden gebruikt die de kracht van de significantie test verhogen op dezelfde manier als wat wordt geleverd door een pretest.

discussie over causale gevolgtrekking en generalisatie

zoals hierboven geïllustreerd, hebben Cook en Campbell veel inspanningen geleverd om de bedreigingen tegen interne validiteit (oorzaak en gevolg) en externe validiteit (generalisatie) te voorkomen/te verminderen. Sommige wijdverbreide Concepten kunnen echter ook andere vormen van bedreiging van de interne en externe validiteit opleveren.

sommige onderzoekers bagatelliseren het belang van causale gevolgtrekking en bevestigen de waarde van begrip. Dit begrip omvat “wat”, ” hoe ” en “waarom”.”Echter, wordt” waarom “beschouwd als een” oorzaak en gevolg ” relatie? Als een vraag “waarom x gebeurt” wordt gesteld en het antwoord is “Y gebeurt”, betekent dit dan dat “Y X veroorzaakt”? Als X en Y alleen gecorreleerd zijn, wordt niet ingegaan op de vraag “waarom.”Het vervangen van ” oorzaak en gevolg” met “begrip” maakt de conclusie verwarrend en misleiding onderzoekers weg van de kwestie van de “interne validiteit.”

sommige onderzoekers hanteren een enge benadering van ” uitleg.”In deze visie, een verklaring wordt contextualiseerd om alleen een bepaald geval in een bepaalde tijd en plaats, en dus generalisatie wordt als ongepast beschouwd. In feite kan een te specifieke verklaring misschien helemaal niets verklaren. Als men bijvoorbeeld vraagt: “Waarom gedraagt Alex Yu zich op die manier,” zou het antwoord kunnen zijn: “omdat hij Alex Yu is. Hij is een uniek mens. Hij heeft een bijzondere familieachtergrond en een specifieke sociale kring.”Deze” bijzondere ” verklaringen zijn altijd goed, waardoor misleiden onderzoekers weg van de kwestie van externe validiteit.

informatie over bedreigingen voor de geldigheid van onderzoeksopzet door Chong-ho Yu & Barbara Ohlund (2012) http://www.creative-wisdom.com/teaching/WBI/threat.shtml