図書館研究ガイド-ウィスコンシン大学エブリングライブラリ

三つの実験デザイン

物事を容易にするために、以下は特定のデザイン内の表現として機能します。

• X:治療
• O:観察または測定
• R:ランダム割り当て

このセクションで議論されている三つの実験計画は次のとおりです:

1)ワンショットケーススタディ

一つのグループがあり、一度だけ研究されています。 グループは治療または状態に導入され、治療に起因する変化が観察されます

X O

この設計の問題は次のとおりです:

• 操作の完全な欠如。 また、科学的証拠は、比較を行い、コントラストを記録するという点で非常に弱い。
• また、研究者が特定の詳細、慎重な観察、テストなどの退屈な収集に従事する精度の誤った配置の誤謬を持つ傾向があります。 そして、これを堅実な研究を得ると誤解しています。 しかし、詳細なデータ収集手順は、優れた設計と同一視すべきではありません。 設計、測定、分析の章では、これらの3つのコンポーネントが明確に区別されています。
• 歴史、成熟、選択、死亡率、選択と実験変数の相互作用は、この計画の内部的妥当性に対する潜在的な脅威です。

2) 一つのグループPre-Posttest Design

これは、前テストのプレゼンテーションであり、その後に処理が続き、O1とO2の違いがXで説明されるposttestです：

O1X O2

しかし、上記のアサーションの妥当性に対する脅威が存在します:

• 歴史: O1とO2の間には、結果の違いを生み出すためにX以外に多くのイベントが発生している可能性があります。 O1とO2の間の時間経過が長くなればなるほど、歴史が脅威になる可能性が高くなります。
• 成熟:O1とO2の間の学生は、古い成長している可能性がありますか、内部状態が変更されている可能性があり、したがって得られた違いは、Xとは対照的に、 例えば、米国政府が2008年から始まる経済不況に何もしないと危機が（これはミット-ロムニーが言ったことです）、そのコースを実行してみましょう場合は、十年 この場合、2021年の経済と2011年の経済を比較して、特定の政策が有効であるかどうかを判断することは問題であり、むしろ正しい方法は2021年の経済と全体（例：2011年から2021年）を比較することである。 SPSSでは、デフォルトのペアワイズ比較は、各メジャーと最終的なメジャーを対比することですが、誤解を招く可能性があります。 SASでは、デフォルトのコントラストスキームは偏差であり、各メジャーはすべてのメジャーのグランド平均（全体）と比較されます。
• テスト:予備テスト自体を与えることの効果は、2回目のテストの結果に影響を与える可能性があります（つまり、2回目のIQテストは、1回目のテストよりも3-5ポイント増加します）。 社会科学では、測定のプロセスが測定されているものを変更する可能性があることが知られています: 反応効果は、テストプロセス自体が行動の受動的な記録ではなく、行動の変化につながるときに発生します（反応性：可能であれば非反応性の測定を使
• 集団変動の変化のための時間反転制御分析と直接検査は、結果のそのような誤解に対する積極的な対策です。 研究者が非常に熟練した非常に貧しい学生からなる非常に分極したサンプルを選択した場合、前者のグループは改善（天井効果）を示さないか、スコアを 言うまでもなく、この結果はmidleadingであり、このタイプの誤解を修正するために、研究者は真の治療効果を分析するために時間反転（テスト後-テスト前）分析を 研究者はまた、分析から外れ値を除外したり、平均をwinsorizing（分布の中心に向かって外れ値を押して）することによってスコアを調整することができます。
• その他：歴史、成熟、試験、計装試験と成熟の相互作用、試験と実験変数の相互作用、選択と実験変数の相互作用も、この設計の妥当性に対する脅威である。

3) 静的グループ比較

これは、一つのグループが治療にさらされ、対照群が治療にさらされていない間に結果がテストされ、治療の効果を比較するために同様にテストされる二つのグループの設計である。

X
	O2

• 選択：選択されたグループは、実際には治療の前に異種である可能性があります。
• : O1とO2の違いは、特定の実験グループからの被験者の脱落率が原因である可能性があり、グループが不等になる可能性があります。
• その他：選択と成熟の相互作用、選択と実験変数の相互作用。

三つの真の実験計画

議論された次の三つの計画は、最も強く推奨される計画です：

1)テスト前-テスト後の対照群計画

この設計は、この形式を取ります:

R	O1	X	O2
R			O4

この設計は、これまでに詳細に説明されている有効性に対する七つの脅威のすべてを制御します。 この設計がこれらの脅威に対してどのように制御するかの説明を以下に示します。

• 履歴:これは、O1およびO2効果に寄与した可能性のある一般的な履歴イベントがO3およびO4効果も生成するという点で制御されます。 ただし、これは、実験が特定の方法で実行されている場合にのみ当てはまります: 研究者は、これらの違いが結果に影響を与える可能性があるため、異なる時間と非常に異なる設定で治療群と対照群をテストしないかもしれません。 むしろ、研究者は対照群と実験群を同時にテストする必要があります。 セッション内履歴も考慮する必要があります。 たとえば、グループが同時にテストされる場合、異なる実験者が関与する可能性があり、実験者間の差が効果に寄与する可能性があります。

  この場合、可能な対抗策は、実験者、時間、週などのカウンターバランスのような実験条件の無作為化である。

• 成熟とテスト：これらは、治療群と対照群の両方で同等に発現するという意味で制御されています。
• Instrumentation:これは、条件がセッション内履歴を制御する場合、特に同じテストが使用される場合に制御されます。 しかし、異なる評価者、オブザーバーまたは面接者が関与している場合、これは潜在的な問題になります。 異なる実験条件にランダムに割り当てられるのに十分な評価者またはオブザーバーがない場合、評価者またはオブザーバーは実験の目的に盲目でなければ
• 回帰：これは、治療群と対照群が同じ極値プールからランダムに割り当てられている場合、スコアまたは特性の極値に関係なく平均差によって制御され これが起これば、グループは両方とも処置にもかかわらず同様に退行します。
• 選択:これはランダム化によって制御されます。
• : これはこの設計で制御されていると言われました。 しかしながら、治療群と対照群で死亡率が等しくない限り、死亡率が実験結果に寄与しなかったことを確実に示すことはできない。 実際に死亡率が発生しても、複雑な相互作用の可能性が残っており、両群間で効果の脱落率が異なる可能性があります。 二つのグループ間の条件は同様のままでなければなりません: 例えば、治療群が治療セッションに出席しなければならない場合、対照群は、治療が行われないか、または「プラセボ」治療が行われるセッションにも出席しなければならない。 しかし、この中でさえ、妥当性に対する脅威の可能性が残っている。 例えば、”偽薬”の存在は処置に類似した効果に貢献するかもしれない偽薬の処置は幾分信じられなければなり、従って同じような結果を持っているこ

これまでに説明した要因は内部妥当性に影響します。 これらの要因は処置の結果として解釈されるかもしれない変更を作り出すことができます。 これらは主効果と呼ばれ、内部の妥当性を与えるこの設計で制御されています。

しかし、この設計では、外部の妥当性に対する脅威があります（相互作用効果とも呼ばれますが、それは治療と相互作用が妥当性に対する脅威を引き起こ ここでは、外部の妥当性または一般化可能性は、常に標本で表されていない領域への外挿を伴うことが判明していることに注意することが重要です。

対照的に、内部妥当性は確率統計の論理によって解決可能であり、実施された実験内の確率統計に基づいて内部妥当性を制御できることを意味する。 一方、異なる設定に論理的に外挿することができないため、外部の妥当性または一般化可能性は論理的に発生することはできません。 （帰納法や一般化が論理的に完全に正当化されることは決してないというヒュームの自明の理）。

:

• テストとXの相互作用: 前検査と治療自体の相互作用は実験群の結果に影響を与える可能性があるため、前検査を使用しない設計を使用することが望ましい。
• 選択とXの相互作用：被験者を実験群と対照群に無作為に割り当てることによって選択が制御されるが、実証された効果は実験群と対照群が選択された母集団に対してのみ当てはまる可能性が残る。 一例は、観察する学校を選択しようとしている研究者ですが、9によって拒否され、10によって受け入れられました。 10番目の特徴学校は他の9と大きく異なる可能性があるため、平均的な学校を代表するものではありません。 したがって、どの報告書でも、研究者は研究された人口と招待を拒否した人口を記述する必要があります。
• 反応配置:これは実験設定の不自然さと、被験者が実験に参加しているという知識を指します。 このような状況は、学校の設定や自然な設定を代表しないものであり、実験結果に深刻な影響を与える可能性があります。 この問題を解決するためには、実験は通常のカリキュラムの変種として組み込まれ、テストは通常のテストルーチンに統合され、治療は個々の学生との正規のスタッフによって提供されるべきである。

研究は、このように学校で行われるべきである：研究のためのアイデアは、教師や他の学校の職員に由来する必要があります。 この研究のためのデザインは、研究方法論の専門家と、研究アイデアを思いついた人によって行われる研究自体と一緒に取り組むべきである。 結果は専門家によって分析され、最終的な解釈は仲介者によって提供されるべきである。

この計画の有意性の検定:この計画は適切に開発され、実施される可能性がありますが、有意性の統計的検定は必ずしも適切に使用されるとは限り

• : 多くの人は、実験群のポスト前差と対照群のポスト前差の2つのtsを計算することによってt検定を使用します。 実験的なｔ検定が対照群とは対照的に統計的に有意である場合、処置は効果を有すると言われる。 しかし、これはt検定が実際にどのように「近い」かを考慮していません。 より良い手順は、2X2ANOVA反復測定を実行し、事後差を被験者内因子として、群差を被験者間因子として、および両方の因子の相互作用効果をテストす
• ゲインスコアと共分散の使用：最も使用される検定は、各グループのプリポストテストのゲインスコアを計算し、その後、ゲインスコアの実験グループと対照グループの間のt検定を計算することです。 また、テスト前のスコアにランダム化された”ブロック”または”平準化”を使用すると、ブロッキングは被験者内の分散(誤差分散とも呼ばれます)をローカライズできるため便利です。 ゲインスコアは天井と床の影響を受けやすいことを指摘することが重要です。 前者では被験者は非常に高い予備テストスコアで始まり、後者では被験者は非常に悪い予備テスト性能を有する。 この場合、共分散の分析（ANCOVA）は、通常、単純なゲインスコア比較よりも好ましい。
• 無傷の教室を治療に無作為に割り当てる統計:無傷の教室が治療に無作為に割り当てられている場合(治療に割り当てられている個人とは対照的に)、クラス平均が基本的な観測値として使用され、治療効果がこれらの平均の変動に対してテストされます。 共分散分析では、テスト前の平均を共変量として使用します。

2) ソロマン四人組デザイン

デザインは次のようになっています:

R	O1	X	O2
R			O4
R		X	O5
R			O6

この研究デザインでは、被験者は4つの異なるグループにランダムに割り当てられます: 両方のプリポストテストを用いた実験、プリテストなしでの実験、プリポストテストを用いた制御、およびプリテストなしでの制御。 この構成では、テストの主な効果およびテストおよび処置の相互作用は両方制御されます。 その結果、一般化可能性が改善され、Xの効果が四つの異なる方法で複製される。

この計画の統計的検定：結果をテストする良い方法は、事前テストを”治療”として除外し、テスト後のスコアを2X2分散分析設計で処理することです。 あるいは、既存の差分の形式である事前テストは、ANCOVAの共変量として使用できます。

3)テスト後のみのコントロールグループの設計

この設計は次のようになります:

R	X	O1
R		O2

この計画は、ソロモン4群計画の最後の2つのグループと見なすことができます。 そして、主な効果と相互作用としてテストを制御すると見ることができますが、この設計とは異なり、それらを測定しません。 しかし、これらの効果の測定は、Xdidが効果を持っていないかどうかの中心的な問題には必要ありません。 この設計はpretestsが受諾可能ではない時のために適切である。

この計画のための統計的検定：最も単純な形式はt検定です。 ただし、共分散分析と対象変数（以前の成績、テストの点数など）のブロッキング。 プリテストによって提供されるものと同様に有意性検定の検出力を増加させる）を使用することができる。

因果推論と一般化に関する議論

上記のように、CookとCampbellは、内部妥当性（原因と結果）と外部妥当性（一般化）に対する脅威を回避/軽減するために多くの努力を しかし、いくつかの広範な概念は、内部および外部の妥当性に対する他のタイプの脅威にも寄与する可能性があります。

一部の研究者は、因果推論の重要性を軽視し、理解の価値を主張する。 この理解には、”何”、”どのように”、”なぜ”が含まれます。”しかし、”なぜ”は”原因と結果”の関係と考えられていますか？ 「なぜXが起こるのか」という質問があり、答えが「Yが起こる」場合、それは「YがXを引き起こす」ことを意味しますか？ XとYのみが相関している場合、「なぜ」という質問には対応していません。「原因と結果」を「理解」に置き換えることは、結論を混乱させ、「内部妥当性」の問題から研究者を誤解させる。”

一部の研究者は、”説明に狭いアプローチを適用します。”この見解では、説明は特定の時間と場所の特定のケースにのみ文脈化されているため、一般化は不適切であると考えられています。 実際には、過度の具体的な説明は全く何も説明しないかもしれません。 たとえば、「なぜAlex Yuがそのように行動するのか」と尋ねると、答えは「彼がAlex Yuであるため」となる可能性があります。 彼はユニークな人間です。 彼は特定の家族の背景と特定の社会的サークルを持っています。”これらの”特定の”声明は常に正しいので、研究者を外部の妥当性の問題から遠ざけることを誤っています。

ユ-チョンホの研究デザインの脅威から妥当性への情報&バーバラ-オールンド(2012) http://www.creative-wisdom.com/teaching/WBI/threat.shtml