세 가지 실험 설계
일을 더 쉽게하기 위해,다음은 특정 설계 내에서 표현으로 작용할 것이다:
- 엑스:치료
- 오:관찰 또는 측정
- 아르 자형:무작위 할당
이 섹션에서 논의 된 세 가지 실험 디자인은 다음과 같습니다:
1)원샷 사례 연구
단일 그룹이 있으며 한 번만 연구됩니다. 그룹은 처리 또는 상태에 소개되고 처리
에 기인하는 변화를 위해 그 후에 관찰됩니다 이 디자인에 대한 문제는 입니다:
- 조작의 총 부족. 또한 과학적 증거는 비교 및 기록 대조 측면에서 매우 약합니다.
- 또한 연구자가 특정 세부 사항,신중한 관찰,테스트 등의 지루한 수집에 종사하는 잘못된 정밀도의 오류가있는 경향이 있습니다.,그리고 이것을 견고한 연구를 얻는 것으로 잘못 해석합니다. 그러나 상세한 데이터 수집 절차를 좋은 디자인과 동일시해서는 안됩니다. 설계,측정 및 분석에 관한 장에서 이러한 세 가지 구성 요소는 서로 명확하게 구별됩니다.
- 선택과 실험 변수의 역사,성숙,선택,사망률 및 상호 작용은 이러한 설계의 내부적 타당성에 대한 잠재적 위협이다.
2) 한 그룹은 사전 사후 검사 디자인
이 프리젠테이션의 사전 검사에 의해 다음,처리,다음 사후 검사가 사이에 차이 O1 및 O2is 에 의해 설명되 X:
O1X O2 그러나,거기에 존재하는 위협의 유효성을 위 assertion:
- 역사: 사이 영형 1 과 영형 2 많은 이벤트가 발생했을 수 있습니다 엑스 결과의 차이를 생성합니다. 산소 1 과 산소 2 사이의 시간 경과가 길수록 이력이 위협이 될 가능성이 높아집니다.
- 성숙:영아 1 과 영아 2 사이의 학생들은 나이가 들어갔거나 내부 상태가 변경되었을 수 있으므로 얻은 차이는 이러한 변화에 기인 할 수 있습니다. 미국 정부가 2008 년부터 경제 불황에 아무것도하지 않고 위기가 그 과정을 실행하자 예를 들어,10 년 후 경제는 여전히 개선 될 수있다(이 미트 롬니가 말한 것입니다). 이 경우 2021 년 경제를 비교하고 2011 년에 특정 정책이 효과적인지 여부를 결정하는 것이 문제가되며 오히려 올바른 방법은 2021 년 경제를 전체(예:2011~2021)와 비교하는 것입니다. 기본 쌍별 비교는 각 측정값을 최종 측정값과 대조하는 것이지만 오해의 소지가 있을 수 있습니다. 여기서 각 측정값은 모든 측정값(전체)의 총 평균과 비교됩니다.
- 테스트:사전 테스트 자체를 제공하는 효과는 두 번째 테스트의 결과에 영향을 미칠 수 있습니다(즉,두 번째로 찍은 지능 지수 테스트는 처음 복용 한 테스트보다 3-5 포인트 증가합니다). 사회 과학에서는,측정의 과정이 측정되고 있는 그것을 변화할지도 모른다 알려졌습니다: 반응 효과는 테스트 프로세스 자체가 수동적 행동 기록보다는 행동의 변화로 이어질 때 발생합니다(반응성:가능한 경우 비 반응성 조치를 사용하려는 경우).
- 계측:예는
- 위의 유효성에 대한 위협 통계 회귀:또는 평균에 대한 회귀입니다. 시간 반전 제어 분석 및 인구 변동성의 변화에 대 한 직접 검사는 결과의 이러한 오해에 대 한 사전 대응 조치. 연구자가 매우 숙련되고 극도로 가난한 학생들로 구성된 매우 편광 된 샘플을 선택하면 이전 그룹은 개선(천장 효과)을 나타내지 않거나 점수를 낮출 수 있으며 후자는 약간의 개선을 보이는 것처럼 보일 수 있습니다. 말할 필요도없이,이 결과는 중간 선두이며,이러한 유형의 오해를 해결하기 위해 연구원은 진정한 치료 효과를 분석하기 위해 시간 반전(사후 테스트 사전 테스트)분석을 수행 할 수 있습니다. 연구원은 또한 분석에서 특이치를 제외하거나 평균을 상쇄하여 점수를 조정할 수 있습니다(특이치를 분포의 중심으로 밀어 넣기).
- 기타:역사,성숙,테스트,계측 테스트와 성숙의 상호 작용,테스트와 실험 변수의 상호 작용,선택과 실험 변수의 상호 작용도이 설계의 타당성에 대한 위협입니다.
3) 정적 그룹 비교
이것은 한 그룹이 치료에 노출되고 결과가 테스트되는 반면 대조군은 치료에 노출되지 않고 치료의 효과를 비교하기 위해 유사하게 테스트되는 두 그룹 디자인입니다.
유효성에 대한 위협은 다음과 같습니다:
2
- 선택:선택한 그룹은 실제로 치료 전에 서로 다를 수 있습니다.
- 사망률: 영형 1 과 영형 2 의 차이는 특정 실험 그룹의 피험자의 탈락률 때문일 수 있으며,이로 인해 그룹이 불평등해질 수 있습니다.
- 기타:선택과 성숙의 상호 작용과 선택과 실험 변수의 상호 작용.
세 가지 진정한 실험 설계
논의 된 다음 세 가지 디자인은 가장 강력하게 권장되는 디자인입니다.
1)사전 테스트-사후 테스트 대조군 설계
이 설계는이 형식을 취합니다.:
이 디자인은 지금까지 자세히 설명된 유효성에 대한 7 가지 위협을 모두 제어합니다. 이 디자인이 이러한 위협을 제어하는 방법에 대한 설명은 다음과 같습니다.
9809 4
- 역사:이것은 옥시 1 과 옥시 2 효과에 기여한 일반적인 역사 사건이 옥시 3 과 옥시 4 효과를 생성한다는 점에서 통제된다. 그러나 실험이 특정 방식으로 실행되는 경우에만 해당됩니다: 이 다름이 결과를 좌우하기지도 모르기 때문에 연구원은 다른 시간에 그리고 광막하게 다른 조정에서 처리와 대조군을 시험하지 않을지도 모릅니다. 오히려 연구원은 통제 및 실험 그룹을 동시에 테스트해야합니다. 인트라세션 역사 또한 고려되어야 한다. 예를 들어 그룹이 동시에 테스트되면 다른 실험자가 관련 될 수 있으며 실험자 간의 차이가 효과에 기여할 수 있습니다.
이 경우 가능한 카운터 측정은 실험자,시간,주 등의 측면에서 카운터 밸런싱과 같은 실험 조건의 무작위 화입니다.
- 성숙 및 테스트:이들은 치료 및 대조군 모두에서 동일하게 나타난다는 의미에서 제어됩니다.
- 계측:특히 동일한 테스트가 사용되는 경우 인트라세션 이력에 대한 조건이 제어되는 곳에서 제어됩니다. 그러나 다른 평가자,관찰자 또는 면접관이 관련되면 이는 잠재적 인 문제가됩니다. 다른 실험 조건에 무작위로 할당 할 수있는 충분한 평가자 또는 관찰자가 없으면 평가자 또는 관찰자는 실험 목적에 대해 눈이 멀어야합니다.
- 회귀 분석:치료 및 대조군이 동일한 극단적 인 풀에서 무작위로 할당 된 경우 점수 또는 특성의 극도에 관계없이 평균 차이에 의해 제어됩니다. 이것이 발생하면 치료에 관계없이 두 그룹 모두 유사하게 퇴행합니다.
- 선택:이것은 무작위 화에 의해 제어됩니다.
- 사망률: 이것은 이 디자인에서 통제될 것이라고 말했습니다. 그러나 치료 및 대조군에서 사망률이 동일하지 않으면 사망률이 실험 결과에 기여하지 않았다는 것을 확실하게 나타낼 수 없습니다. 심지어 사망률 실제로 발생 하는 경우에 효과 드롭 아웃 속도 두 그룹 사이 다를 수 있습니다 복잡 한 상호 작용의 가능성이 남아 있다. 두 그룹 간의 조건은 유사하게 유지되어야합니다: 예를 들어,치료 그룹이 치료 세션에 참석해야하는 경우,대조군은 치료가 발생하지 않거나”위약”치료가 발생하는 세션에 참석해야합니다. 그러나이 경우에도 유효성에 대한 위협의 가능성이 남아 있습니다. 예를 들어,”위약”의 존재조차도 치료와 유사한 효과에 기여할 수 있으며,위약 치료는 다소 믿을 수 있어야하므로 비슷한 결과를 얻을 수 있습니다!
지금까지 설명 된 요소는 내부 유효성에 영향을 미칩니다. 이 요인은 처리의 결과로 해석될 수 있는 변화를 일으킬 수 있었습니다. 이들은 그것을 내부 타당성을 주는 이 디자인에서 통제된 주효과에게 불립니다.
그러나,이 설계에는 외부 유효성에 대한 위협(상호 작용 효과라고도 함)이 있는데,이는 치료 및 상호 작용이 유효성에 대한 위협을 야기하는 다른 변수를 포함하기 때문입니다. 외부 타당성 또는 일반화 가능성은 항상 샘플에 표시되지 않는 영역으로 외삽을 포함하는 것으로 밝혀졌습니다.
대조적으로,내부 유효성은 확률 통계의 논리에 의해 풀 수 있으며,이는 수행 된 실험 내에서 확률 통계를 기반으로 내부 유효성을 제어 할 수 있음을 의미합니다. 반면에 논리적으로 다른 설정으로 외삽 할 수 없기 때문에 외부 유효성 또는 일반화 가능성은 논리적으로 발생할 수 없습니다. (유도 또는 일반화가 결코 논리적으로 완전히 정당화되지 않는다는 흄의 자명 한 이치).
외부 위협은 다음과 같습니다:
- 테스트 및 엑스 상호 작용: 사전 테스트와 치료 자체의 상호 작용이 실험 그룹의 결과에 영향을 미칠 수 있기 때문에 사전 테스트를 사용하지 않는 디자인을 사용하는 것이 바람직합니다.
- 선택과 엑스 상호 작용:선택 실험 및 대조군으로 피험자를 무작위로 할당 하 여에 대 한 제어 됩니다,비록 거기 입증 효과 실험 및 대조군 선택 된 그 집단에 대 한 사실 개최 가능성이 남아 있다. 예를 들어 관찰 할 학교를 선택하려는 연구원이 있지만 9 에 의해 거절되었으며 10 에 의해 받아 들여졌습니다. 10 번째 학교의 특성은 다른 9 개 학교와 크게 다를 수 있으므로 평균 학교를 대표하지 않습니다. 따라서 모든 보고서에서 연구원은 초대를 거부 한 인구뿐만 아니라 연구 된 인구를 설명해야합니다.
- 반응적 배열:이것은 실험 환경의 인공성과 그가 실험에 참여하고 있다는 피험자의 지식을 의미한다. 이 상황은 학교 환경이나 자연 환경을 대표하지 않으며 실험 결과에 심각한 영향을 줄 수 있습니다. 이 문제를 해결하기 위해,실험은 일반 교육 과정의 변형으로 통합되어야한다,테스트는 정상적인 테스트 루틴에 통합되어야한다,치료는 개별 학생들과 일반 직원에 의해 전달되어야한다.
연구는 이러한 방식으로 학교에서 수행되어야한다:연구를위한 아이디어는 교사 또는 다른 학교 직원에 기인한다. 이 연구에 대 한 디자인 연구 방법론에서 누군가 전문가 함께 밖으로 일 해야 하 고 연구 자체 연구 아이디어를 함께 온 사람들에 의해 수행. 결과는 전문가가 분석 한 다음 중개자가 제공하는 최종 해석을 분석해야합니다.
이 디자인에 대한 유의성 테스트:이 디자인이 적절하게 개발되고 수행 될 수 있지만 유의성에 대한 통계적 테스트가 항상 적절하게 사용되는 것은 아닙니다.
- 일반적인 사용에서 잘못된 통계: 하나는 실험 그룹의 사전 사후 차이에 대한 것이고 다른 하나는 대조 그룹의 사전 사후 차이에 대한 것입니다. 만약 실험티테스트가 대조군과 반대로 통계적으로 유의하다면,치료는 효과가 있다고 한다. 그러나 이것은 티 테스트가 실제로 얼마나”근접”했는지를 고려하지 않습니다. 더 나은 절차는 2 배 분산 분석 반복 측정값을 실행하여 사후 차이를 주제 내 요인으로,그룹 차이를 주제 간 요인으로,두 요인의 상호 작용 효과를 테스트하는 것입니다.
- 이득 점수와 공분산의 사용:가장 많이 사용되는 테스트는 각 그룹에 대한 사전 테스트 후 이득 점수를 계산 한 다음 이득 점수에 대한 실험 그룹과 대조 그룹 간의 티 테스트를 계산하는 것입니다. 또한 차단은 오류 분산이라고도하는 주제 내 분산을 지역화 할 수 있기 때문에 사전 테스트 점수에 무작위”차단”또는”평준화”를 사용하는 것이 도움이됩니다. 이득 점수는 천장 및 바닥 효과 적용 됩니다 지적 하는 것이 중요 하다. 전에서 주제는 매우 높은 사전 테스트 점수로 시작하고 후자의 주제는 매우 가난한 사전 테스트 성능을 가지고있다. 이 경우 공분산 분석(안 코바)은 일반적으로 간단한 이득-점수 비교보다 바람직합니다.
- 온전한 교실을 치료에 무작위 배정 통계:온전한 교실을 치료에 무작위로 배정 한 경우(개인이 치료에 배정되는 것과 반대),수업 수단이 기본 관찰로 사용되며 치료 효과는 이러한 수단의 변화에 대해 테스트됩니다. 공분산 분석은 사전 테스트 평균을 공변량으로 사용합니다.
2) 솔로맨 4 그룹 디자인
디자인은:
9809 4 아르 자형 아르 자형 6 이 연구 설계에서 주제는 무작위로 네 가지 그룹으로 할당됩니다: 사전 사후 테스트,사전 테스트가없는 실험,사전 사후 테스트가있는 제어 및 사전 테스트가없는 제어가 모두 실험적입니다. 이 구성에서는 테스트의 주요 효과와 테스트 및 치료의 상호 작용이 모두 제어됩니다. 그 결과,일반화 가능성이 향상되고 엑스 네 가지 방법으로 복제됩니다.
이 설계에 대한 통계적 테스트:결과를 테스트하는 좋은 방법은 사전 테스트를”치료”로 배제하고 사전 테스트 된 결과에 대해 사전 테스트 된 분산 설계의 2 배 2 분석으로 사후 테스트 점수를 처리하는 것입니다. 또는 기존 차이의 한 형태인 사전 테스트를 안코바에서 공변량으로 사용할 수 있습니다.
3)테스트 후 전용 컨트롤 그룹 디자인
이 디자인은 다음과 같습니다:
이 디자인은 솔로몬 4 그룹 디자인의 마지막 두 그룹으로 볼 수 있습니다. 그리고 테스트를 주 효과 및 상호 작용으로 제어하는 것으로 볼 수 있지만,이 디자인과 달리 측정하지는 않습니다. 그러나 이러한 효과의 측정은 엑스디드가 효과가 있는지 여부에 대한 중심적인 질문에 필요하지 않습니다. 이 디자인은 사전 테스트가 허용되지 않는 경우에 적합합니다.
아르 자형 2 이 설계에 대한 통계적 테스트:가장 간단한 형태는 티테스트이다. 그러나 과목 변수(이전 성적,시험 점수 등)에 대한 공분산 분석 및 차단)는 사전 테스트에 의해 제공되는 것과 유사하게 유의성 테스트의 힘을 증가시키는 데 사용할 수 있습니다.
인과 추론 및 일반화에 대한 논의
위에서 설명한 바와 같이,쿡과 캠벨은 내부 유효성(원인과 결과)과 외부 유효성(일반화)에 대한 위협을 피하거나 줄이기 위해 많은 노력을 기울였다. 그러나 일부 광범위한 개념은 내부 및 외부 유효성에 대한 다른 유형의 위협에 기여할 수도 있습니다.
일부 연구자들은 인과 추론의 중요성을 경시하고 이해의 가치를 주장한다. 이러한 이해에는”무엇”,”어떻게”및”왜”가 포함됩니다.”그러나”왜”는”원인과 결과”관계로 간주됩니까? “왜 엑스 발생”이라는 질문이 있고 대답이”와이 발생”이라면”와이 원인 엑스”를 의미합니까? 만약 엑스 과 와이 상관 관계 만 있으면”왜”라는 질문을 다루지 않습니다.”원인과 결과”를”이해”로 대체하면 결론을 혼란스럽게하고 연구자를”내부 타당성”문제에서 잘못 인도합니다.”
일부 연구자들은”설명에 좁은 접근 방식을 적용합니다.”이 견해에서 설명은 특정 시간과 장소의 특정 사례에만 맥락화되므로 일반화는 부적절한 것으로 간주됩니다. 사실,지나치게 구체적인 설명은 전혀 설명하지 못할 수도 있습니다. 예를 들어,”왜 알렉스 유가 그런 식으로 행동 하는가”라고 묻는다면,그 대답은”그가 알렉스 유이기 때문에”일 수 있습니다. 그는 독특한 인간이다. 그는 특정 가족 배경과 특정 사회적 서클을 가지고 있습니다.”이”특별한”진술은 항상 옳기 때문에 연구자들이 외부 타당성 문제에서 벗어나도록 유도합니다.
유총호 연구 설계의 타당성에 대한 위협으로부터의 정보&바바라 오런드(2012) http://www.creative-wisdom.com/teaching/WBI/threat.shtml