Biblioteca de Pesquisa Orienta – Universidade de Wisconsin Ebling Biblioteca

Três Projetos Experimentais

Para facilitar as coisas, o seguinte irá atuar como representações dentro de projetos particulares:

• X: Tratamento
• O: Observação ou medição
• R: A atribuição aleatória

Os três projetos experimentais discutidos nesta seção são:

1) o estudo de caso de um tiro

existe um único grupo e é estudado apenas uma vez. Um grupo é introduzido a um tratamento ou condição e então observado para alterações que são atribuídas ao tratamento

X O

os problemas com este desenho são:

• uma total falta de manipulação. Além disso, as provas científicas são muito fracas em termos de comparação e registo de contrastes.
• há também uma tendência a ter a falácia da precisão deslocada, onde o pesquisador se envolve em uma coleção tediosa de detalhes específicos, observação cuidadosa, testes e etc., e erroneamente interpreta isso como obtendo uma pesquisa sólida. No entanto, um procedimento pormenorizado de recolha de dados não deve ser equiparado a uma boa concepção. No capítulo sobre Concepção, Medição e análise, estes três componentes são claramente distinguidos um do outro.
• história, maturação, seleção, mortalidade e Interação da seleção e da variável experimental são ameaças potenciais contra a validade interna deste projeto.

2) Um Grupo de Pré-pós-teste de Design

Esta é uma apresentação de um pré-teste, seguido por um tratamento e, em seguida, um pós-teste, onde a diferença entre O1 e O2is explicada por X:

O1 X O2

no Entanto, existe ameaças a validade da afirmação acima:

• História: entre O1 e O2 muitos eventos podem ter ocorrido além de X para produzir as diferenças nos resultados. Quanto mais tempo passar entre O1 e O2, mais provável a história se torna uma ameaça.
• maturação: entre O1 e O2 os estudantes podem ter crescido mais velhos ou estados internos podem ter mudado e, portanto, as diferenças obtidas seriam atribuíveis a essas mudanças em oposição a X. Por exemplo, se o governo dos EUA não faz nada à depressão económica a partir de 2008 e deixar a crise correr o seu curso (isto é o que Mitt Romney disse), dez anos mais tarde a economia ainda pode ser melhorada. Neste caso, é problemático comparar a economia em 2021 e que, em 2011, para determinar se uma determinada política é eficaz; pelo contrário, a maneira certa é comparar a economia em 2021 com a global (por exemplo, 2011 a 2021). Em SPSS a comparação emparelhada padrão é contrastar cada medida com a medida final, mas pode ser enganosa. No SAS, o regime de contraste por defeito é o desvio, no qual cada medida é comparada com a grande média de todas as medidas (em geral).
• Testing: the effect of giving the pretest itself may effect the outcomes of the second test (i.e., IQ tests taken a second time result in 3-5 point increase than those taking it the first time). Nas ciências sociais, sabe-se que o processo de medição pode mudar o que está sendo medido.: o efeito reativo ocorre quando o próprio processo de teste leva à mudança de comportamento ao invés de ser um registro passivo de comportamento (reatividade: queremos usar medidas não reativas quando possível).
• Instrumentação: exemplos estão em ameaças à validade acima de
• regressão estatística: ou regressão em direção à média. A análise do controlo com inversão do tempo e o exame directo das variações na variabilidade da população são contra-medidas pró-activas contra tais interpretações erróneas do resultado. Se o pesquisador seleciona uma amostra muito polarizada composta por estudantes extremamente habilidosos e extremamente pobres, o primeiro grupo pode ou não mostrar melhoria (efeito de teto) ou diminuir suas pontuações, e o último pode parecer mostrar alguma melhoria. Escusado será dizer que este resultado é midleading, e para corrigir este tipo de má interpretação, os pesquisadores podem querer fazer uma análise invertida de tempo (posttest-pretest) para analisar os verdadeiros efeitos do tratamento. Os investigadores podem também excluir os valores anómalos da análise ou ajustar as pontuações através da winsorção dos meios (empurrando os valores anómalos para o centro da distribuição).
• outros: história, maturação, ensaio, interacção instrumentação do ensaio e maturação, interacção do ensaio e da variável experimental e interacção da selecção e da variável experimental são também ameaças à validade deste desenho.

3) a comparação estática do Grupo

este é um desenho de dois grupos, em que um grupo é exposto a um tratamento e os resultados são testados enquanto um grupo de controlo não é exposto ao tratamento e igualmente testado a fim de comparar os efeitos do tratamento.

X	O1
	O2

as Ameaças à validade incluem:

• Selecção: grupos selecionados, na verdade, pode ser díspares, antes de qualquer tratamento.
• mortalidade: as diferenças entre O1 e O2maior deve-se à taxa de abandono de indivíduos de um grupo experimental específico, o que causaria desigualdade entre os grupos.
• outros: interacção da selecção e maturação e interacção da selecção e da variável experimental.

três verdadeiros projetos experimentais

os três próximos projetos discutidos são os projetos mais fortemente recomendados:

1) O projeto do grupo de controle pré-pós-teste

este projeto assume esta forma:

R	O1	X	O2
R	O3		O4

Este design controles para todos os sete ameaças à validade descrito em detalhe até agora. Uma explicação de como este projeto controla essas ameaças está abaixo.

• History: This is controlled in that the general history events which may have contributed to the O1 and O2 effects would also produce the O3 and O4efects. No entanto, isto é verdade se e somente se a experiência for executada de uma forma específica: o pesquisador não pode testar os grupos de tratamento e controle em diferentes momentos e em ambientes muito diferentes, pois essas diferenças podem influenciar os resultados. Em vez disso, o pesquisador deve testar o controle e grupos experimentais simultaneamente. O histórico da intrasessão também deve ser levado em conta. Por exemplo, se os grupos são testados ao mesmo tempo, então diferentes experimentadores podem estar envolvidos, e as diferenças entre os experimentadores podem contribuir para os efeitos.

  neste caso, uma possível contra-medida é a aleatorização de condições experimentais, tais como contra-balanceamento em termos de experimentador, hora do dia, semana e etc.

• maturação e testes: estes são controlados no sentido de se manifestarem igualmente em ambos os grupos de tratamento e controlo. Instrumentação: esta é controlada quando as condições controlam a história da intrasessão, especialmente quando são utilizados os mesmos testes. No entanto, quando diferentes raters, observadores ou entrevistadores estão envolvidos, isto torna-se um problema potencial. Se não houver raters ou observadores suficientes para serem distribuídos aleatoriamente a diferentes condições experimentais, os raters ou observadores devem ser cegos para o objectivo da experiência. Regressão
• : esta é controlada pelas diferenças médias, independentemente da importância das Pontuações ou características, se os grupos de tratamento e controlo forem distribuídos aleatoriamente a partir do mesmo grupo extremo. Se isto ocorrer, ambos os grupos irão regredir da mesma forma, independentemente do tratamento.
• selecção: isto é controlado por aleatorização.
• mortalidade: isto foi dito ser controlado neste projeto. No entanto, a menos que a taxa de mortalidade seja igual nos grupos de tratamento e controlo, não é possível indicar com certeza que a mortalidade não contribuiu para os resultados da experiência. Mesmo quando mesmo a mortalidade realmente ocorre, permanece a possibilidade de interações complexas que podem fazer com que as taxas de queda de efeitos diferem entre os dois grupos. As condições entre os dois grupos devem manter-se semelhantes: por exemplo, se o grupo de tratamento deve assistir à sessão de tratamento, então o grupo de controle também deve participar de sessões onde ou não ocorre tratamento, ou um tratamento “placebo” ocorre. No entanto, mesmo neste caso, continuam a existir possibilidades de ameaças à validade. Por exemplo, mesmo a presença de um” placebo ” pode contribuir para um efeito semelhante ao tratamento, o tratamento com placebo deve ser algo crível e, portanto, pode acabar tendo resultados semelhantes!

os factores descritos até agora afectam a validade interna. Estes factores podem produzir alterações, que podem ser interpretadas como resultado do tratamento. Estes são chamados efeitos principais, que foram controlados neste projeto dando-lhe validade interna.

no entanto, neste desenho, existem ameaças à validade externa (também chamados efeitos de interação porque envolvem o tratamento e algumas outras variáveis cuja interação causa a ameaça à validade). É importante notar aqui que a validade externa ou generalização sempre acaba envolvendo extrapolação em um reino não representado na amostra.

in contrast, internal validity are solvable by the logic of probability statistics, meaning that we can control for internal validation based on probability statistics within the experiment conducted. Por outro lado, a validade externa ou generalização não pode ocorrer logicamente porque não podemos logicamente extrapolar para diferentes configurações. (O truísmo de Hume de que a indução ou generalização nunca é plenamente justificada logicamente).As ameaças externas incluem::

• interacção dos ensaios e X: uma vez que a interacção entre fazer um pré-teste e o próprio tratamento pode afectar os resultados do grupo experimental, é desejável utilizar um desenho que não utilize um pré-teste.
• Interação de seleção e X: apesar de seleção é controlado por acaso atribuir as disciplinas em grupos experimentais e de controlo, existe uma possibilidade de que os efeitos demonstrado verdadeiras apenas para a população da qual o grupo controle e experimental foram selecionados. Um exemplo é um pesquisador tentando selecionar escolas para observar, no entanto, foi recusado por 9, e aceito pelo 10. As características da 10.ª escola podem ser muito diferentes das outras 9, pelo que não são representativas de uma escola média. Portanto, em qualquer relatório, o pesquisador deve descrever a população estudada, bem como quaisquer populações que rejeitaram o convite. Disposições reactivas: refere-se à artificialidade do ambiente experimental e ao conhecimento do sujeito de que está a participar numa experiência. Esta situação não é representativa do ambiente escolar ou de qualquer ambiente natural e pode afectar seriamente os resultados da experiência. Para resolver este problema, as experiências devem ser incorporadas como variantes dos currículos regulares, os testes devem ser integrados na rotina normal de testes, e o tratamento deve ser entregue por pessoal regular com alunos individuais.

a investigação deve ser conduzida nas escolas desta forma: as ideias para a investigação devem ter origem em professores ou outro pessoal escolar. Os projetos para esta pesquisa devem ser trabalhados com alguém especialista em metodologia de pesquisa, e a própria pesquisa realizada por aqueles que vieram com a idéia de pesquisa. Os resultados devem ser analisados pelo perito e, em seguida, a interpretação final fornecida por um intermediário.

ensaios de significância para este projecto: embora este projecto possa ser desenvolvido e conduzido de forma adequada, os ensaios estatísticos de significância nem sempre são utilizados de forma adequada.Estatísticas erradas no uso comum: muitos usam um teste t computando duas ts, uma para a diferença pré-post no grupo experimental e outra para a diferença pré-post do grupo de controle. Se o teste t experimental for estatisticamente significativo em oposição ao grupo de controle, o tratamento terá um efeito. No entanto, isto não leva em consideração o quão “próximo” o teste t pode realmente ter sido. Um procedimento melhor é executar um 2×2 ANOVA medidas repetidas, testando a diferença Pré-Pós como o fator dentro-sujeito, a diferença de grupo como o fator entre-sujeito, e o efeito de interação de ambos os fatores.

Use of gain scores and covariance: the most used test is to compute pre-posttest gain scores for each group, and then to compute a t-test between the experimental and control groups on the gain scores. Além disso, é útil usar aleatoriamente “bloqueio” ou “nivelamento” em pontuações pré-teste, porque o bloqueio pode localizar a variância dentro do assunto, também conhecido como a variância de erro. É importante salientar que as pontuações dos ganhos estão sujeitas aos efeitos do tecto e do piso. No primeiro, os sujeitos começam com uma pontuação muito alta pretest e no segundo os sujeitos têm desempenho pretest muito pobre. Neste caso, a análise da covariância (ANCOVA) é geralmente preferível a uma simples comparação de pontos de ganho. Estatísticas para a atribuição aleatória de salas intactas aos tratamentos: quando salas intactas foram atribuídas aleatoriamente aos tratamentos (ao contrário dos indivíduos que são designados para os tratamentos), os meios de classe são usados como observações básicas, e os efeitos do tratamento são testados contra variações nestes meios. Uma análise de covariância usaria pretest means como covariato.

2) O Soloman Quatro-Grupo de Design

O design é como:

R	O1	X	O2
R	O3		O4
R		X	O5
R			O6

neste projeto de pesquisa, os sujeitos são distribuídos aleatoriamente em quatro grupos diferentes: experimental com ambos pré-posttests, experimental sem pretest, controle com pré-posttests, e controle sem pretests. Nesta configuração, tanto os principais efeitos do teste quanto a interação do teste e do tratamento são controlados. Como resultado, a generalizabilidade é melhorada e o efeito de X é replicado de quatro maneiras diferentes.

testes Estatísticos para este projeto: uma boa forma de testar os resultados é para descartar o pré-teste como um “tratamento” e tratar o pós-teste pontuações com um 2X2 análise de variância de design pré-testados contra unpretested. Alternativamente, o pretest, que é uma forma de diferença pré-existente, pode ser usado como uma covariável em ANCOVA.

3) pós-teste-Somente o Grupo de Controlo Design

Este projeto é como:

R	X	O1
R		O2

Este projeto pode ser visto como dois últimos grupos de Salomão 4-grupo de design. E pode ser visto como controlando para testes como efeito principal e interação, mas ao contrário deste projeto, ele não mede-los. Mas a medição desses efeitos não é necessária para a questão central de saber se Xdid não tem um efeito. Este design é apropriado para os tempos em que os pretensiosos não são aceitáveis.

testes estatísticos para este projeto:a forma mais simples seria o teste-T. No entanto, a análise de covariância e o bloqueio das variáveis de estudo (graus anteriores, pontuações de teste, etc.) pode ser usado para aumentar a potência do teste de significância de forma semelhante ao que é fornecido por um pretest.

Discussão sobre a inferência causal e a generalização

, Como ilustrado acima, Cook e Campbell dedicado muito esforço para evitar/reduzir as ameaças à validade interna (causa e efeito) e validade externa (generalização). No entanto, alguns conceitos generalizados podem também contribuir com outros tipos de ameaças contra a validade interna e externa.

alguns pesquisadores minimizam a importância da inferência causal e afirmam o valor da compreensão. Este entendimento inclui “o quê”, “como” e “porquê”. No entanto, ” por que “é considerado uma relação de” causa e efeito”? Se uma pergunta “Por Que X acontece” é feita e a resposta é “Y acontece”, isso implica que”Y causa X”? Se X e Y são correlacionados apenas, ele não aborda a questão “por quê.”Substituir” cause and effect ” por ” understanding “torna a conclusão confusa e desorienta os pesquisadores para longe da questão da “validade interna”.”

Some researchers apply a narrow approach to ” explanation.”Nesta visão, uma explicação é contextualizada a apenas um caso particular em um determinado tempo e lugar, e assim a generalização é considerada inadequada. Na verdade, uma explicação demasiado específica pode não explicar nada. Por exemplo, se alguém perguntar, “Por que Alex Yu se comporta dessa forma,” a resposta pode ser “porque ele é Alex Yu. Ele é um ser humano único. Ele tem um passado familiar particular e um círculo social específico. Estas afirmações “particulares” são sempre correctas, desviando assim os investigadores da questão da validade externa.

informação sobre ameaças à validade do projecto de investigação por Chong-ho Yu & Barbara Ohlund (2012) http://www.creative-wisdom.com/teaching/WBI/threat.shtml