Uso do pré e pós-teste no estudo da eficácia da intervenção vocacional: estudo com o Plano Solomon de Quatro Grupos

Abstract

This study aims to discuss to what extent the results of the study of career interventions effectiveness can be contaminated from pre-test to post-test, in a plan with an equivalent control group. In the last fifteen years, several international and Portuguese studies on the career interventions effectiveness, were based on that methodology, and may have been tainted with this problem (cf. Faria, 2008). What can be done and studied, from a methodological point of view, to assess and mitigate such effect? We discuss the limitations of the quasi-experimental design, to improve the design of the evaluation of career interventions, and specifically, the evaluation of the program "The Future is Cool!”. This program was developed by Taveira and col. (Taveira, Faria, Loureiro, Pinto, Viola, Trigueiros, & Santos, 2009, 5th ed.), to support the career exploration and the decision-making of Portuguese elementary students. In addition, we present and discuss the results of a new study of the effectiveness of this program, done with an alternative research plan, that Solomon design with four groups (1949).The sample included 310 students, living in the Norwest of Portugal, who were divided into two experimental groups, with pre-post-test and post-test only; and two control groups, in the same conditions. The results of Career Decision Scale (CDS, Osipow, 1976; adapt. por Taveira, 1997) and of the Career Exploration (CES; Stumpf, Collarelli & Hartman, 1983; Taveira, 1997). Measures within this new research plan, indicate that the program “The Future is Cool!” is effective, and that there is an effect of pretest in post-test. We conclude in favor of the use of the Solomon plan, with a rigorous analysis of it’s of cost-benefit relation.

Este estudo pretende discutir até que ponto os resultados da eficácia da intervenção vocacional podem ser contaminados do pré- para o pós-teste, num plano com grupo de controlo equivalente. Nos últimos quinze anos, diversos estudos internacionais e portugueses sobre a eficácia das intervenções de carreira assentes naquela metodologia, podem estar a enfermar deste problema (cf. Faria, 2008). O que pode ser estudado e feito, do ponto de vista metodológico, para avaliar e atenuar tal efeito? Aprofundam-se as limitações do desenho quasi-experimental, com vista a melhorar o desenho de avaliação da eficácia do programa de intervenção vocacional ”Futuro Bué!” (Taveira, Faria, Loureiro, Pinto, Viola, Trigueiros, & Santos, 2009, 5ªed.), destinado a apoiar a exploração e decisão de carreira de estudantes do ensino básico. Apresentam-se e discutem-se, além disso, os resultados de um novo estudo da eficácia do programa “Futuro Bué!”, que recorre ao plano de investigação alternativo proposto por Solomon (1949), levado a cabo com uma amostra de 310 alunos do noroeste de Portugal, divididos em dois grupos experimentais, com pré-pós-teste e só pós-teste, respectivamente; e dois grupos de controlo nas mesmas condições de observação. Os resultados das medidas Career Exploration Survey (CES, Stumpf, Collarelli & Hartman, 1983; Taveira, 1997) e Career Decision Scale (CDS, Osipow, 1976; adapt. por Taveira, 1997) com este novo plano de observação indicam que o programa é eficaz e um efeito do pré-teste no pós-teste. Conclui-se a favor do recurso ao plano Solomon, em futuros estudos, com uma avaliação rigorosa dos seus custos-benefícios.