Please use this identifier to cite or link to this item: http://hdl.handle.net/1822/20763

TitlePara além dos certificados : reconhecimento, validação e certificação de competências
Author(s)Ferreira, Humberto José do Vale
Advisor(s)Tavares, António F.
KeywordsAvaliação de programas sociais
Impacto
Empregabilidade
Excesso de zelo
Social programs evaluation
Impact
Employability
Excessive zeal
Issue date2012
Abstract(s)Este trabalho oferece uma análise global do programa social Reconhecimento, Validação e Certificação de Competências (RVCC), segundo diferentes dimensões de avaliação (Rossi, Lipsey & Freeman, 2004) e um estudo de caso sobre o seu impacto na empregabilidade dos utentes nos Centros Novas Oportunidades (CNO) do Centro de Formação Profissional do Sector Terciário do Porto - Instituto de Emprego e Formação Profissional (IEFP, I.P.). Na avaliação da necessidade do programa social, definimos o problema social e descrevemos a sua extensão (72% da população activa possui um nível de escolaridade inferior ao ensino secundário), as características da população-alvo (e.g., desempregados e mulheres), bem como abordamos a natureza da necessidade do serviço (incrementar a produtividade e riqueza de Portugal). Perante a avaliação do design, realizamos uma apreciação da avaliabilidade e uma análise da teoria do programa, na óptica da qualidade da sua conceptualização. Na apreciação, examinamos as metas (e.g., 600.000 certificados para o período 2006-10), sua plausibilidade (demasiado elevadas) e mensurabilidade (Sistema de Gestão e Informação próprio); face à teoria do programa avaliamos, positivamente, a lógica causa-efeito expressa na teoria de impacto (e.g., crescimento económico e aumento das taxas de emprego/actividade), o plano de serviço de utilização (lógica de funcionamento dos CNO), o plano organizacional (e.g., recursos financeiros e humanos adequados) e a qualidade intrínseca nos seus fundamentos (corroborada pela investigação e práticas internacionais). Na análise da implementação, avaliamos o desempenho da utilização do serviço e da organização do programa e a monitorização de ambas. Se no primeiro, verificamos resultados aquém das metas (e.g., 380.476 certificados) e pontual viés na participação (e.g., grupo etário 35-54 anos), no que diz respeito à avaliação da organização, identificamos falhas na implementação do programa (e.g., tempo de espera prolongado para iniciar o programa) e problemas na oferta do serviço (e.g., inexistência de especificações de serviços importantes para a estimação de custos e para a análise custobenefício), ao contrário da questão de acessibilidade que consideramos facilitadora de adesão (e.g., distribuição territorial) e do mérito das funções de suporte analisadas (e.g., protocolos de colaboração). Relativamente à avaliação de impacto, as raras avaliações nesta área (e.g., Universidade Católica) e a ausência (ou desconhecimento) de estudos sobre a eficiência (análises custo-benefício ou custo-eficácia), influiu para a pertinência do nosso trabalho empírico. O modelo de design de investigação utilizado é não aleatório, quasiexperimental de controlo reflexivo de dois momentos. No entanto, e devido à não disponibilização, por parte do IEFP, I.P., de dados sobre a condição de trabalho dos participantes, ficou gorada a possibilidade de cumprirmos todos os objectivos inicialmente previstos para o estudo de caso pretendido. Perante as razões evocadas por esta instituição, julgamos estar na presença de vários equívocos ou dilemas sobre os quais reflectimos (e.g., avaliação política versus técnica; administração aberta versus fechada; superintendência versus excesso de zelo). Por fim, gostaríamos que ficasse claro que não enjeitamos a responsabilidade perante as limitações do estudo: quando se propõe avaliar um programa social, há que garantir o acesso de todos os dados, acautelando eventuais mudanças de contexto políticas e organizacionais.
This paper provides a comprehensive analysis of the Recognition, Validation and Certification of Competences (RVCC) social program, according to different dimensions of evaluation (Rossi, Lipsey & Freeman, 2004) and a case study on its impact on the employability of users in the New Opportunities Centres (CNO) at Centro de Formação Profissional do Sector Terciário do Porto – Instituto de Emprego e Formação Profissional (IEFP, I.P.; Institute for employment and vocational training). In assessing the need for the social program, we define the social problem and describe its extent (72% of the workforce hasn‟t reached the level of secondary education), the characteristics of the target population (e.g., the unemployed and women) and address the nature of the need for this service (to increase Portugal‟s productivity and wealth). Faced with the design assessment, we measure the evaluability of the program and analyze its theory, in the light of the quality of its conceptualization. In this assessment we examine the goals (e.g., 600,000 certificates in the period between 2006-10), their plausibility (excessively high) and measurability (it has its own Information and Management System); in what concerns the theory of the program we have a positive view over the logic of cause and effect expressed in the impact theory (e.g., economic growth and increased employment/activity rates), the service utilization plan (normal procedures of the CNO), the organizational plan (e.g., adequate financial and human resources) and the intrinsic quality in its grounds (supported by international research and practice). While analyzing the implementation, we evaluate the performance of the service utilization and of the program organization as well as the monitoring of both. If in the first we found results to fall short of targets (e.g., 380,476 certificates) and an occasional bias in program coverage (e.g., age group 35-54 years), in what concerns the assessment of the organization, we identified program implementation failures (e.g., extended waiting time to start the program) and problems in service provision (e.g., lack of service specifications which are important for the estimation of costs and for costbenefit analysis), as opposed to the accessibility issue which, from our point of view, facilitates access (e.g., geographic distribution) and the merit of the analyzed support functions (e.g., collaboration protocols). Regarding the impact assessment, the few evaluations in this area (e.g., Católica University) and the absence (or unawareness) of studies on efficiency (cost-benefit or cost-effectiveness analysis), has influenced the relevance of our empirical work. The research design model used is a nonrandomized quasi-experimental, reflexive controls pre-post design. However, due to the unavailability, by the IEFP, I.P., to provide data on the working condition of the participants, the possibility of fulfilling all the objectives originally set for this case study was corrupted. In light of the reasons given by this institution, we believe we are in the presence of various misunderstandings and dilemmas on which we reflect (e.g., political versus technical assessment; open versus closed administration, superintendency versus excessive zeal). Finally we would like to emphasize that we don‟t shy away from responsibility in what concerns the limitations of the study: when proposing to evaluate a social program, we must ensure access to all data, taking the proper precautions when it comes to any disruption in context, either political or organizational.
TypeMaster thesis
DescriptionDissertação de mestrado em Administração Pública (área de especialização em Gestão Pública)
URIhttp://hdl.handle.net/1822/20763
AccessOpen access
Appears in Collections:BUM - Dissertações de Mestrado
EEG - Dissertações de Mestrado

Files in This Item:
File Description SizeFormat 
Humberto José do Vale Ferreira.pdf4,07 MBAdobe PDFView/Open

Partilhe no FacebookPartilhe no TwitterPartilhe no DeliciousPartilhe no LinkedInPartilhe no DiggAdicionar ao Google BookmarksPartilhe no MySpacePartilhe no Orkut
Exporte no formato BibTex mendeley Exporte no formato Endnote Adicione ao seu ORCID