Empirical software engineering in educational context

Abstract

A engenharia de software empírica é uma subárea da engenharia de software que visa a aplicação de teorias e métodos empíricos para a medição, compreensão e melhoria do processo de desenvolvimento de software em empresas de software reais. A experimentação é realizada para nos ajudar a melhor avaliar, prever, entender, controlar e melhorar o processo de desenvolvimento de software e o produto. Os estudos empíricos são importantes na engenharia de software para avaliar novas ferramentas, técnicas, métodos e tecnologias de forma estruturada antes de serem introduzidas no processo de software industrial (real). A realização de experimentos na área da engenharia de software num contexto industrial é extremamente difícil por diversos motivos. As empresas têm de entregar resultados e são pressionadas por custos, prazos e qualidade. As empresas não podem libertar os colaboradores para fazer experimentos. Consciente desta limitação, esta tese apresenta um ambiente experimental em contexto educacional. Criar um ambiente industrial em contexto educacional não é uma tarefa fácil. Envolve sinergias do corpo docente, compromisso dos estudantes e disponibilidade de recursos. No entanto, as soft skills que os estudantes podem adquirir nesse contexto valem todo o esforço necessário. Esta tese apresenta um ambiente experimental em contexto educacional que permite realizar estudos empíricos usando estudantes como sujeitos. Para além das competências técnicas e tecnológicas, este novo ambiente, potencia as competências de comunicação, trabalho em equipa, gestão e engenharia aos estudantes envolvidos. Esta tese apresenta também, um framework que guia o processo experimental em contexto educacional. Este framework também permite classificar os estudos empíricos realizados pelos estudantes. O novo framework surge de uma adaptação do framework de experimentação de Basili dirigido a contextos industriais. À luz deste framework foram classificados dezenas de projetos realizados por estudantes de diferentes unidades curriculares. Com eventuais ajustamentos que possa sofrer, é entendido que o framework é útil, ajustado e pertinente.

Empirical Software Engineering is a sub-field of software engineering which aims at applying empirical theories and methods for measuring, understanding, and improvement of the software development process in real software companies. The experimentation is performed in order to help us better evaluate, predict, understand, control, and improve the software development process and product. Empirical studies are important in software engineering to evaluate new tools, techniques, methods, and technologies in a structured way before they are introduced in the industrial (real) software process. Conducting experiments in software engineering area in an industrial context is extremely difficult for several reasons. Companies must deliver results and they are pressured by costs, timing, and quality. Companies cannot release their employees to do experiments. Being aware of this situation, this thesis presents an experimental environment in an educational context. Creating an industrial environment in an educational context is not an easy task. It involves synergies from the teaching staff, student commitment, and resource availability. However, the soft skills that students can acquire in such a context are worth all the effort required. This thesis presents an experimental educational environment that allows realizing empirical studies using students as subjects. In addition to technical and technological skills, this new environment enhances the communication, team working, management and engineering skills of the students involved. This thesis presents a framework that guides the experimental process in an educational context. This framework also allows classifying the empirical studies carried out by the students. The new framework arises from an adaptation of Basili's experimentation framework aimed at industrial contexts. In light of this framework, dozens of projects carried out by students from different course units were classified. With any adjustments that may be made, it is understood that the framework is useful, adjusted, and relevant.