Melodic, using music to train visually impaired kids in computational thinking

Abstract

This document, in context of second year of Integrated Master of Informatics Engineering, reports the development of a project that intends to teach Computational Thinking to kids with special educational needs, in this case blindness. The aim of this research is to characterize both subjects, Computational Thinking and Blindness, and identify what are the current most used and best practises to teach this different way of thinking to kids with special needs. To achieve this, Melodic was created. This is a system composed by a software and a hardware where the user must create sequences with the tactile blocks (the hardware) and then read them with the mobile application (the software), that converts the sequence created into sound. With this, the user can easily hear the differences that the changes in the blocks sequence can make. This can be compared to the Computational Thinking teaching through the use of robots, because in that case, users can see the result of their instructions in the robot movement and with Melodic, the user can hear the result of their instruction with the musical note sequence played by the app. In this document more technical aspects such as the architecture of the application that is proposed to accomplish the goal of the present Master’s project, will also be discussed. After this, the project development process that lead to the creation of Melodic is described as well as all the decisions taken. A description of all functionalities of this system can also be seen in this document. To prove the research hypothesis initially stated, some exercises were created and described. The referred exercises were designed to access if Melodic actually develops Computational Thinking.

Este documento, no contexto do segundo ano do Mestrado Integrado em Engenharia Informática, relata o desenvolvimento de um projecto que pretende ensinar Pensamento Computacional a crianças com necessidades educativas especiais, neste caso a cegueira. O objetivo desta investigação é caraterizar tanto o Pensamento Computacional como a Cegueira, e identificar quais são atualmente as práticas mais usadas para ensinar esta forma diferente de pensar a crianças com necessidades especiais. Para o conseguir, foi criado o Melodic. Este é um sistema composto por software e hardware onde o utilizador deve criar sequências com os blocos tácteis (o hardware) e depois lê-los com a aplicação móvel (o software), que converte a sequência criada em som. Com isto, o utilizador pode facilmente ouvir as diferenças que as alterações na sequência dos blocos podem fazer. Isto pode ser comparado com o ensino Pensamento Computacional através do uso de robôs, sendo que nesse caso os utilizadores podem ver o resultado das suas instruções no movimento do robô e com Melodic, os utilizadores podem ouvir o resultado das suas instruções com a sequência de notas musicais tocadas pela aplicação. Este é um sistema composto por um software e um hardware onde o utilizador deve criar sequências com os blocos tácteis (o hardware) e depois lê-los com a aplicação móvel (o software), que converte a sequência criada em som. Neste documento serão também discutidos aspetos mais técnicos, tais como a arquitetura da aplicação que é proposta para atingir o objectivo deste projecto de mestrado. Depois disto, descreve-se o processo de desenvolvimento do projecto que levou à criação da Melodic, bem como todas as decisões tomadas. Uma descrição de todas as funcionalidades deste sistema também pode ser vista neste documento. Para comprovar a hipótese de investigação inicialmente referida, foram criados e descritos alguns exercícios. Os referidos exercícios foram concebidos para verificar se o Melodic realmente se treina o Pensamento Computacional.