Analytics-as-a-Service no contexto de plataformas de Big Data para Smart Cities

Abstract

O fluxo migratório que se assiste nas últimas décadas, nomeadamente para os centros urbanos, tem como consequência problemas sérios de sustentabilidade, tanto ao nível de recursos naturais, como ao nível da qualidade de vida dos seus habitantes. Sabe-se que 75% da população da União Europeia vive em cidades, e calcula-se que até 2020 este número suba para os 80%, o que preocupa não só as autoridades centrais, como locais. Por outro lado, verifica-se uma mudança de mentalidade, em que o cidadão demonstra interesse em colaborar com as autoridades, para e desta forma se iniciar uma governação participativa. Os desafios que são colocados a este tipo de gestão tornam a mesma impossível por meios tradicionais. No entanto, a proliferação das novas tecnologias já demonstrou a sua mais-valia nas mais variadas áreas, desde que estas sejam bem harmonizadas. Este projeto de dissertação tem como objetivo providenciar a arquitetura bem como a plataforma necessária para colmatar esta necessidade analítica através de um serviço disponibilizado no paradigma as-a-Service. Foi realizado um enquadramento conceptual, sobre a literatura relevante, dando ênfase aos conceitos de Big Data, plataformas, exemplos e arquiteturas de Big Data, tanto ao nível de tratamento como de análise de vastos volumes de dados, dando uma visão do estado de arte em relação à temática em estudo. No que diz respeito ao enquadramento tecnológico foi apresentada a arquitetura BASIS (Arquitetura de Big Data para Smart Cities), que constitui o ponto de partida para esta dissertação, dando continuidade ao trabalho já realizado e seguindo a necessidade identificada pelo autor de aprofundar a camada analítica da arquitetura. Neste sentido foram realizadas análises às plataformas Pentaho, BIRT, SpagoBI e Jaspersoft, de uma forma detalhada, por forma a serem percecionadas as principais características de cada uma delas com vista a identificar a que melhor se enquadra e que responda aos requisitos da arquitetura BASIS. Após a realização do estado da arte foi estabelecida uma arquitetura tecnológica que permitiu a execução de pequenos testes à plataforma SpagoBI onde se constatou que esta era capaz de suprir parte das necessidades analíticas. Seguidamente é feita a proposta de detalhe analítico para a arquitetura BASIS, dando particular atenção à camada conceptual e tecnológica da proposta, colmatando uma das principais lacunas encontradas na literatura, a falta de detalhe tecnológico. Por fim, a proposta de arquitetura foi validada através da integração de funcionalidades SpagoBI no protótipo “SusCity” dando exemplos de utilização do serviço.

The migration we are witnessing in recent decades, particularly for urban areas, results in serious problems of sustainability, both in terms of natural resources, as in the quality of life of its habitants. It is known that 75% of the EU population lives in cities, and it is estimated that by 2020 this number will rise to 80%, which concerns not only the central authorities but also, the local ones. On the other hand, it´s possible to see a change of mentality, in which citizens show interest in collaborating with the authorities, and thus to start a participatory governance. The challenges are posed to this type of administration, it impossible to make by traditional ways. However, the proliferation of new technologies has proved its added value in various areas, since they are well harmonized. This dissertation project aims to provide the architecture as well as the necessary platform to fill these analytical needs through a service available in the paradigm as-a- Service. In this work, a literature review on the relevant literature was developed, giving emphasis to the concepts of Big Data, platforms, examples and architectures of Big Data, both in terms of treatment and analysis of vast amounts of data, giving important insights on the state-of-the-art in relation to the topic under study. With regard to the technological environment, it is showed the BASIS architecture designed to support Big Data in a Smart Cities context, which is a starting point for this thesis, continuing the work already done, and following the need identified by the author to go into detail on the analytical layer of the architecture. After this, a detailed analysis was carried out to several platforms like Pentaho, BIRT, SpagoBI and Jaspersoft, in order to see their main features and identify the one that best fits and that responds to the BASIS architecture requirements. After the analysis of the state-of-the-art, it was established a technological architecture that allowed the execution of brief tests to the SpagoBI platform where it was found that it was able to make available many of the needed analytical tasks. The proposed analytical detail specified in the BASIS architecture is, paying particular attention to the conceptual and technological layer, thus fulfilling a major gap in the literature, the lack of technological detail. Finally, the proposed architecture has been validated through the integration of the SpagoBI features in the SusCity prototype, using some user examples.