Polyglot: sistema poliglota de processamento de dados

Abstract

O aumento exponencial do volume de dados gerados no mundo tecnológico atual é incontestável. A necessidade de armazenar e processar esses grandes volumes de dados levou a indústria a optar por soluções de armazenamento e processamento na nuvem. Além disto, os desenvolvedores optam cada vez mais por sistemas de base de dados que permitem melhor desempenho e também tirar partido da variedade estrutural dos dados face aos sistemas relacionais tradicionais. Estes sistemas que estão a surgir apresentam modelos de dados baseados em estruturas como, p.e., grafos ou índices chave-valor, e oferecem interfaces que podem ser apenas duas operações (PUT/GET) ou, à semelhança dos sistemas relacionais com o SQL, ter linguagens de interrogação específica. Contudo, a migração de praticamente todos os componentes das infraestruturas das aplicações para a nuvem implica que os dados sejam processados e armazenados em infraestruturas de terceiros, ficando muitas vezes a privacidade destes comprometida. Por outro lado, um dado problema pode ter dados com estruturas diferentes ou partes diferentes de uma aplicação podem ter necessidades diferentes quanto aos dados e, por isso, a diversidade entre sistemas de armazenamento leva uma grande complexidade em desenvolver sistemas que usem várias fontes de dados diferentes e heterogéneas eficientemente. Assim, esta dissertação pretende dar uma resposta à problemática da gestão de dados de forma privada nas aplicações web, potencializando a utilização de múltiplos sistemas de fontes de dados heterogéneas. Em específico, esta dissertação apresenta uma nova arquitetura, à qual se chamou Polyglot, que permite a manutenção da privacidade dos dados, enquanto ao mesmo tempo possibilita a utilização de múltiplas fontes de dados heterogéneas e tira partido da nuvem para grande parte do processamento. Esta arquitetura é também implementada sob a forma de um protótipo direcionado a um sistema de monitorização, que consiste no caso de estudo desta dissertação. Este protótipo permite comprovar a validade da arquitetura, sendo que a implementação feita demonstra todas as funcionalidades essenciais ao funcionamento do sistema. Mais ainda, este protótipo é também avaliado a nível de desempenho e utilização de recursos, permitindo demonstrar a viabilidade deste sistema para uma utilização em cenários reais. Por último exploram-se algumas das funcionalidades mais relevantes que se poderiam adicionar ao sistema e os ganhos que estas trariam face à implementação atual, demonstrando o potencial do protótipo.

The exponential growth of the volume of data currently generated in the technological world is undeniable. The need to store and process these large amounts of data lead the industry to choose storing and processing solutions based on cloud services. Moreover, developers are increasingly choosing database systems that have better performance and also allow take advantage of the structural variety of data, when compared to traditional relational systems. These surging systems’ data models are based on structures such as, for instance, node graphs or key-value indexes and offer interfaces that can be only two operations (PUT/GET) or, similarly to the relational systems and SQL, have its own specific query language. However, the migration of practically every component of an application infrastructure to the cloud means the data is processed and stored in a third party’s infrastructure, usually compromising data privacy. On another hand, a single problem can have data with multiple structures or different parts of a given application may have different needs regarding data, and so, the diversity among database systems leads to great complexity while developing systems that use multiple and disparate data sources efficiently. This dissertation aims at answering the problem of private data management in web applications, while boosting the use of multiple disparate data sources. Specifically, this dissertation presents a new architecture, called Polyglot, which allows the maintenance of data privacy, whilst allowing the use of disparate data sources and taking advantage of the cloud for most processing. This architecture is then implemented on a prototype, which was developed for integration with a monitoring system, which is the dissertation’s case study. This prototype proves the validity of the architecture, since the implementation showcases all the major features required for the system to work. This prototype is experimentally evaluated, with metrics being taken for performance and resources usage, and showing the validity of this system for a real scenario usage. Lastly we explore some of the most relevant features that could be added to the system, showing the increases in performance and resource economization they would bring, when compared to the current implementation, showcasing the potential of this system.