LSFS: sistema de ficheiros tolerante a faltas para armazenamento em larga escala

Abstract

A necessidade de armazenar quantidades de informação cada vez maiores tem vindo a acentuar-se nos dias correntes. Conceitos como Internet das Coisas (IoT) e Big Data, atualmente em voga, vem normalmente associados a muito dados motivando a procura por novas formas de armazenar e aceder a informação. Atualmente, milhares de aplicações recorrem a interfaces de sistemas de ficheiros para assegurar a persistência e o rápido acesso aos dados que geram. No entanto, as soluções de sistemas de ficheiros existentes apresentam configurações centralizadas ou orientadas a poucos nodos em redes controladas que se refletem numa escala e disponibilidade limitada. De forma a abordar estes desafios, esta dissertação propõe o sistema LSFS, Large Scale Filesystem, que se trata de um sistema de ficheiros distribuído, compatível com a interface POSIX, capaz de escalar para redes de centenas a milhares de nodos heterogéneos, e ainda garantir elevada resiliência à falha dos seus nodos. Estas propriedades decorrem da sua arquitetura completamente descentralizada, peer-to-peer, e da utilização de protocolos de natureza epidémica. A aplicação destes protocolos no contexto de um sistema de ficheiros é nova, constituindo a principal contribuição desta dissertação. Como outras contribuições, propomos um protótipo do sistema e uma avaliação experimental extensa conduzida com um caso de estudo real e num ambiente com 500 nodos. Os resultados mostram que o sistema LSFS consegue tolerar falhas de caracter catastrófico (p.ex. que contemplam 25% dos nodos totais) mantendo um desempenho de armazenamento estável ao longo do tempo.

The need to store ever-increasing amounts of data has become more pronounced in current days. Concepts such as the Internet of Things (IoT) and Big Data, currently in vogue, come usually associated with large amounts of data motivating the search for new ways to store and access it. Today, thousands of applications use file system interfaces to ensure persistence and fast access to the data they manage. However, existing file systems present centralized solutions or targeted to a reduced number of nodes, limiting scale and availability. In order to tackle these challenges, this dissertation proposes LSFS, Large Scale Filesystem, which is a distributed file system, compatible with the POSIX interface, capable of scaling to networks of hundreds to thousands of heterogeneous devices, while ensuring high resilience to node-failure. These properties derive from its completely decentralized peer-to-peer architecture, and the use of epidemic protocols. The application of these protocols in the context of a file system is new and constitutes the main contribution of this thesis. As further contributions, we propose a prototype of the system and an extensive experi mental evaluation conducted with a real case study and in an environment of 500 network nodes. The results show that the LSFS system can tolerate catastrophic failures (e.g. that account for 25% of total nodes) while maintaining stable storage performance over time.