RSafeFS: sistema de ficheiros modular para armazenamento remoto

Abstract

File systems are widely used for storing digital information, as they offer abstractions that allow data to be intuitively separated and organized through files and directories, according to the requirements of applications and users. The continuous growth of data volume and complexity leads to the constant evolution of these systems. However, the complexity of integration of new features and lack of continuous support, leads to many file systems not being adopted in practice. In this sense, stackable file systems have emerged, which allow the development of complex file systems, providing existing systems with new functionalities through independent processing layers. Despite this, the development of these systems presents some challenges, namely in terms of speed of implementation, portability, and resilience, since they are developed in kernel. In this way, later solutions emerged that allowed the development of file systems in user space, thus mitigating some of the problems identified in the development of this type of file systems. However, these solutions have not been properly explored in the development of remote file systems. Therefore, this dissertation presents RSafeFS, a platform that extends the SafeFS system to allow developing modular, flexible and extensible remote file systems in user space. The proposed solution enables extensible remote file system implementations that adjust to the requirements of different types of applications and storage workloads. It was then necessary to develop a layer that would allow an RSafeFS instance to operate as a system server, and a communication layer, based on remote procedure calls (RPCs), to allow interoperability between client and server instances. To demonstrate the ease of integration of new features, taking advantage of the modularity and flexibility of RSafeFS, the developed prototype was equipped with two layers of caching, namely data and metadata, which aim to improve system peformance. The results obtained with this prototype reveal that the file systems developed through RSafeFS obtain performances comparable to remote storage solutions based on FUSE. Furthermore, with the processing layers developed it is possible to adjust the system to different types of workloads, allowing, for example, to improve system performance by 1.5× in certain workloads.

Os sistemas de ficheiros são atualmente uma das soluções mais utilizadas para o armazenamento de informação digital, pois oferecem abstrações que permitem separar e organizar de forma intuitiva os dados através ficheiros e diretorias, segundo os requisitos das aplicações e dos utilizadores. O contínuo crescimento do volume e complexidade de dados leva a constante evolução destas soluções. Contudo, a complexidade de integração de novas funcionalidades e falta de suporte contínuo, leva a que muitos dos sistemas de ficheiros desenvolvidos não sejam adotados. Neste sentido, surgiram os sistemas de ficheiros empilháveis, que permitem desenvolver sistemas de ficheiros complexos, dotando sistemas já existentes com novas funcionalidades através de camadas de processamento independentes. Apesar disto, o desenvolvimento destes sistemas apresenta alguns desafios, nomeadamente a nível da rapidez de implementação, portabilidade, e resiliência, uma vez que são desenvolvidos ao nível do kernel. Desta forma, mais tarde, surgiram soluções que permitiram desenvolver sistemas de ficheiros em espaço de utilizador, mitigando assim alguns dos problemas identificados no desenvolvimento deste tipo sistemas de ficheiros. Contudo, estas soluções não têm sido devidamente exploradas no desenvolvimento de sistemas de ficheiros remotos. Esta dissertação apresenta o RSafeFS, uma plataforma que estende o sistema SafeFS para permitir desenvolver sistemas de ficheiros remotos modulares, flexíveis e extensíveis em espaço de utilizador. Foi então necessário desenvolver uma camada que permitisse a uma instância RSafeFS operar como um servidor do sistema, e meios de comunicação, baseados em protocolos remotos (RPCs), para permitir a interoperabilidade entre instâncias cliente e servidor. Desta forma, a solução proposta permite desenvolver soluções de armazenamento remotas extensíveis e adaptáveis a requisitos de diferentes tipos de aplicações e cargas de trabalho. Para demonstrar a facilidade de integração de novas funcionalidades, tirando partido da modularidade e flexibilidade do RSafeFS, o protótipo desenvolvido foi dotado com duas camadas de caching, nomeadamente de dados e metadados, que procuram melhorar o desempenho do sistema. Os resultados obtidos com este protótipo, revelam que os sistemas de ficheiros desenvolvidos através do RSafeFS obtém desempenhos comparáveis com os de soluções de armazenamento remotos baseadas em FUSE. Ainda, com as camadas de processamento desenvolvidas é possível ajustar o sistema a diferentes tipos de cargas de trabalho, permitindo, por exemplo, melhorar o desempenho do sistema em 1.5× em determinadas cargas de trabalho.