Database preservation toolkit: a relational database conversion and normalization tool

Abstract

Databases are one of the main technologies supporting organizations’ information assets, and very often these databases contain information that is irreplaceable or prohibitively expensive to reacquire. The digital preservation field attempts to maintain this kind of information accessible and authentic for multiple decades, but the complexity commonly found in databases and the incompatibilities between database systems make it difficult to preserve this kind of digital object. The Database Preservation Toolkit is a software that automates the migration of relational databases to the second version of the Software Independent Archiving of Relational Databases format. Furthermore, this flexible tool that supports the current most popular Relational Database Management Systems can also convert a preserved database back to a Database Management System, allowing for some special usage scenarios in an archival context. The conversion of databases between different formats, whilst retaining the databases’ significant properties, poses a number of interesting issues, which are described in this document, along with their current solutions. To complement the conversion software, the Database Visualization Toolkit is introduced, a software tool that provides access to preserved databases, enabling a consumer to quickly search and explore a database without knowing any query language. The viewer is capable of handling big databases as well, promptly presenting results of searching and filtering operations on millions of records. This work covers the challenges of relational database preservation, and the development of a format and tools that play an important role in successfully preserving this kind of information.

As bases de dados são uma das principais tecnologias para armazenamento e gestão de informação digital de uma organização e, caso se perdesse, esta informação poderia ser de muito difícil ou dispendiosa recuperação. Para evitar este tipo de situações e despesas, a área da Preservação Digital tenta encontrar formas de manter a informação acessível e autêntica durante várias décadas, no entanto, devido à complexidade presente nas bases de dados e às incompatibilidades entre diferentes sistemas de base de dados, preservar bases de dados não é uma tarefa trivial. O Database Preservation Toolkit é uma aplicação que automatiza a conversão de bases de dados relacionais para um formato especialmente desenhado para a sua preservação, o Software Independent Archiving of Relational Databases. Esta ferramenta é capaz de exportar bases de dados dos sistemas de gestão de base de dados mais populares, e também recuperar a base de dados para um sistema de gestão de base de dados, potencialmente diferente do seu sistema original. Esta flexibilidade na escolha dos formatos ou sistemas de entrada e saída faz com que a ferramenta possa ser usada para solucionar vários problemas no contexto da preservação de bases de dados. Para complementar a ferramenta de conversão foi criada uma plataforma de visualização de bases de dados que estejam num formato de preservação, o Database Visualization Toolkit. Esta plataforma permite analisar os meta-dados da base de dados e pesquisar o seu conteúdo, sem requerer conhecimento especializado na área das bases de dados. A ferramenta foi desenhada para providenciar acesso a bases de dados de grandes dimensões, para ter a capacidade de apresentar rapidamente os resultados de pesquisas em milhões de registos. O presente documento foca-se na preservação de bases de dados relacionais, abordando as principais dificuldades dessa atividade, assim como o desenvolvimento de um formato específico para preservação desses objetos, e descreve o desenvolvimento e funcionamento de ferramentas que têm um papel crucial na preservação deste tipo de objetos digitais.