DataHub e Apache Atlas: uma análise comparativa de ferramentas de catalogação de dados

Abstract

Big Data introduces a significant increase of complexity to projects, in which, the use of inadequate data will inevitably produce inadequate and incorrect analysis. Data Catalogs centralize the system’s metadata into one place, providing a global view of the stored data, so it is essential to use appropriate data catalog tools. The choice of the tool that best suits the needs of the projects must be well-founded. This paper uses the OSSpal methodology, usually used for comparing open-source technologies, to do a comparative analysis of two tools: DataHub and Apache Atlas.

Big Data introduz um acréscimo significativo de complexidade aos projetos, nos quais, a utilização de dados inadequados irá produzir, inevitavelmente, análises inadequadas e incorretas. Os catálogos de dados centralizam todos os metadados de um sistema de Big Data num único local, fornecendo uma visão global dos dados armazenados, pelo que é fundamental a utilização de ferramentas de catalogação de dados adequadas aos projetos em que inserem. A escolha da ferramenta que melhor se adequa às necessidades dos projetos deve ser o mais fundamentada possível. Neste trabalho foi aplicada a metodologia OSSpal, de comparação de tecnologias open-source, para a análise comparativa de duas ferramentas: DataHub e Apache Atlas.