Modelação de processos de ETL com meta-modelos em BPMN

Abstract

O planeamento e desenvolvimento de um processo de ETL (Extração, Transformação e Carregamento) de um data warehouse é tipicamente um processo moroso cuja complexidade é altamente influenciada não só pela quantidade de dados a processar, mas também pelo esforço computacional necessário para integrar esses dados num repositório com uma estrutura e modelo de armazenamento próprio. Apesar da sua enorme importância na implementação e sucesso de um data warehouse, continua a não existir uma abordagem convincente para a modelação de processos de ETL, capaz de suportar as diversas fases do seu desenvolvimento e sua consequente implementação. Isto é, uma abordagem que permita a sua caraterização a um nível mais abstrato e que posteriormente proporcione o seu mapeamento direto em primitivas de execução. Neste artigo propomos uma abordagem para modelação e implementação de processos de ETL orientada por meta modelos capaz de acolher as tarefas padrão tipicamente utilizadas em ETL, que através de um conjunto de novos construtores BPMN (Business Process Model Notation) possibilita a modelação e validação de tais processos, antes de se proceder à sua implementação.

Planning and development an data warehouse ETL (Extraction, Transformation and Load) system, is typically a complex and time consuming task whose complexity is highly influenced not only by the amount of data to analyze, but also the computational effort required to integrate these data in same data structure and storage model in order to load it into a final data repository. Despite its enormous importance in the implementation and success of a data warehouse, there is still no convincing approach to ETL modeling, able to support the various stages of its development and subsequent implementation. That is, an approach that allows their characterization to a more abstract level and later provides its direct mapping in execution primitives. In this paper we propose an approach for modeling and implementing ETL processes based on meta-models (patterns), which represents standard tasks typically used in most real-world ETL systems. For that, we intend to use a series of new BPMN (Business Process Model Notation) constructs, which enables the modeling and validation of such processes, before conducting to its final implementation.