Benchmarking de técnicas de Bussiness Analytics em Big Data

Abstract

Os desenvolvimentos tecnológicos e a crescente dependência das organizações e da sociedade no mundo da internet levaram ao crescimento e variedade de dados. Esse crescimento e variedade, tornaram-se num desafio para os manipuladores de dados, uma vez que o processamento de uma grande quantidade de dados pode ser um desafio, porque pode despender muito tempo. Assim, veio a criação do conceito Big Data. Big Data pode ser entendido como um grande conjunto de dados com várias estruturas, que a tecnologia tradicional não consegue lidar, tendo dificuldade de armazenamento e de processamento. Nesta dissertação, serão definidos dois conceitos. Portanto, esta dissertação foca nos desafios que o Big Data coloca ao Data Mining, Nesta dissertação foi analisado um estudo de seleção de ferramentas de Data Mining, onde foram utilizadas duas metodologias tendo em consideração vários critérios de avaliação. Posteriormente, com base nos resultados do estudo anterior, foram selecionadas as duas melhores ferramentas, KNIME e RapidMiner. Nesta dissertação também são apresentadas algumas sugestões de boas práticas quando lidamos com dados. Depois de selecionadas as ferramentas, foi analisado um estudo referente à performance das ferramentas KNIME e RapidMiner em ambiente Big Data. No inicio deste documento é apresentado um enquadramento do projeto e qual o seu objetivo. De seguida, é apresentado a revisão de literatura onde são descritos os principais conceitos e tópicos relacionados com a dissertação. Posteriormente, são apresentadas as abordagens metodológicas utilizadas nesta dissertação, assim como de que forma foram utilizadas. De seguida, são apresentados os desafios de Big Data Mining. Seguidamente, é apresentado o estudo de seleção de ferramentas de Data Mining, assim como as experiências de comparação de performance das ferramentas selecionadas. Por fim, é apresentada a discussão dos resultados, onde também é apresentada uma análise SWOT, e a conclusão.

Technological developments and the growing dependence of organizations and society in the world of the internet, led to the growth and variety of data. This growth and variety has become a challenge for data handlers, since processing a large amount of data can be challenging because it can take a great deal of time. Thus, came the creation of the Big Data concept. Big Data can be understood as a large set of data with various structures, which the traditional technology can not handle, having difficulty in storage and process them. In this dissertation, two concepts will be defined. Therefore, this dissertation focuses on the challenges that Big Data puts the Data Mining. In this dissertation was analyzed a study of selection of Data Mining tools, where they were used two methodologies taking in consideration various criteria of evaluation. Subsequently, based on the results of the previous study, were selected the two best tools, KNIME and RapidMiner. In this dissertation are also presented some suggestions of good practice when dealing with data. After the tools were selected, was analyzed a study on the performance of the tools KNIME and RapidMiner in the Big Data environment. At the beginning of this document is presented the context of this project and its purpose. Then, the literature review is presented describing the main concepts and topics related to the dissertation. Subsequently, the methodological approaches used in this dissertation are presented, as well as how they were used. Then, is presented the Data Mining tool selection study, as well as the performance comparison experiments of the selected tools. Finally, a discussion of the results is presented, which also presents a SWOT analysis, and the conclusion.