Geração automática de conhecimento a partir de texto em Português

Abstract

Existem diversas formas de gerar de conhecimento, como também existem diversas ferramentas e bibliotecas que ajudam no desenvolvimento desta área. No entanto a maioria opera sobre a língua inglesa, sendo muito limitada para a língua portuguesa. Portanto, surgiu uma necessidade de obter uma ferramenta mais completa para que conhecimento em Português Europeu seja gerado. Para tal, as várias áreas de Text Mining consideradas relevantes para o desenvolvimento da dissertação. Nesta dissertação de mestrado foi desenvolvida uma aplicação denominada PORToKnowledge em ambiente empresarial, mais especificamente na Accenture, em parceria com a Universidade do Minho. Esta aplicação tem como objetivo receber um conjunto de texto em Português e transformar-lo num conjunto de regras em ASP que agrupam a informação relevante que existe no texto em eventos que podem ser do tipo unário, binário e ternário. Esta representação do conhecimento está organizada para que numa fase posterior a este projeto, através da tradução feita das frases em Português para ASP, seja possível criar um outro sistema que perceba o conhecimento que foi representado permitindo criar uma resposta. Desta forma, existirá uma representação interna de conhecimento que vai servir de base para mecanismos de geração de conversas com possíveis perguntas e respostas, sendo todo esse conhecimento gerado automaticamente através das frases que o utilizador insere no sistema. O PORToKnowledge foi arquitetada em duas camadas diferentes. Numa primeira fase o texto é analisado pela biblioteca Freeling devolvendo como output todas as palavras na sua forma raíz e marcadas com a sua respetiva classe gramatical. A segunda camada desta aplicação é um módulo desenvolvido em python, que concentra toda a lógica que permite fazer a tradução do conhecimento existente num texto para regras.

There are several ways to generate knowledge, as well as several tools and libraries that help in the development in this area. However, most of this tools and libraries operate mainly on the English language, being very limited to the Portuguese language. Thus, there is a need to obtain a tool that is more complete where knowledge can be generated in European Portuguese. To fulfill this need, the various aspects of Text Mining were studied for the development of the dissertation. In this master’s thesis, an application called PORToKnowledge that was created in a business environment, specifically at Accenture, in partnership with the University of Minho, was developed with the aim of receiving a set of text in Portuguese and transforming that text into a set of rules in ASP that group the relevant information that exists in the text in events that can be unary, binary or ternary. This knowledge representation is organized in a way that at a later stage of this project it becomes possible, through the translation of the sentences in Portuguese to ASP, to create another system that understands the knowledge that was represented allowing it to create a response to that knowledge. Furthermore, there will be an internal representation of knowledge that will serve as a basis for generation of conversations with possible questions and answers, where the knowledge is automatically generated through the phrases that the user enters the system. PORToKnowledge was designed in two different layers. In a first phase, the text is analyzed by the Freeling library, returning as output all the words in their root form and returning those words marked with their respective grammatical class. The second layer of this application is a module developed in python, which concentrates all the logic that allows the translation of existing knowledge into a text for rules.