Sentiment analysis – a machine learning approach to improve customer service

Abstract

Companies currently have a large amount of textual data coming from e-mails and/or forms sent by their customers. The cost associated with the manual response to each customer is very high due to the massive amount of this type of information. It is, therefore, in this sense of supporting the customer support team of a portuguese retailer that this dissertation aims to contribute with an artificial intelligence model capable of classifying the sentiment present in the messages sent by customers, as well as with tools that allow the identification of the most present themes in the messages that reach the team, from the most negative to the most positive feedbacks. For this, this dissertation addresses text processing techniques applied to senti ment analysis, such as removing words that do not contribute significantly to the identification of sentiment, known as stopwords and eliminating characters that may interfere with the proper interpretation of the text. In addition to text processing techniques, this dissertation presents a detailed analysis of several models used in Sentiment Analysis. Traditional methods such as naive Bayes, random forests, logistic regression, XGBoost, and ordinal regression are explored, as well as approaches based on pre-trained models. This dissertation resulted in the development of a machine learning model of sentiment analysis. The model has a high ability to identify the sentiment present in texts, which can assist the customer service team in responding to customers in a personalized way, providing a more effective and satisfactory service.

Atualmente, as empresas dispõem de uma grande quantidade de dados textuais provenientes de e-mails e/ou formulários enviados pelos seus clientes. O custo associado à resposta manual a cada cliente é muito elevado devido à quantidade massiva deste tipo de informação. É, então, neste sentido de apoiar a equipa de apoio ao cliente de um retalhista português que esta dissertação tem como objetivo contribuir com um modelo de inteligência artificial capaz de classificar o sentimento presente nas mensagens enviadas pelas clientes, bem como com ferramentas que permitam a identificação dos temas mais presentes nas mensagens que chegam à equipa, desde Os feedbacks mais negativos aos mais positivos. Para isto, esta dissertação aborda técnicas de processamento de texto aplicadas à análise de sentimento, como por exemplo remoção de palavras que não contribuem significativamente para a identificação de sentimentos, conhecido como stopwords e eliminação de caracteres que possam interferir na interpretação adequada do texto. Além das técnicas de tratamento de texto, esta dissertação apresenta uma análise detalhada de diversos modelos utilizados em análise de sentimento. São explorados métodos tradicionais, como naive Bayes random forests, logistic regression, XGBoost e ordinal regression, bem como abordagens baseadas em modelos pré-treinados. Esta dissertação resultou no desenvolvimento de um modelo de aprendizagem automática de análise de sentimento. O modelo possui uma alta capacidade de identificação do sentimento presente em textos o que pode auxiliar a equipa de apoio ao cliente na resposta personalizada aos clientes, proporcionando um atendimento mais eficaz e satisfatório.