Predicting problems from Telecom installation processes

Abstract

Improving customer experience is crucial in any industry, especially in telecommunications, where competition is a constant factor. Today, all telecommunications companies rely on the massive amount of data generated daily to get to know the customer, study their behavior, and create new effective strategies for their business. The information collected may include network information, representing the status of hardware and software components in the network, and the client’s details and calls to support and customer assistance data, which describes problems, consumer complaints, and all other problem-solving interactions. By combining these mountains of raw data with data mining and machine learning techniques, companies can find solid patterns or systematic relationships that represent valuable information, that is, generate knowledge. Within the most varied user experiences, the process of installing new services can be an event that raises doubts about their operation, degrade the user experience, or, in extreme cases, lead to maintenance interventions. Therefore, the use of advanced predictive models that can predict such occurrences become vital. With this, the company can anticipate the cases that will be problematic and reduce the number of negative experiences. The main objective of this work is to create a predictive model that, through all the available data history, can predict which customers will contact the customer service with problems derived from the installation process and have a following maintenance intervention. After analyzing an imbalanced dataset with approximately 560K entries from a Portuguese telecommunications company, and resorting to the CRISP-DM methodology for modeling, the best results were found with LightGBM, which obtained an AUPRC of 0.11 and AUROC of 0.62. The best tradeoff between precision and recall was found with a threshold model of 0.43 in order to maximize recall while still avoiding a large number of false negatives. The strategies explored in this work and the challenges found may help the company understand which details should improve in its service provision, and which data still need to be investigated in the future.

Melhorar a experiência do cliente é crucial em qualquer setor, principalmente nas telecomuni cações onde a concorrência é um fator constante. Atualmente, todas as empresas de telecomu nicações recorrem à quantidade de dados colossal gerada diariamente para conhecer o cliente, estudar o seu comportamento e assim criar novas estratégias eficazes para o seu negócio. As informações recolhidas podem incluir relatórios de rede, que representam o estado dos componentes de hardware e software na rede, e detalhes sobre o cliente e contactos ao suporte e apoio ao cliente, que descrevem problemas, reclamações de consumidores e todas as demais interações para resolução de problemas. Juntando estas montanhas de dados brutos a técnicas de Data Mining e Machine Learning, as empresas são capazes de encontrar padrões sólidos ou relacionamentos sistemáticos que representem informações valiosas, ou seja, gerar conhecimento e inteligência. Dentro das mais variadas experiências do utilizador, o processo de instalação de novos serviços pode ser um evento que origina dúvidas sobre a sua operação, degrada a experiência de utilização ou, em casos extremos, leva a intervenções de manutenção. Para tal, o uso de modelos avançados de previsão que consigam prever tais ocorrências torna-se vital. Com isto, é possível à empresa antecipar os casos que serão problemáticos e reduzir o número de experiências negativas. Esta dissertação tem como principal objetivo criar um modelo de previsão que, através de todo o histórico de dados disponível, consiga prever quais os clientes que irão contactar o serviço de apoio ao cliente com problemas decorrentes do processo de instalação e ter uma intervenção de manutenção de seguida. Após analisar um conjunto de dados não balanceado com aproximadamente 560K entradas de uma empresa portuguesa de telecomunicações, e recorrendo à metodologia CRISP-DM para modelação, os melhores resultados foram encontrados com o LightGBM, que obteve um AUPRC de 0.11 e AUROC de 0.62. O melhor trade-offentre a precisão e a recallfoi encontrado com um thresholdde modelo de 0.43, de forma a maximizar a recall, evitando um grande número de falsos negativos. As estratégias exploradas neste trabalho e os desafios encontrados podem ajudar a empresa a entender que detalhes do seu provisionamento de serviços devem melhorar e quais os dados que ainda precisam de ser investigados no futuro.