Automated web scraping and data visualisation for tourism based on popular accommodation platforms

Abstract

The project developed is part of “Programa INTERREG V A España – Portugal (POCTEP)”, on which several entities collaborate in cross-border projects, with the main goal of securing the sustainability, innovation and efficient management of tourism resources in Portugal and Spain, while also harmonising the use of technology in the tourism sector. Through web scraping and data visualisation techniques, information regarding tourists and their destinations was extracted from online platforms, being then organised and interpreted, in order to obtain useful insights. With the Python programming language as this project’s main pillar, an automated web scraping tool was designed, with a custom user interface to facilitate access. Then, after the cleaning of data using regular expressions and text replacement, several graphs were conceived, followed by a data visualisation dashboard which also allows interaction with those graphs. In the end, the whole process was automated, allowing this method to periodically monitor the targeted tourism areas with efficiency. Thus, through this self-sufficient competitive vigilance system, an effective management of the tourism sector resources can be ensured.

O projeto desenvolvido faz parte do “Programa INTERREG V A España – Portugal (POCTEP)”, no qual diversas entidades colaboram em projetos transfronteiriços, com o principal objetivo de assegurar a sustentabilidade, inovação e gestão eficiente dos recursos turísticos em Portugal e Espanha, harmonizando também o uso da tecnologia no setor turístico. Através de técnicas de web scraping e de visualização dados, foi extraída de plataformas turísticas informação relativa aos turistas e aos seus destinos turísticos, sendo então organizada e interpretada, de forma a obter as suas perceções. Com a linguagem de programação Python como o principal pilar deste projeto, uma ferramenta de web scraping automatizada foi criada, com uma interface de utilizador customizada, para facilitar o acesso. Então, após a limpeza dos dados usando expressões regulares e substituição de texto, vários gráficos foram concebidos, seguidos de uma dashboard de visualização de dados que também permite interação com esses dados. No fim, o processo todo foi automatizado, permitindo que este método analise periodicamente as áreas-alvo de turismo com eficácia. Assim, através deste sistema de vigilância competitiva autossuficiente, uma gestão eficiente dos recursos do sector turístico pode ser assegurada.