A data analysis approach to evaluate the performance of predictive models

Abstract

Bikes have become an increasingly popular mode of transportation, mainly due to their agility in covering short distances and as a sustainable mode of transportation. More and more cities worldwide are adopting bike-sharing systems, where users can rent a bike for a small fee. However, this shift also brings its own challenges, that ranges from ensuring safety and robust infrastructure to managing costs. One prominent issue is ensuring bike availability. After all, the main value proposition of such systems is their convenience. If a user approaches a rental station and do not finds any bike available, or if there are no slots to return the rented bike, the system loses its purpose. Predicting the number of rentals each station will have each day is a challenge, as this value is highly unpredictable and can be influenced by various factors, from the weather to local events. This dissertation addresses the bike availability issue in a bike-sharing system. Having bikes available at the right place and the right time is the key to success. To effectively forecast demand, two predictive algorithms were implemented: SARIMAX and Gradient Boosting. SARIMAX is a variant of the well-known ARIMA, recognized for its accuracy in time series forecasting. On the other hand, Gradient Boosting, an algorithm based on decision-trees, is widely used because of its ability to handle vast amounts of data with minimal computational resources. The core question of this dissertation is to determine which of these algorithms will best predict the daily demand of each station, ensuring that users always have a bike available when and where they need it. This guarantees users satisfaction and, in return, promotes the growth of companies managing such systems. Based on the daily rental volumes of each station, the Gradient Boosting algorithm was the one that presented the best performance. This performance was further improved when the stations were divided into clusters, depending on their rental volume.

As bicicletas têm-se tornado um meio de transporte cada vez mais popular, principalmente devido à sua flexibilidade para percorrer curtas distâncias e ao facto de serem um meio de transporte sustentável. Cada vez mais as cidades estão a adotar sistemas de partilha de bicicletas, onde os utilizadores podem alugar uma bicicleta mediante o pagamento de uma pequena taxa. No entanto, essa mudança traz os seus próprios desafios, que variam desde a garantia de segurança e infraestruturas robustas até à gestão de custos. Um problema proeminente é garantir a disponibilidade de bicicletas. Afinal, o principal benefício deste tipo de sistemas é a sua conveniência. Se um utilizador se desloca a um estação de aluguer e não encontra nenhuma bicicleta disponível, ou se não há vagas disponíveis para devolver a bicicleta alugada, o sistema perde o seu propósito. Prever o número de alugueres que cada estação terá em cada dia é um desafio, uma vez que este valor é altamente imprevisível, podendo ser influenciado por vários fatores, desde o clima até eventos locais. Esta dissertação aborda a questão da disponibilidade de bicicletas num sistema de partilha de bicicletas. Ter bicicletas disponíveis no lugar e momento certo é a chave para o sucesso. Para prever a procura de forma eficaz, foram implementados dois algoritmos de previsão: SARIMAX e Gradient Boosting. SARIMAX é uma variante do conhecido ARIMA, reconhecido pela sua precisão na previsão de séries temporais. Por outro lado,o Gradient Boosting, um algoritmo baseado em árvores de decisão, é amplamente utilizado pela sua capacidade de lidar com grandes volumes de dados utilizando poucos recursos computacionais. A questão central desta dissertação é determinar qual destes algoritmos prevê melhor a procura diária de cada estação, garantindo que os utilizadores têm sempre uma bicicleta disponível quando e onde necessitam. Com base nos volumes diários de aluguer de cada estação, o algoritmo Gradient Boosting foi o que apresentou melhor desempenho, que foi ainda melhorado quando as estações foram divididas em clusters com base no seu volume de alugueres.