Orchestration and distribution of services in hybrid cloud/edge environments

Abstract

The Edge Computing paradigm aims at leveraging the computational and storage capabilities of Internet of Things (IoT) devices, while resorting to Cloud Computing services for more demanding processing tasks that cannot be done at commodity devices. However, deploying distributed services across Edge and Cloud nodes raises new challenges that must be addressed. Namely, the choice of what nodes run each service component may be critical for ensuring an efficient service for users. For example, if two critical components, that must frequently exchange data, are placed in different geographic locations, the whole performance of the service will be affected. Therefore, these geographically dispersed environments demand new orchestration and distribution systems for hybrid Cloud and Edge environments, based on geographic location, service demand, business objectives, laws, and regulations. This thesis proposes Geolocate, a generic scheduler for workload orchestration and distribution across heterogeneous and geographically distant nodes. In more detail, it provides the design and implementation of a scheduling and placement algorithm based on nodes’ geographic location and resource availability and a fully functional prototype, integrating Geolocale with KubeEdge, an edge computing orchestration platform based on Kubernetes. The experimental results show that as the network latency and amount of data being transmitted between nodes increases, so does the response time for applications resorting to these distributed deployments. Our evaluation of an e-commerce application shows that the use of Geolocate can reduce, relative to KubeEdge’s default-scheduler, the average response time for requests by about 85%.

O paradigma da Computação na Borda visa alavancar as capacidades computacionais e de armaze namento dos dispositivos Internet of Things (IoT), ao mesmo tempo que recorre aos serviços de Computa ção em Nuvem para tarefas de processamento mais exigentes que não podem ser feitas em dispositivos comuns. No entanto, a implementação de serviços distribuídos através de nós na Nuvem e na Borda levanta novos desafios que devem ser resolvidos. Nomeadamente, a escolha dos nós que executam cada componente do sistema pode ser fundamental para assegurar um serviço eficiente para os utilizadores. Por exemplo, se dois componentes críticos, que devem frequentemente trocar dados, forem colocados em localizações geográficas diferentes, todo o desempenho do serviço será afectado. Assim sendo, es tes ambientes geograficamente dispersos necessitam de novos sistemas de orquestração e distribuição para ambientes híbridos de Cloud e Edge, com base na localização geográfica, utilização dos serviços, objectivos empresariais, leis, e regulamentos. Esta tese propõe o sistema Geolocate, um scheduler genérico para orquestração e distribuição de cargas de trabalho em nós heterogéneos e geograficamente distantes. Em detalhe, esta tese fornece o design e implementação de um algoritmo de scheduling baseado na localização geográfica dos nós e na disponibilidade de recursos, e ainda um protótipo totalmente funcional, integrando Geolocale com KubeEdge, uma plataforma de orquestração computacional de borda baseada em Kubernetes. Os resultados experimentais mostram que à medida que a latência da rede e a quantidade de dados transmitidos entre nós aumenta, aumenta também o tempo de resposta das aplicações que recorrem a estas implantações distribuídas. A nossa avaliação de uma aplicação de e-commerce mostra que a utilização de Geolocate pode reduzir, relativamente ao scheduler por defeito de KubeEdge, o tempo médio de resposta aos pedidos em geral em cerca de 85%.