Scheduling scientific workloads on an heterogeneous server

Abstract

The goal of this dissertation is to explore techniques to improve the efficiency and performance level of scientific applications on computing platforms that are equipped with multiple multi-core devices and at least one many-core device, such as Intel MIC and/or NVidia GPU devices. These platforms are known as heterogeneous servers, which are becoming increasingly popular both in research environments as in our daily gadgets. To fully exploit the performance capabilities of the heterogeneous servers, it is crucial to have an efficient workload distribution among the available devices; however the heterogeneity of the server and the workload irregularity dramatically increases the challenge. Most state of the art schedulers efficiently balance regular workloads among heterogeneous devices, although some lack adequate mechanisms for irregular workloads. Scheduling these type of workloads is particularly complex due to their unpredictability, namely on their execution time. To overcome this issue, this dissertation presents an efficient dynamic adaptive scheduler that efficiently balances irregular workloads among multiple devices in a heterogeneous environment. To validate the scheduling mechanism, the case study used in this thesis is an irregular scientific application that has a set of independent embarrassingly parallel tasks applied to a very large number of input datasets, whose tasks durations have an unpredictable range larger than 1:100. By dynamically adapting the size of the workloads that were distributed among the multiple devices in run-time, the scheduler featured in this dissertation had an occupancy rate of every computing resources over 97% of the application’s run-time while generating an overhead well below 0.001%.

O objetivo desta dissertação é o de explorar técnicas que possam melhorar a eficiência e o nível de performance de aplicações cientificas em plataformas de computação que estão equipadas com vários dispositivos multi-core e pelo menos um dispositivo many-core, como por exemplo um Intel MIC e/ou um GPU da NVidia. Estas plataformas são conhecidas como servidores heterogéneos e estão a se tornar cada vez mais populares, tanto em ambientes de investigação como em nossos gadgets diários. Para explorar completamente as capacidades de desempenho dos servidores heterogéneos, é crucial ter uma distribuição eficiente da carga de trabalho entre os vários dispositivos disponíveis; no entanto a heterogeneidade do servidor e a irregularidade das cargas de trabalho aumentam drasticamente o desafio. A maioria dos escalonadores mais avançados são capazes de equilibrar eficientemente cargas de trabalho regulares entre dispositivos heterogéneos, embora alguns deles não disponham de mecanismos adequados para cargas de trabalho irregulares. O escalonamento desse tipo de cargas de trabalho é particularmente complexo devido à sua imprevisibilidade, nomeadamente ao seu tempo de execução. Para superar este problema, esta dissertação apresenta um escalonador dinâmico e adaptativo que equilibra de forma eficiente cargas de trabalho irregulares entre vários dispositivos de uma plataforma heterogénea. Para validar o escalonador, o caso de estudo utilizado nesta tese é uma aplicação científica irregular que possui um conjunto de tarefas independentes, que são embaraçosamente paralelas, aplicadas a um grande número de conjuntos de dados, cujas tarefas têm durações com um n´nível de imprevisibilidade maior do que 1:100. Ao adaptar dinamicamente o tamanho das cargas de trabalho, que são distribuídas entre os vários dispositivos, em tempo de execução, o escalonador apresentado nesta dissertação apresenta uma taxa de ocupação de cada dispositivo acima de 97 % do tempo total de execução da aplicação e tem um peso que é bem abaixo dos 0,001 %.