Computer vision solutions for robots in the context of Industry 4.0

Abstract

Esta dissertação teve como objetivo o desenvolvimento de soluções recorrendo a tecnologia e conceitos de visão por computador, com o propósito de serem aplicados tanto em processos de robótica móvel como de manipuladores robóticos. É apresentado, num primeiro caso, o software de deteção e identificação de características de paletes para um veiculo empilhador autónomo com uma câmara Astra da Orbbec a bordo, como parte de um projeto em parceria com uma empresa. Esta funcionalidade permite assistir o sistema de navegação do veículo no processo de recolha de uma palete, onde o seu sistema de posicionamento geral não possuí resolução suficiente para os ajustes finos requeridos ao inserir os garfos na palete. O veículo foi testado em chão de fábrica e passou com sucesso os testes de segurança requeridos para poder operar em ambiente partilhado com operadores. No segundo caso, o reconhecimento de objetos tem como objetivo que robôs colaborativos consigam realizar tarefas em parceria com humanos. Os robôs necessitam de ser capazes de obter não só a identificação dos objetos como também a sua postura (posição e orientação). Foi utilizada uma framework denominada Object Recognition Kitchen, da Williow Garage, como base para o processo de deteção. O cenário empregue utiliza o robô Sawyer da Rethink Robotics e uma câmara Microsoft Kinect.

The goal of this dissertation was to develop solutions using technology and concepts of Computer Vision, with the purpose of being applied in processes of both mobile and manipulation robotics. It is presented software for the detection and identification of pallet features for an autonomous stacker with an on-board Orbbec Astra camera, as part of a project in association with an industrial company. This functionality is used for the steering of the vehicle during the process of picking a pallet, when the general positioning system does not have enough resolution for the fine tuning required to the insertion of the forks in the pallet. The vehicle was tested on the factory floor and successfully passed the safety tests required in order to be allowed to operate in a worker shared environment. The object recognition has the main goal of endowing collaborative robots with the ability to perform tasks in cooperation with humans. The robots needs to be capable of obtaining not only the identification of the objects but also their posture (positions and orientation). The Object Recognition Kitchen framework, from Willow Garage, was used as basis for the detection process. The adopted scenario uses the Sawyer Robot from Rethink Robotics and a Microsoft Kinect camera.