Inspection of deformable objects via robotic manipulation: a learning from demonstration approach

Abstract

A aplicação generalizada da inspeção automática e o interesse crescente pelo controlo de qualidade impulsionam a procura de sistemas capazes de inspecionar objetos cada vez mais complexos. Neste âmbito surgiu o projeto de Investigação & Desenvolvimento “IntVIS4Insp”, no qual esta dissertação se insere. As peças de couro são um exemplo importante do tipo de objetos que este projeto pretende cobrir, porque implicam manipulação no seu processo de inspeção. Uma abordagem que usa aprendizagem por imitação, baseada em dois sistemas, pode ser aplicada para automatizar os movimentos necessários para as inspecionar. Primeiro, um sistema de visão por computador capta as trajetórias descritas pela mão ativa de um técnico de qualidade. Segundo, um braço robótico (Kuka LBR iiwa) reproduz as trajetórias anteriormente adquiridas. Esta dissertação foca-se no segundo sistema. Dois desafios relacionados têm de ser resolvidos no âmbito do seguimento de trajetórias: (i) determinar como comandar o manipulador, sem exceder limites de juntas ou atravessar singularidades, de modo que a garra siga a trajetória desejada, ou seja, resolver um problema de equivalência física; (ii) descobrir como aumentar a distância aos limites das juntas e singularidades por forma a aumentar a capacidade de o manipulador alterar arbitrariamente a pose da garra durante a execução da trajetória. A resolução deste segundo problema é essencial para, nas tarefas futuras do projeto IntVIS4Insp (e noutros), ser possível implementar um sistema de correção da trajetória baseado nas deformações induzidas nas peças de couro em cada instante. Este último sistema aumentará a robustez da abordagem utilizada. Para resolver estes dois problemas é proposto um novo método para seguimento de trajetórias que considera a manipulabilidade. Fundamentalmente, como as trajetórias podem ser realizadas em diferentes zonas do espaço de trabalho do manipulador, esta liberdade é utilizada com as várias soluções do problema da cinemática inversa e com a redundância do cotovelo para aumentar a distância aos limites das juntas e singularidades. Abordagens estado da arte são utilizadas como ponto de partida, mas são alargadas para considerarem a continuidade do arm angle no limite do seu domínio. O método proposto foi testado em trajetórias de inspeção reais (em simulação e com o manipulador real) e os resultados demonstram 3 pontos: (i) as trajetórias foram corretamente reproduzidas; (ii) conseguiu- -se uma elevada manipulabilidade (distância média mínima de 42,6º aos limites das juntas e singularidades); (iii) a abordagem utilizada permite induzir as deformações desejadas nos objetos.

The widespread application of automatic inspection and the increasing interest in quality control boost the search for systems capable of inspecting increasingly complex objects. In this scope emerged the Research & Development project "IntVIS4Insp", in which this dissertation is inserted. Leather pieces are an important example of the object type this project intends to address because their inspection process involves manipulation. A learning from demonstration approach, based on two systems, can be used to automate the necessary movements to inspect them. First, a computer vision system acquires the trajectories described by the active hand of a quality control technician. Second, a robot arm (Kuka LBR iiwa) reproduces these trajectories. This dissertation is focused on the latter system. Two related challenges must be solved in a trajectory tracking problem: (i) determine how to command the manipulator so that its end-effector follows the desired trajectory without exceeding joint limits and crossing singularities, i.e., to solve a physical equivalence problem; (ii) find out how to increase the distance to joint limits and singularities to enhance the manipulator's capacity to change its tip’s pose arbitrarily during the execution of the trajectory. Solving this second problem is essential so that, in future tasks of the IntVIS4Insp project (and others), it will be possible to implement a trajectory correction system based on the deformations induced in the leather pieces at each instant. The latter system will increase the robustness of the overall learning from the demonstration approach. To solve both these problems, a novel trajectory tracking method considering manipulability is proposed. Fundamentally, as the trajectories can be executed in different zones of the manipulator’s workspace, this freedom is used with the various possibilities for the inverse kinematics problem and the elbow redundancy to increase the distance to joint limits and singularities. State-of-the-art approaches are used as a starting point, but they are extended to consider the continuity of the arm angle in its domain boundary. The proposed method was tested on real inspection trajectories (in simulation and with the actual manipulator), and the results demonstrate 3 points: (i) the trajectories were correctly reproduced; (ii) a high manipulability was obtained (minimum average distance of 42.6° to joint limits and singularities); (iii) the used approach allows to induce the desired deformations in the leather parts.