Automate the learning process of an item identification model in palletized packages

Abstract

Numa determinada empresa, está a ser desenvolvido um sistema que visa identificar e classificar certos objetos em embalagens paletizadas O sistema é composto por um conjunto de câmaras colocadas numa estação de carregamento que executa várias capturas de imagens. A isto segue-se um processamento que termina numa deteção e identificação de certos objetos que determinam as regras de empacotamento. Estas regras devem estar de acordo com as regras definidas pelo cliente. A solução atual passa por anotar manualmente as imagens exemplo (processo lento e demorado) para serem utilizadas para o treino do algoritmo de deteção de objetos. Depois do treino estar terminado, o modelo de deteção fica imutável, o que significa que este é incapaz de evoluir com os resultados de verificação que se podem seguir. O âmbito desta dissertação é o de estudar,propôr e desenvolver uma solução para automatizar partes do processo de treino de um sistema de visão por computador que executa deteção de objetos de items paletizados através da implementação de geração automática de imagens e a automatização da sua anotação. Já foram desenvolvidos e cientificamente aprovados alguns métodos que produzem anotações automáticas recorrendo a processos de active learning, classificação e feature transferring, bem como softwares de anotação de imagens que são capazes de executar tal tarefa. A proposta apresentada introduz uma estratégia para gerar imagens sintéticas e as anotações associadas para serem utilizadas para treinar modelos de deteção de objetos de modo a tornar mais ágil o processo de coleção e anotação de imagens. Os resultados mostram que, no geral, os modelos treinados com imagens sintéticas demonstram melhores resultados que o modelo existente que foi treinado com imagens reais anotadas por um anotador. Demonstrando que é possivel criar modelos de deteção de objetos que obtenham bons niveis de desempenho, que foram treinados apenas com dados sintéticos.

In company X, an automated system is being developed in order to identify and classify certain objects in palletized packages. The system is comprised of a set of cameras in a loading station that executes several image captures. This is followed by image processing and terminates in detection and identification of certain objects that determine packaging rules. These must be in compliance with the defined shipping costumer standards.The current solution passes by manually annotating the image examples (pain-staking and time-costly process) to be used by the model’s training algorithm. Once training has ended, the detection and classification model remains unchanged, which means that it is incapable of evolving with the verification results. The aim of this dissertation is to study, propose and develop approaches to automate parts of the process of training of a computer vision system that performs object detection in palletized items by implementing automatic generation of images and automated image annotation. There have been developed and scientifically approved approaches and methods to develop automatic image annotation recurring to processes of active learning, classification and feature transferring, as well as some image labeling software that is capable of perform this task. The presented proposal introduces the approach of generating synthetic images and its associated image annotations to train object detection models in order to expedite the collection and labeling of images. The results show that, overall, the models trained on synthetic image data performed better than the existing model that was trained on human labeled data. This indicates that is possible to create good performing object detections models trained only on synthetic data.