Mobile AR for large 3D scenes using markers

Abstract

Augmented Reality (AR) relies on overlaying 3D objects over a real environment on a screen display. Recently this technology has begun to gain a lot of attention by the common consumer because it is starting to be used in devices available to them, one of those devices being mobile smartphones. Hence, it is relevant to seek the limits and explore the potential that these devices are capable of, in order to build a balanced AR experience. The purpose of this work was to study the limits of developing a localization technique for an Android smartphone which was accurate and fast. This technique was to be used in an AR application which allowed the user to view large 3D environments related to the real scene (e.g a room could be turned into an aquarium). The research was initially targeted at finding the right technique to localize the device, by assessing the accuracy of algorithms like Inertial Navigation Systems, Monocular Visual Odometry and SLAM on a hardware limited device - a smartphone. The results obtained with these algorithms did not meet the precision requirements to avoid misalignments between virtual and real entities. The solution found was to use 2D markers around the real scene with the help of a computer tool which comprised a novel feature which aided the user in positioning the markers with visual cues painted on the 3D model’s surface. Markers detected by the smartphone’s camera allowed the computation of the position of the device. These markers are detected using Vuforia’s SDK Image Target Recognition. Furthermore, some improvements were implemented to provide more robust tracking for large 3D Models. A framework was devised which consists of the android AR application and the computer tool which, aside from helping the user position the markers, can build AR setups and deploy them to the mobile app. Finally, some tests were made which assess the accuracy of the implementation. Example AR scenes were built to examine how the application fares in very different environments, one being a room and the other a public square and streets in a village.

Realidade Aumentada consiste na sobreposição de objetos 3D sobre um ambiente real. A transição para smartphones desta tecnologia tem aumentado a sua popularidade sobre consumidores comuns. Desta forma, torna-se relevante explorar e definir o potencial destes dispositivos, de forma a construir uma experiência equilibrada de Realidade Aumentada. O objetivo desta dissertação é analisar os limites de desenvolver uma técnica de localização para um smartphone Android que seria rápida e precisa. Esta técnica posteriormente foi usada numa aplicação cujo propósito seria permitir ao utilizador a visualização de grandes modelos 3D, que estariam relacionados com o ambiente real (e.g uma sala poderia ser transformada num aquário). O estudo científico focou-se inicialmente em encontrar a técnica mais correta para localizar o dispositivo, ao avaliar a precisão de algoritmos como Inertial Navigation Systems, Monocular Visual Odometry e SLAM num dispositivo limitado em termos de hardware - um smartphone. Os resultados obtidos com estes algoritmos não cumpriram requisitos de precisão de forma a evitar desalinhamentos entre entidades virtuais e reais. A solução formulada consistiu em usar marcadores 2D à volta da cena real com a ajuda de uma ferramenta para computador que suporta uma funcionalidade que ajuda o utilizador a posicionar os marcadores usando cores pintadas nas superfícies do modelo 3D. Marcadores detetados pela câmara do smartphone permitem a computação da posição do dispositivo. Estes marcadores são detetados pelo Image Target Recognition do SDK da Vuforia. Foram ainda efectuadas algumas modificações ao algoritmo base de tracking de forma a fornecer resultados mais robustos para grandes modelos 3D. Foi desenvolvida uma arquitetura que consiste na aplicação Android e na ferramenta para computador, que, além de ajudar o utilizador no posicionamento dos marcadores, também é capaz de construir cenas de Realidade Aumentada e de carregar essas cenas para a aplicação móvel. Alguns testes foram feitos de forma a analisar a robustez da implementação. Algumas cenas exemplo de Realidade Aumentada foram construídas de forma a investigar qualidade da aplicação em diferentes cenários, nomeadamente uma sala e uma praça e ruas adjacentes de uma vila.