Efficient computational methods to index crystallographic (S)TEM images and ED patterns

Abstract

Electron Microscopy (EM) of nanomaterials relies on grey-scale images to display the material’s atomic arrangement, and a high resolution EM can simultaneously capture multiple atomic structures into a single image. However, the extraction of useful information from these images is still limited to the determination of the material’s orientations, an underutilisation of the powerful features of an EM equipment and less productive EM sessions. This is due to the compute-intense tasks that have not been automated yet. This dissertation aims to significantly reduce the time required to extract useful data from EM images and to remove the user bias when analysing high resolution (S)TEM images, by automating most user routine tasks and integrating them into a software tool, Im2Cr. The deployed Im2Cr tool aimed to aid an EM user to find the most probable atomic structure orientation of a nanomaterial in a single 2D image from a set of pre-defined materials, with a minimal user interaction. Im2Cr was designed and built with a simple and intuitive Graphical User Interface (GUI) that runs on a common modern laptop. It takes as input a high resolution (S)TEM image and multiple CIF files with candidate atomic structures to describe the material under observation. After performing the Fourier Transform (FT) on selected Regions Of Interest (ROI) in the image, the tool automatically detects periodic information related to the atom’s positions by the brighter spots on the image FT. With a set of geometric computations it tries to match the theoretical values computed with the measured ones by assigning a custom made merit index. This quantitative evaluation avoids possible user bias and/or errors on image characterisation. Im2Cr outputs at the end a report with the best matching crystallographic structure, its orientation and the indexation table. This tool was successfully tested for robustness and execution efficiency in a wide range of high resolution (S)TEM images from crystalline nanomaterials, with domain size ranging from 4 to 100 nm. The autonomous indexation with preset parameters has a very high success rate and runs in a small fraction of typical (S)TEM images acquisition time by taking advantage of the inherent hardware parallelism. Alternatively, the user can change some relevant parameters related to the ROI selection on the (S)TEM image and on the FT peaks detection. Im2Cr promising results point to the possibility of real-time image analysis with reduced user interaction, allowing for an increased (S)TEM characterisation yield and also enabling the interpretation of complex images, such as those from nanocrystalline materials imaged in high-order zone axis orientations.

A microscopia eletrônica (EM) de nanomateriais usa imagens em escala de cinza para representar a estrutura atómica de um material, sendo a EM de alta resolução capaz de capturar simultaneamente múltiplas estruturas atómicas numa única imagem. No entanto, a extração de informação útil destas imagens ainda é limitada pela determinação das orientações do material representado, o que resulta numa subutilização de equipamentos de EM e em sessões menos produtivas. A grande razão para esta limitação deve-se à atual baixa automação de tarefas computacionalmente intensivas necessárias para a caracterização do material. Esta dissertação tem como objetivo reduzir significativamente o tempo necessário para extrair informação das imagens EM, removendo da equação uma possível análise tendenciosa inconsciente do utilizador através da automação deste processo numa nova ferramenta, ImaCr. O ErnaCr tem como objetivo ajudar o utilizador a encontrar a orientação da estrutura atómica mais provável de determinado nano material a partir de um conjunto de materiais pré-definidos e uma (mica imagem 2D, com o mínimo possível de interação do utilizador. O ImaCr foi desenhado e construído para fazer uso de uma simples e intuitiva interface gráfica (GUI) capaz de ser executada num normal computador pessoal. Esta aplicação recebe como dados de entrada uma imagem (S)TEM de alta resolução e vários ficheiros CIF com as estruturas atómicas candidatas para descrever o material observado. Após aplicação da Transformada de Fourier (FT) na região de interesse (ROI) selecionada na imagem, a ferramenta é capaz de detetar automaticamente informação periódicas relativa às posições dos átomos através dos pontos mais claros na imagem FT. Com base num conjunto de cálculos geométricos, a aplicação tenta combinar os valores teóricos calculados com os valores medidos, avaliando assim as correlações com base num recém-criado índice de mérito. Esta avaliação quantitativa evita possíveis influências do utilizador e/ou erros de cálculo na caracterização da imagem. No final, o Im2Cr exporta um relatório com a melhor estrutura cristalográfica encontrada, a sua orientação e a respetiva tabela de indexação. Esta ferramenta foi submetida a testes de robustez e eficiência de execução com base numa ampla variedade de imagens (S)TEM de alta resolução de nanomateriais cristalinos, cujo tamanho variava entre 4 a 100 nm. A indexação autónoma com uso de parâmetros predefinidos tem uma taxa de sucesso significativa e é executada numa fração do tempo quando comparada com o tempo típico de captura de imagens (S)TEM, fazendo uso do paralelismo de hardware existente. Alternativamente, o utilizador tem o poder de poder alterar alguns parâmetros relevantes relacionados à seleção da ROI na imagem e à deteção de picos na FT. Os resultados obtidos apontam para a possibilidade da análise de imagens em tempo real com uma reduzida interação do utilizador, permitindo assim um aumento do desempenho na caracterização de imagens (S)TEM e possibilitando ainda a interpretação de imagens mais complexas, nomeadamente imagens de materiais nanocristalinos com orientações menos convencionais.