Development of web-based tools for spectral data analysis and mining

Abstract

The recent advances in different analytical techniques able to produce spectral data, including Raman, Infrared (IR) or Ultraviolet-Visible (UV-vis) spectroscopies, have provided novel approaches for many research issues in the biological and chemical fields. Indeed, they have allowed to address tasks in functional genomics, sample characterization and classification, or drug discovery. To take full advantage of these data, advanced bioinformatics methods are required for data analysis and mining. A number of methods and tools for spectral data analysis have been put forward recently, being one of the major limitations still faced the lack of integrated frameworks for extracting relevant knowledge from these data and being able to integrate these data with previous biochemical knowledge. Also, the lack of reproducibility in many data analysis or data mining processes is a strong obstacle for biological discovery, being common the lack of data and data analysis pipelines in the published work. In recent work from the host group, specmine, a metabolomics and spectral data analysis/ mining framework, in the form of a package for the R system, has been developed to address some of these issues. In this thesis, the main aim was to design and develop an integrated web-based platform for spectral data analysis and mining, based on the specmine package, providing an easier and more user friendly interface, but also addressing some of the package’s current limitations. The developed platform contains features that cover the main steps of the metabolomics data analysis workflow, with modules for data reading and dataset creation, data preprocessing and a variety of analysis types. It includes an authentication system, allowing the user to have his own personal workspace where projects can be stored and accessed later, with the option to share projects with other users. The different modules were validated using real data from previously published studies in the host group, related to the analysis of the characteristics and potential of natural products, addressing as well the exploration and integration of data from distinct experimental techniques, attesting the platform’s robustness and utility.

Recentes avanços nas diferentes técnicas analíticas capazes de produzir dados espectrais, incluindo as espectroscopias de Raman, Infravermelho e Ultravioleta-visível, têm contribuído com novas abordagens em vários problemas nos campos da biologia e química. De facto, tais avanços permitiram abordar tarefas em genómica funcional, caraterização e classificação de amostras, ou na descoberta de fármacos. De modo a obter o máximo de informação a partir deste tipo de dados, são necessários métodos avançados de bioinformática para a análise e extração de conhecimento dos dados. Recentemente, vários métodos e ferramentas para análise de dados espectrais têm surgido, sendo que uma das maiores limitações enfrentadas é a falta de estruturas integradas que permitam a extração de conhecimento relevante a partir deste tipo de dados, integrando-os com conhecimento bioquímico prévio. A falta de reprodutibilidade em muitos processos de análise e extração de conhecimento a partir de dados é também um forte obstáculo na descoberta biológica, sendo comum a falta de pipelines de análise nos trabalhos atualmente publicados. Num trabalho recente do grupo anfitrião foi desenvolvido o specmine, uma ferramenta para análise e extração de conhecimento de dados espectrais, sob a forma de uma biblioteca para o sistema R, de modo a abordar os problemas mencionados. No presente trabalho, o principal objetivo consistiu na projeção e desenvolvimento de uma plataforma baseada em web para análise e extração de conhecimento a partir de dados espectrais, baseada no specmine, fornecendo assim uma interface agradável e de fácil utilização para o utilizador, abordando também algumas das atuais limitações desta ferramenta. A plataforma desenvolvida contém funcionalidades que cobrem as principais etapas numa análise de dados de metabolómica, com módulos para leitura de dados e criação de datasets, pré-processamento de dados e uma variedade de tipos de análise. Inclui ainda um sistema de autenticação que permite ao utilizador ter o seu espaço pessoal onde projetos podem ser armazenados e acedidos posteriormente, com a opção de partilha destes projetos com outros utilizadores. Os diferentes módulos foram validados utilizando dados reais de estudos previamente publicados no grupo anfitrião, relacionados com a análise das características e potencial de produtos naturais, abordando também a exploração e integração de dados de distintas técnicas experimentais, atestando assim a robustez e utilidade da plataforma desenvolvida.