Generic SAST tool comparer

Abstract

Cybernetic attacks are a genuine concern today that can compromise the integrity of any person, organization, or business. Every day, new incidents are publicized that demonstrate the true extent of the harm that cyber criminals may wreak. Sensitive data exposure, identity theft, service malfunctioning are just a few of the most typical dangers, which can result in financial loss or damage to a company’s reputation in many circumstances. There are many mechanisms and technologies used by these companies to identify vulnerabilities in applications. The most popular technology used to detect vulnerabilities is SAST (Static Application Security Testing) as it focus on the detection of vulnerabilities at the early stages of software development. However, these tools only analyze source code and that brings a big problem associated: wrong detections (false positive results) and some real vulnerabilities not reported (false negative results), adding that depending on what techniques used by each product, this number may change and the content of the results also changes. With that said, SAST solution providing companies would benefit from a system where it would be possible to compare their SAST results against results of adverserial products. This would allow them to understand their flaws and opportunities to improve. In the context of the above, Checkmarx proposes the development of a system to compare SAST tool results providing insight on how one such tool falls behind its competitor and how it can be improved to match the exposed gap. This is the main topic of this Master’s Thesis dissertation. An exhaustive study of SAST tools, their classification according to a set of predefined dimensions and platforms that compare these tools were the starting point to make the system generic, innovative and able to compare the great number of SAST tools in the market. SAST Tool Comparer has been developed following an architecture that fulfills the expected and proposed functionalities: it reads scan reports from several SAST tools, either open-source and commercial, obtains results from open-source SAST tools directly scanning from the application, compares results taking into account multiple parameters, displays important statistics to understand the comparison and also provides the configuration and introduction of new tools as well as converters to filter the necessary results for an efficient comparison. In this document, each of these features will be presented from the implementation until the final result, as well as some comparisons between SAST tools and possible inferences resulting therefrom.

Os ataques cibernéticos são uma preocupação genuína hoje em dia que podem compro meter a integridade de qualquer pessoa, organização ou empresa. Todos os dias, novos incidentes são divulgados que demonstram a verdadeira extensão dos danos que os crimi nosos cibernéticos podem causar. Exposição de dados confidenciais, roubo de identidade, mau funcionamento do serviço são apenas alguns dos perigos mais comuns, que podem resultar em perdas financeiras ou danos à reputação de uma empresa em muitas circun stâncias. Existem muitos mecanismos e tecnologias utilizados por essas empresas para identificar vulnerabilidades em aplicações. A tecnologia mais popular é o SAST (Static Application Security Testing), por se concentrar na detecção de vulnerabilidades nas fases iniciais do desenvolvimento de software. No entanto, estas ferramentas apenas analisam código-fonte e esse facto contém um problema associado: identificações erradas (falsos positivos) e algumas vulnerabilidades que existem e não são descobertas (falsos negativos), acrescentando que dependendo das técnicas utilizadas por cada produto, esse número e o conteúdo dos resultados podem mudar. Dito isto, as empresas que providenciam este tipo de ferramenta podem beneficiar de um sistema onde seria possível comparar os seus resultados SAST com os de produtos concorrentes. Isto permite-lhes entender as suas falhas e oportunidades para melhorar. Dentro deste contexto, a Checkmarx propôs o desenvolvi mento um sistema que compara os resultados da utilização de ferramentas SAST, fornecendo uma análise sobre o seu comportamento quando testadas com a concorrência. Um estudo exaustivo das ferramentas SAST, a sua classificação de acordo com um conjunto de dimen sões pré-definidas e plataformas que comparam essas ferramentas foram o ponto de partida para tornar o sistema genérico, inovador e capaz de comparar um número substancial de ferramentas presentes no mercado. SAST Tool Comparer foi elaborado seguindo uma arquitetura que cumpre as funcionalidades esperadas e propostas: lê scan reports de várias ferramentas SAST tanto open-source como comerciais, obtém resultados de ferramentas SAST open-source diretamente da aplicação, compara resultados tendo em conta vários critérios e apresentando estatísticas importantes para perceber a comparação e ainda disponibiliza a configuração e introdução de novas ferramentas bem como conversores para filtrar os resultados necessários para uma comparação eficiente. Neste documento serão apresentadas cada uma destas funcionalidades desde a implementação até ao resultado final bem como algumas comparações entre ferramentas SAST e possíveis inferências daí resultantes.