Real-time MIDI device data analysis and context aware music generation

Abstract

Computer music generation is an active research field encompassing a wide range of approaches. As we involve more and more technology in our creative endeavors, it becomes vital that we provide our systems with the capability to understand and represent art concepts internally, as well as understand and predict artistic intent and emotion. In respect to music, being able to work with this information opens up fantastic possibilities for artistmachine synergetic collaborations as well as machine creativity endeavors. In this spirit, this dissertation explores a system capable of analyzing in real-time a performance piece played on a MIDI (Musical Instrument Digital Interface) capable instrument and produce a musically coherent piece of accompaniment music. This system comprises of two major subsystems: one responsible for analyzing and extracting features from the live performance and one that takes these features and generates MIDI tracks to be played in conjunction with the live audio, in a way that blends in with the performance.

A geração algorítmica de música é um campo de investigação vasto e com múltiplas abordagens. À medida que incorporamos mais tecnologia nos nossos processos criativos, torna-se fundamental equipar os nossos sistemas com as capacidades para entender e representar arte, bem como analisar e prever intenção artística e emoções. No que diz respeito a música, ter este tipo de informação disponível abre possibilidades para colaborações entre artista e máquina, bem como sistemas capazes de exibir capacidades criativas. Esta dissertação propõe um sistema capaz de analisar uma performance musical num dispositivo controlador MIDI (Musical Instrument Digital Interface) em tempo real e produzir acompanhamento adequado e coerente. Este sistema é composto por dois subsistemas: um responsável por analisar e extrair características musicais de uma performance, e outro que a partir destas características seja capaz de gerar trechos MIDI de forma a se complementarem musicalmente.