Utilize este identificador para referenciar este registo:
https://hdl.handle.net/1822/77437
Título: | Towards procedural music-driven animation: exploring audio-visual complementarity |
Autor(es): | Brito, Carlos Faria Aquino de |
Orientador(es): | Fernandes, António Ramires |
Data: | 2017 |
Resumo(s): | This thesis intends to describe our approach towards developing a framework for the interactive
creation of music driven animations.
We aim to create an integrated environment where real-time musical information is easily
accessible and is able to be flexibly used for manipulating different aspects of a reactive
simulation. Such modifications are specified through the use of a scripting language and
include, for instance, geometrical transformations and geometry synthesis, gradual colour
changes as well as the application of arbitrary forces.
Our framework thus represents a proof-of-concept for converting musical information
into arbitrary modifications to a dynamic simulation, producing a variety of animations.
This is possible due to a bargaining between control and automation, where control is
present by allowing the user to program these modifications with a scripting language
and automation is present by using physics and interpolation to estimate the visual effects
resulting from those modifications.
The particular test case for our system was the animation/simulation of a growing tree
reacting to wind. In order to control or influence both the tree growth and wind field,
as well as other visual parameters, the system accepts two different but complementary
representations of music: a MIDI event stream and raw audio data. Different musical
features are obtainable from each of these representations. On one hand, by using MIDI, we
are able to discretely synchronise visual effects with the basic elements of music, such as the
sounding of notes or chords. On the other, using audio, we are able to produce continuous
changes by obtaining numerical data from basic spectral analysis. Our framework provides
a common interface for the combined application of these different sources of musical
information to the generation of visual imagery, under the form of procedural animations.
We will describe algorithms presented in multiple research papers, namely for tree generation,
wind field generation and tree reaction to wind, briefly detailing our implementation
and architecture. We also describe why each of these particular methods was chosen, how
they are organised in our platform and how their parameters may be modified from our
scripting environment leading to what we regard as the procedural generation of animations.
By allowing the user to access musical information and give them control of what we have
come to refer to as animation primitives, such as wind and tree growth, we believe to have
taken a first step towards exploring a novel concept with a seemingly endless expressive
potential. Esta dissertação descreve o desenvolvimento de uma plataforma para a criação interativa de animações dirigidas por música. Focamo-nos em desenvolver um ambiente integrado onde vários aspetos de uma animação podem ser controlados pelo processamento em tempo real de informação musical, com recurso a uma linguagem de script. O caso de teste específico da nossa aplicação consiste na animação de uma árvore em crescimento capaz de reagir a um campo de vento dinâmico. De forma a controlar ou influenciar quer o crescimento da árvore, quer o campo de vento, o sistema aceita como input duas representações diferentes, mas complementares, de música, uma sequência contínua de eventos MIDI e áudio. Realçamos a distinção entre estas duas representações visto que apesar de serem ambas referentes a música, são fundamentalmente diferentes em termos da informação que contêm. Eventos MIDI contêm informação simbólica relativa à interpretação da música, nomeadamente os tempos de começo e final de notas. Por outro lado, informação áudio consiste num sinal contínuo, que resulta da gravação de um instrumento ou de uma atuação musical. Com MIDI, a nossa plataforma é capaz de sincronizar alterações discretas à simulação, com base nos elementos fundamentais da teoria musical, como o soar de notas ou acordes. Com informação áudio, é possível produzir alterações contínuas com base nos dados numéricos obtidos por análise espectral elementar do sinal de áudio. Neste documento serão descritos vários algoritmos apresentados em artigos de investigação, nomeadamente para a geração de árvores, geração de campos de vento e reação da árvore ao vento. Iremos descrever os motivos que levaram à sua escolha, a sua organização na nossa plataforma e os vários parâmetros que podemos modificar a partir do nosso ambiente de scripting. Em suma, a nossa plataforma pode ser descrita como um sistema que converte informação musical em alterações arbitrárias a um ambiente, que por sua vez influencia uma simulação reativa, produzindo animações. Foi estabelecido um compromisso entre controlo e automação de forma a tornar esta abordagem possível. O controlo provém da capacidade de programar as modificações que ocorrem no sistema, sendo que é utilizada automação de forma a estimar o movimento resultante de tais modificações. Ao fornecer ao utilizador informação musical em tempo real e oferecer-lhe controlo sobre o que nos referimos como "primitivas de animação", como o controlo sobre vento e o crescimento da árvore, consideramos que demos um primeiro passo no que toca à exploração de um novo conceito, com um potencial expressivo aparentemente infinito. |
Tipo: | Dissertação de mestrado |
Descrição: | Dissertação de mestrado em Computer Science |
URI: | https://hdl.handle.net/1822/77437 |
Acesso: | Acesso aberto |
Aparece nas coleções: | BUM - Dissertações de Mestrado DI - Dissertações de Mestrado |
Ficheiros deste registo:
Ficheiro | Descrição | Tamanho | Formato | |
---|---|---|---|---|
Carlos Faria Aquino de Brito.pdf | Dissertação de Mestrado | 8,04 MB | Adobe PDF | Ver/Abrir |