Multi-bump solutions in dynamic neural fields: analysis and applications

Abstract

The work described here has the goal of providing new mathematical results about the formation of spatio-temporal patterns in dynamic neural fields (DNFs) that can be applied and tested in the domains of cognitive modelling and cognitive robotics. Specifically, the conditions for the existence and stability of multiple localized excitations in one-dimensional fields with external input were analysed. These multi-bump solutions represent the core of an original dynamic field model of fast sequence learning that was developed and subsequently tested in a real-world robotics experiment. While the existence and the stability of different types of patterns in DNFs have been addressed in many theoretical studies in the past, little attention has been paid thus far on the initial and input conditions that guarantee the evolution of these patterns. Following Laing et al. (2002), we apply a connectivity function with oscillatory rather than monotonic decay to study analytically and numerically the formation of multiple regions of excitation when several localized inputs are applied simultaneously or sequentially to the field. For the existence and stability proofs, we extend the ideas of Amari’s original work on pattern formation in fields with connectivity functions of lateral inhibition type. Based on the mathematical results, a novel model of multi-item memory of sequential events is proposed that exploits the processing mechanism of self-sustained activity in recurrently connected neural populations modelled by DNFs. A threshold accommodation dynamics is applied to establish a stable multi-bump solution with a gradient of excitation that represents in its relative activation strengths the temporal order and the relative timing of sequence elements. In line with findings in neurophysiological studies with monkeys, this memory representation pre-activates to varying degrees corresponding neural populations in a decision field. The competitive dynamics of this field allows recalling all sequence elements in the correct order and with the correct timing. The working memory model was extended to integrate also the sequence learning part in the modelling. Neural populations in a perceptual field represent in their selfsustained activation patterns the sensory cue (e.g., colour) that defines the sequence. The challenge for many modelling approaches to represent repeated elements is autonomously solved by the field dynamics since repeated sensory cues automatically activate different neuronal subpopulations. The memory of previous sequence demonstrations also preshapes the perceptual field. This preshaping mechanisms affects the time course of suprathreshold population activity and is thus fundamental to adjust the relative activation strengths of the memory gradient in successive sequence demonstrations. The numerical simulation show that the purely activation based learning principles implemented in the model are able to acquire and represent the order and timing of a sequence in just very few demonstration-executing cycle. To directly test the assumptions about the time course of population activity in the various interconnected field layers and to verify the model predictions, we conducted a robotics experiment. The learning model was integrated in the dynamic field based control architecture of the humanoid robot ARoS. In the experiment, ARoS had to learn a short musical sequence from human demonstrations to subsequently execute the piece of music on a keyboard. The successful results of the real-time robotics implementation are discussed in relation to theoretical ideas and experimental findings about sequencing and timing in humans and other animals.

O objetivo deste trabalho é fornecer novos resultados matemáticos sobre a formação de padrões espaço-temporais em campos dinâmicos neuronais (DNFs) que podem ser aplicados e testados nos domínios da modelação cognitiva e robótica cognitiva. Em particular, foram analisadas as condições para a existência e a estabilidade de múltiplas regiões localmente excitadas num campo unidimensional com uma entrada externa. Estas múltiplas regiões representam o base de um modelo de campos dinâmicos que foi desenvolvido para aprendizagem de sequências e posteriormente analisado numa experiência robótica em ambiente real. Embora haja vários estudos sobre a existência e a estabilidade dos diferentes tipos de padrôes em DNFs, pouca atenção tem sido dada sobre as condições iniciais e de entrada que garantem a evolução desses padrões. Tendo por base Laing et al. (2002), aplicou-se uma função de conectividade com decaimento oscilatório em vez de um decaimento monótono permitindo o estudo analítico e numérico da formação de múltiplas regiões de excitação quando várias entradas localizadas são aplicadas num campo dinâmico simultaneamente ou sequencialmente. Nas demonstrações da existência e estabilidade, foram estendidas as ideias do trabalho original de Amari em formação de padrões em campos dinâmicos com funções de conectividade do tipo inibição lateral. Tendo por base os resultados matemáticos, foi elaborado um novo modelo de memória de sequências de eventos que explora o mecanismo de processamento da atividade auto-sustentada em populações neuronais com ligações recorrentes modeladas por DNFs. Uma solução multi-picos estável com um gradiente de excitação é obtida a partir de uma dinâmica de adaptação do limiar de ativação do campo. Este gradiente representa, na sua força de ativação, a ordem temporal e o tempo relativo entre os elementos de sequência. De acordo com resultados obtidos em estudos neurofisiológicos com macacos, esta representação de memória pré-ativa, em níveis diferentes, as populações neuronais correspondentes no campo de decisão. A dinâmica competitiva deste campo permite recordar todos os elementos da sequência na ordem correta e com os intervalos de tempo corretos. O modelo de memória de trabalho foi estendido para integrar também a parte de aprendizagem da sequência na modelagem. Os padrões de ativação auto-sustentadas das populações neuronais no campo percetual representam o estímulo sensorial (por exemplo, cor) que define a sequência. O desafio para muitas abordagens de modelização de representar elementos repetidos é autonomamente resolvido pela dinâmica do campo que, de forma automática, representa elementos repetidos em diferentes subpopulações neuronais. A memória da sequência posteriormente demonstrada também pré-ativa o campo percetual. Este mecanismo de pré ativação afeta o tempo que a população demora a ficar ativa e é, portanto, essencial para ajustar as forças de ativação relativas do gradiente de memória em demonstrações sucessivas da sequência. As simulações numéricas mostram que os princípios de aprendizagem baseados puramente em ativação que foram implementados no modelo são capazes de adquirir e representar a ordem e o tempo de uma sequência ao fim de poucas demonstrações. Para testar diretamente os pressupostos sobre as evoluções temporais de atividade da população nos diferentes campos interligados e verificar as previsões do modelo, foi realizada uma experiência robótica. O modelo de aprendizagem foi integrado numa arquitetura dinâmica no robô humanoide ARoS. Na experiência o ARoS teve de aprender uma curta sequência musical, a partir de demonstrações executadas por um humano e, posteriormente, reproduzi-la num teclado. A experiência de implementação robótica em tempo real foi bem sucedida. Os respetivos resultados são discutidos em comparação com as ideias teóricas e resultados experimentais obtidos em experiências sobre sequências e tempo em seres humanos e outros animais.