A multimodal approach to interpersonal gait synchronization

Abstract

When people walk side-by-side, they often synchronize their movements. First, we investigated in three experiments whether audiovisual signals from the walking partner are integrated according to a mechanism operating as a Maximum Likelihood Estimator (MLE). Sensory cues from a walking partner were virtually simulated. In Experiment 1, seven participants synchronized with human-sized Point Light Walkers and/or footstep sounds. Results revealed highest performance when auditory cues were presented, regardless of the visual ones. This auditory dominance effect might have been due to artifacts of the setup. Therefore, in Experiment 2, human-sized virtual mannequins were implemented and the audiovisual stimuli were rendered in real-time in order to guarantee cross-modal congruence, co-localization, and synchrony. All four participants synchronized best with audiovisual cues and for three participants the results are consistent with the MLE model. Finally, Experiment 3 yielded performance decrements for three participants when the cues were temporally incongruent. These findings suggest that the integration of congruent audiovisual cues increase the intentional step synchronization of side-by-side walkers. In a fourth experiment, we tested whether synchronization is achieved by matching global body motion rather than single segments like the feet. Eight pairs of participants walked side-by-side in a large field. Results revealed that asynchronies between signals obtained from the principal components of co-variation of several body segments vary less than the asynchronies computed from individual body segments suggesting a synchronization of the global body motions of the walkers. The overall findings are partially consistent with the information processing approach and the dynamical system approach. The work’s output also highlights that it requires a very high spatiotemporal alignment of the stimuli when using such virtual environment techniques in contexts like rehabilitation or sports.

Quando as pessoas caminham lado a lado, muitas vezes sincronizam os seus movimentos. Realizamos três estudos de forma a saber se os sinais audiovisuais oriundos do parceiro são integrados de acordo com um mecanismo que opera como um estimador de Máxima Verossimilhança (MLE). A informação sensorial de um parceiro foi simulada virtualmente. Na Experiência 1, sete participantes sincronizaram a sua passada com um Point Light Walker e/ou com sons de passos. Os resultados revelaram um melhor desempenho durante a presença de sinais auditivos. O efeito de dominância auditiva pode ter sido devido a artefactos da experiência. Portanto, na Experiência 2 foram implementados humanoides virtuais e os estímulos foram renderizados em tempo real para garantir a congruência entre modalidades. Os quatro participantes sincronizaram melhor com informação audiovisual e dos quatro, três são consistentes com o MLE. Posteriormente, na Experiência 3 o desempenho de três participantes diminuiu quando as pistas estavam temporalmente incongruentes. Isto mostra que a integração dos sinais audiovisuais congruentes aumenta a sincronização intencional da marcha. Desta forma, numa quarta experiência, testamos se esta sincronização é conseguida através dos movimentos globais do corpo de ambos os intervenientes. Oito pares de participantes caminharam lado ao lado. Os resultados revelaram que quando a medida de sincronia combina os sinais obtidos através da componente de covariação de vários segmentos do corpo, esta medida é mais precisa do que se for realizada a partir de um qualquer segmento, sugerindo que os humanos se sincronizam com os movimentos globais. Os resultados são consistentes com uma abordagem que assume um controlo intencional de nível cortical superior, bem como com a abordagem de sistemas dinâmicos. O trabalho tem implicações para o uso de ambientes virtuais em contextos como a reabilitação ou o desporto e salienta que os estímulos requerem um alinhamento espaço-temporal muito elevado.