Temporal Integration in the perception of biological motion

Tese de doutoramento em Psicologia (área de especilização em Psicologia Experimental e Ciências Cognitivas)
The visual perception of motion is crucial to human survival. The information provided by
objects in motion and by our own movements allows for an effective adaptation to the environment,
especially in the interaction with others. The perception of humans in motion is so critical that our
capacity to perceive it appears to be innate (Fox & McDaniel, 1982; Pavlova et al., 2003).
The studies on biological motion met a great development in the last forty years, enhanced by
the work of Johansson (1973), who developed a paradigm characterized by the use of impoverished
visual stimuli - point-light walkers. The research with point-light walkers showed that we can extract
relevant information from human motion, allowing for instance the distinction between different kinds of
actions (Dittrich, 1993; Mather & Murdoch, 1994). Several authors have shown that we can not only
differentiate actions, but also perceive social information, such as gender (Barclay, Cutting, &
Kozlowski, 1978), identity (Cutting & Kozlowski, 1977), emotions (Dittrich et al. 1996), or deception
and vulnerability (Runeson & Frykholm, 1983).
Although many of the spatial characteristics of biological motion perception are sufficiently
studied, their temporal characteristics are not (Giese & Poggio, 2000; Thornton, Pinto, & Shiffrar,
1998), even in the neuroimaging field. Nevertheless, numerous studies have shown that the perception
of biological motion takes longer than the perception of motion of rigid objects (Giese & Lappe, 2002).
The evidence shows that an object in motion can be perceived 2000 ms faster than biological motion
(Neri, Morrone & Burr, 1998). These results seem to be in contradiction with the biological motion’s
survival value. In spite of this, the larger temporal summation found in the perception of biological
motion stimuli remains unexplained.
Our main goal was to investigate why large temporal summation is required in the perception of
biological motion. We hypothesized that the kinematic properties of biological motion carry out relevant
information and that this information is provided by the motion signal’s spatiotemporal characteristics.
To demonstrate our hypothesis, we developed a set of experiments that investigated the perception of
temporal properties of biological stimuli.
Firstly, we needed to ensure that the biological motion stimuli contained the real properties of
human motion. For that, we captured subjects’ free gait and constructed biological stimuli that
preserved their kinematic properties. We developed a new methodology that describes the procedures
to capture the natural human motion and the techniques to transpose those properties into biological stimuli, without neglecting its kinematics. The result was an acquisition protocol of human motion and
the correct procedures to construct and manipulate the biological motion stimuli.
In a second moment we investigated if the large temporal summation in the perception of
biological motion could be better explained by the insufficient temporal sampling used in visual
perception experiments. In a first experiment participants were asked to identify the motion stimuli’s
direction, and in the second experiment they were asked to choose the most natural of two stimuli. In
both experiments the same stimuli were displayed at different frame rates. The results showed that the
stimuli’s temporal sampling does not explain the large temporal summation, but provided some
evidence that the temporal properties of motion signals could be involved in visual perception.
Thus, we investigated the temporal characteristics of biological motion in two experiments
where we manipulated the velocity and acceleration patterns of biological motion, maintaining the
spatial component intact. In both experiments participants were asked to choose the most natural of
two stimuli, representing either both feet or only one foot of a walker. The results showed that the visual
system is highly sensitive to small variations in velocity and acceleration patterns, demonstrating that
the temporal characteristics of the motion signal had affected the subjects’ performance. Using the
same kind of stimuli and the same methodology, the neuroimaging experiment corroborated the
psychophysical results. The results showed the brain areas involved in biological motion perception, but
also the areas involved in the processing of motion signal properties.
In a last experiment we studied our hypothesis in a perception-action paradigm, trying to extend
the evidence collected in the psychophysical experiments. We captured participants’ arm movements,
manipulating their temporal but not their spatial properties, as we proposed in the previous
experiments. Participants were asked to perform a specific arm movement while simultaneously visually
tracking the stimuli previously captured and manipulated. The results showed that temporal properties
of biological motion affect not only perception but also action. The interference on the motor response
reflected the congruency of the movements of the stimuli and the movements executed by the
participants, demonstrating that temporal properties can have a different impact on the participants’
action.
Our findings indicate that the visual system is highly sensitive to small changes in physical
motion properties, demonstrating that temporal characteristics affect human perception and action. We
discuss the importance of signal properties to visual perception and suggest new experiments to
support our data, proposing in the end a new approach about signal processing in the perception of
biological motion.
A percepção visual do movimento é crucial para a nossa sobrevivência. A informação fornecida
por objectos em movimento e pelos nossos próprios movimentos permite uma adaptação eficaz ao
meio ambiente, especialmente na interacção com outras pessoas. A percepção de seres humanos em
movimento é tão importante que a nossa capacidade de percebê-lo parece ser inata (Fox & McDaniel,
1982; Pavlova et al, 2003).
Os estudos sobre movimento biológico tiveram um grande desenvolvimento nos últimos
quarenta anos, depois de Johansson (1973) ter desenvolvido uma metodologia de estudo que se
baseava na utilização de estímulos visuais empobrecidos – point-light walkers. A investigação com
point-light walkers mostrou que podemos apreender informações relevantes do movimento humano,
permitindo por exemplo a distinção entre diferentes tipos de acções (Dittrich, 1993; Mather &
Murdoch, 1994). Vários autores têm mostrado que não só podemos diferenciar acções, mas
igualmente perceber informações sociais, como género (Barclay, corte, & Kozlowski, 1978), identidade
(Cutting & Kozlowski, 1977), emoções (Dittrich et al. De 1996), ou farsa e vulnerabilidade (Runeson &
Frykholm, 1983).
Embora muitas das características espaciais da percepção do movimento biológico estejam
suficientemente estudadas, as suas características temporais não estão (Giese & Poggio, 2000;
Thornton, Pinto & Shiffrar, 1998), mesmo no campo de neuroimagem. Efectivamente, numerosos
estudos têm mostrado que o tempo necessário para a percepção de movimento biológico é maior do
que o tempo necessário para a percepção do movimento de objectos rígidos (Giese e Lappe, 2002). As
evidências mostram que um objecto em movimento pode ser percebido 2000 ms mais rápido do que o
movimento biológico (Neri, Morrone & Burr, 1998). Estes resultados parecem estar em contradição
com o valor de sobrevivência da percepção do movimento biológico. Apesar disso, o maior tempo
necessário para perceber movimento biológico permanece por explicar.
O principal objectivo deste trabalho foi perceber porque são mais longos os tempos de
percepção para o movimento biológico. A nossa hipótese é que as propriedades cinemáticas do
movimento biológico transportam informação relevante e que essa informação é transmitida pelas
características espácio-temporais do movimento. Para demonstrar esta hipótese, foi desenvolvido um
conjunto de experiências que procuraram estudar a percepção de propriedades temporais dos
estímulos biológicos.
Em primeiro lugar, foi necessário assegurar que os estímulos de movimento biológico
respeitavam as propriedades reais do movimento humano. Para isso, capturámos o movimento de
pessoas em marcha livre e construímos estímulos biológicos que preservassem as suas propriedades
cinemáticas. Desenvolvemos uma nova metodologia que descreve os procedimentos para capturar o
movimento natural do ser humano e as técnicas para transpor essas propriedades para estímulos biológicos, sem descurar a sua cinemática. O resultado foi um protocolo de aquisição do movimento
humano e os procedimentos correctos para construir e manipular os estímulos de movimento
biológico.
Num segundo momento investigámos se o maior tempo de percepção do movimento biológico
poderia ser melhor explicado pela insuficiente amostragem temporal dos estímulos utilizados nas
experiências de percepção visual. Numa primeira experiência solicitámos aos participantes que
identificassem a direcção do movimento dos estímulos, pedindo numa segunda experiência que eles
escolhessem o mais natural de dois estímulos. Em ambas as experiências foram apresentados os
mesmos estímulos, a diferentes taxas de amostragem. Os resultados mostraram que a amostragem
temporal não explica os maiores tempos de percepção encontrados para o movimento biológico, mas
forneceram algumas evidências de como as propriedades temporais do sinal de movimento poderiam
estar implicadas na percepção visual.
Assim, investigámos as características temporais do movimento biológico em duas
experiências onde manipulámos os padrões de velocidade e aceleração do movimento, preservando
intacta a sua componente espacial. Em ambas as experiências foi pedido aos participantes para
escolherem o mais natural de dois estímulos, representando os pés ou o pé de uma pessoa a
caminhar. Os resultados mostraram que o sistema visual é bastante sensível a pequenas variações dos
padrões de velocidade e aceleração, demonstrando que as características temporais do sinal de
movimento afectaram o desempenho dos sujeitos. Utilizando o mesmo tipo de estímulos e a mesma
metodologia, a experiência de neuroimagem corroborou os resultados psicofísicos. Os resultados
mostraram as áreas cerebrais envolvidas na percepção do movimento biológico, mas também as áreas
envolvidas no processamento das propriedades do sinal de movimento.
Numa última experiência analisámos a nossa hipótese num paradigma de percepção-acção,
tentando acrescentar evidências às encontradas nas experiências psicofísicas. Capturámos
movimentos de braço dos participantes e manipulámos as suas propriedades temporais, mas não as
espaciais, como tínhamos proposto para as experiências anteriores. Aos participantes foi pedido que
executassem um movimento específico com o braço, enquanto faziam simultaneamente o seguimento
visual dos estímulos capturados e manipulados previamente. Os resultados mostraram que as
propriedades temporais do movimento biológico influenciam não só a percepção, mas também a
acção. A interferência na resposta motora reflectiu a coerência entre o movimento dos estímulos e o
movimento executado pelos participantes, demonstrando que as propriedades temporais podem ter
um impacto diferente sobre a sua acção.
Os resultados indicam que o sistema visual é altamente sensível a pequenas alterações nas
propriedades físicas do movimento, demonstrando que as características temporais afectam a
percepção e acção humanas. Discutimos a importância das propriedades do sinal na percepção visual
e sugerimos novas experiências que reforcem os nossos dados, propondo no final uma nova
abordagem sobre o processamento de sinal na percepção de movimento biológico.