On learning and generalizing representations in a dynamic field based architecture for human-robot interaction

Abstract

Due to the increasing demand for adaptive robots able to assist humans in their everyday tasks, furnishing robots with learning abilities is one of the most important goals of current robotics research. The work reported in this thesis is focused on the integration of learning capacities in an existing Dynamic Field based control architecture developed for natural human-robot collaboration. Specifically, it addresses two important serial order problems that appear in the architecture at distinct but closely coupled levels of abstraction: 1) the learning of the sequential order of sub-goals that has to be followed to accomplish a certain task, and 2) the learning of representations of motor primitives that can be chained to achieve a certain sub-goal. A model based on the theoretical framework of Dynamic Neural Fields (DNFs) is developed that allows the robot to acquire a multi-order sequential plan of a task from demonstration by human tutors. The model is inspired by known processing principles of human serial order learning. Specifically, it implements the idea of two complementary learning systems. A fast system encodes the sequential order of a single demonstration. During periods of internal rehearsal, it acts as a teacher for a slow system that is responsible for extracting generalized task knowledge from memorized demonstrations of different users. The efficiency of the learning model is tested in a real world experiment in which the humanoid robot ARoS learns the plan of an assembly task by observing human tutors executing possible sequential orders of sub-goals. An extension of the basic model is also proposed and tested in a real-world experiment. It addresses the fundamental problem of a hierarchical encoding of complex sequential tasks. It is shown how verbal feedback by the tutor about a serial order error may lead to the autonomous development of a neural representation of a group of sub-goals forming a sub-task. The second serial order problem of learning goal-directed chains of motor primitives is addressed by combining the associative learning mechanism of the dynamic field model with self-organizing properties. Inspired by the basic idea of the Kohonen's map algorithm, it is shown how self-organizing principles can be exploited to develop field representations of motor primitives, like for instance, a specific grasping behaviour, from observed motion trajectories. Moreover, the integration of additional contextual cues (e.g. object properties) in the learning process may cause the splitting of an existing motor primitive representation into two new representations that are context sensitive. In model simulations, it is shown that the learning mechanisms for representing sequential task knowledge in the DNF model can be also applied to establish chains of motor primitives directed towards a final goal (e.g. reach-grasp-place). Such a chained organization has been discussed in the neurophysiological literature to support not only a fluent execution of known action sequences but also the cognitive capacity of inferring the goal of observed motor behaviour of another individual.

Devido à procura crescente por robôs adaptativos capazes de auxiliar humanos nas suas tarefas diárias, um dos mais importantes objetivos da investigação em robótica atual é o de dotar robôs com a capacidade de aprender. O trabalho apresentado nesta tese foca-se na integração de capacidades de aprendizagem numa arquitetura de controlo, baseada em campos dinâmicos, para colaboração fluente entre Humano e Robô. Especificamente são abordados dois problemas importantes relacionados com ordem sequencial que surgem na arquitetura em níveis de abstração distintos embora relacionados: 1) a aprendizagem da ordem sequencial de sub-objetivos que tem de ser seguida para completar uma determinada tarefa e 2) a aprendizagem de representações de primitivas motoras que podem ser encadeadas para atingir um certo sub-objetivo. Foi desenvolvido um modelo baseado em teoria de Campos Dinâmicos Neuronais (CDNs) que permite ao robô adquirir um plano sequencial multi-ordem de uma tarefa a partir de demonstrações de tutores humanos. O modelo é inspirado em princípios conhecidos da aprendizagem da ordem sequencial por humanos. Especificamente, implementa a ideia de dois sistemas de aprendizagem complementares. Um mecanismo rápido codifica a ordem sequencial de uma demonstração única. Durante períodos de repetição interna, este mecanismo age como professor de um sistema mais lento responsável por extrair conhecimento generalizado da tarefa a partir das demonstrações de diferentes utilizadores. A eficiência do modelo de aprendizagem é testada numa experiência em cenário real na qual o robô humanoide ARoS aprende o plano de uma tarefa de montagem através da observação de tutores humanos que executam possíveis ordens sequenciais de execução dos sub-objetivos. Uma extensão do modelo básico é também proposta e testada em ambiente real. A extensão aborda o problema fundamental da codificação hierárquica de tarefas sequenciais complexas. É mostrado como feedback verbal fornecido pelo tutor acerca de erros na sequência pode levar ao desenvolvimento autónomo de uma representação neuronal de um grupo de sub-objetivos que formam uma sub-tarefa. O segundo problema de ordem sequencial, que consiste na aprendizagem de cadeias de primitivas motoras direcionadas a um objetivo, é abordado através da combinação do mecanismo de aprendizagem associativa do modelo baseado em Campos Dinâmicos com propriedades de auto-organização. Partindo da ideia fundamental do algoritmo do mapa de Kohonen, é mostrado como princípios de auto-organização podem ser explorados para desenvolver representações, em campos dinâmicos, de primitivas motoras, como por exemplo, um gesto especifico de agarrar, a partir de trajetórias de movimentos observados. Além disso, a integração de informação contextual adicional (e.g. propriedades do objeto) no processo de aprendizagem pode causar a divisão de uma representação de uma primitiva motora em duas novas representações específicas de cada contexto. É mostrado em simulação que os modelos de aprendizagem para representação do conhecimento da tarefa sequencial no modelo baseado em CDNs podem ser também aplicados na formação de cadeias de primitivas motoras direcionadas a um objetivo final (e.g. aproximar-agarrar-colocar). A organização em cadeia tem sido discutida na literatura sobre neurofisiologia, como sendo o suporte não só da execução fluente de ações sequenciais conhecidas, mas também da capacidade cognitiva de inferir o objetivo do comportamento motor observado num outro individuo.