Towards tool handling by a NAO robot using programing by demonstration

Abstract

Programming by demonstration is a technique where, contrary to detailed programming, the robot learns from one or several demonstrations of the execution of the task by a human or another robot. A technique which allows a humanoid robot, take a tool to the head of a screw, following a similar trajectory than demonstrated trajectory by a human being, is presented. The technique also allows variations in location and orientation in the screw head. This is achieved thanks to the use of machine vision techniques and probabilistic models estimated from the demonstrated trajectories. Image processing consist of color space segmentation, and interest point’s selection in the screw head to calculate its position and orientation. The required trajectory in the presence of variations is generated using parameterized Gaussian mixture models in the task. With the above, the new required trajectories are generated in accordance to the variations. The system operation is presented through the illustration of the new trajectories, and pictures of the robot following these trajectories. Despite some limitations of the robotic platform used, acceptable results were achieved.

La programación por demostración es una técnica, donde, al contrario de la programación detallada que convencionalmente se hace al robot, éste aprende a partir de una o varias demostraciones por parte de un humano u otro robot. Se presenta una técnica que permite a un robot humanoide, llevar una herramienta, hasta la cabeza de un tornillo, siguiendo una trayectoria similar a las trayectorias demostradas por un ser humano. Además, permite variaciones en la ubicación y orientación, de la cabeza del tornillo. Esto se logra gracias al uso de técnicas de visión de máquina y de modelos probabilísticos estimados a partir de las trayectorias de las demostraciones. El procesamiento de la imagen consistió en la segmentación en el espacio de color, la selección de puntos de interés de la cabeza del tornillo y a partir de estos el cálculo de su posición y orientación. La trayectoria que se requiere ante las variaciones, se genera usando la técnica de modelo de mezclas de Gaussianas parametrizado en la tarea. A través de gráficas de las nuevas trayectorias e imágenes de la secuencia del robot ejecutando estas trayectorias, se muestra el funcionamiento de la técnica. Pese a algunas limitaciones de la plataforma robótica utilizada, se lograron resultados aceptables.