Sistema de teleoperação baseado em reconhecimento visual de gestos para Robótica Assistiva

Abstract

This dissertation proposes an assistive robotics architecture designed to reproduce biomimetic hand gestures through a five-fingered robotic hand. The system integrates visual capture, gesture recognition, kinematic mapping, and actuator control, thereby converting visual signals into physical movements. As a case study, it employs the representation of vowels in Brazilian Sign Language (Libras), demonstrating the feasibility of gesture-to-action translation without the need for wearable sensors. The results highlight potential applications in accessibility, human–robot interaction, and teleoperation.

Cette dissertation propose une architecture de robotique assistive visant à reproduire des gestes manuels biomimétiques à l’aide d’une main robotique à cinq doigts. Le système intègre la capture visuelle, la reconnaissance de gestes, le mappage cinématique et le contrôle des actionneurs, convertissant ainsi des signaux visuels en mouvements physiques. Comme étude de cas, il utilise la représentation des voyelles en Langue des Signes Brésilienne (Libras), démontrant la faisabilité d’une traduction geste–action sans capteurs portables. Les résultats mettent en évidence des applications potentielles en accessibilité, interaction homme–robot et téléopération.