Le deep learning occupe aujourd'hui une place centrale dans la vie quotidienne et nous a fourni des outils numériques puissants, tels que les traducteurs automatiques, les assistants vocaux et les modèles de langage (LLMs).
Les communautés sourdes, en revanche, ne bénéficient que très peu de ces avancées. Les langues des signes sont des langues naturelles à part entière, mais elles ne disposent pas de forme écrite d'usage courant.
En effet, les grands corpus textuels et les modèles pré-entraînés qui rendent ces outils possibles pour les langues orales n'ont donc pas d'équivalent direct. En conséquence, le traitement des langues des signes est freiné par deux problèmes liés : une pénurie persistante de données annotées et un manque d'outils pour analyser les langues elles-mêmes.
Cette thèse se concentre sur une composante de la chaîne de traitement des langues des signes qui a reçu comparativement peu d'attention : la segmentation des langues des signes, c'est-à-dire le découpage temporel d'une vidéo continue en langage des signes en unités de signe individuelles. La segmentation se situe entre la vidéo brute et presque toutes les tâches symboliques qui s'appuient sur elle, et reste pourtant mal comprise. L'objectif de ce travail est double : faire progresser la tâche de segmentation elle-même, et transformer la recherche en traitement des langues des signes en outils utilisables par la communauté sourde, avec la langue des signes de Belgique francophone (LSFB) comme cadre principal.
La contribution centrale de cette thèse est un ensemble de modèles de segmentation. Nous étudions d'abord des approches fondées sur les réseaux de neurones récurrents et montrons que leur principale difficulté réside dans la modélisation des transitions entre les signes, ces brefs mouvements ambigus qui séparent un signe du suivant et que l'on confond facilement avec les signes eux-mêmes. Ce constat motive le framework Hydra, une nouvelle approche qui détecte chaque signe comme une unité entière plutôt que de décider, frame par frame, si un signe est en cours de production. Concrètement, au lieu de classifier chaque frame, le modèle prédit la distance entre chaque frame et les frontières de signe les plus proches, ce qui le rend moins sensible aux régions ambiguës et améliore les résultats de manière constante par rapport aux méthodes antérieures. Autour de cette contribution centrale, nous présentons d'autres contributions : un dictionnaire langue des signes vers le français qui reconnaît les signes à partir d'une simple webcam, des travaux connexes sur la reconnaissance de signes isolés, et une plateforme collaborative qui collecte de nouvelles données, de nouveaux signes en LSFB, comme effet secondaire d'un usage quotidien. Ensemble, ces contributions réduisent l'écart entre la recherche en traitement des langues des signes et les communautés sourdes.
