DANSE AVEC LES DRÔNES

Outils d'interaction automatisée avec un drône volant.

Projet

 

Qu'est-ce que c'est ?

Danse avec les drônes se propose de développer un outil pour les danseurs leur permettant d'interagir avec un drône volant.  Cet outil comporte une partie de reconnaissance de mouvements du danseur selon un lexique établi à l'avance décrivant à travers des verbes d'action différentes figures de danse. Le drône est programmé de manière à réagir aux mouvements du danseur, soit en mimétisme à celui-ci, soit par intelligence artificielle pour inclure une part d'improvisation dans son fonctionnement, tout en respectant certains codes de danse définis à l'avance. Enfin le drône reste pilotable par un opérateur pour établir une interaction en temps réel avec le danseur.  

A qui ça s'adresse ?

 Ce projet tend à mettre au point des interfaces de travail prêtes à l'emploi pour le danseur dans une optique de développement de spectacles.  

Comment ça fonctionne ?

• Tracking et analyse des mouvements du danseur par une caméra fixe et une programmation en C++.
• Les coordonnées sont encapsulées dans un flux OSC.
• Asservissement de la distance drône-danseur à partir des données d'analyse de la scène de danse.
• Contrôle du drône en temps réel à travers un ordinateur et une manette Xbox grâce à un programme sous Processing (développé par le RandomLab).
• Pilotage de motifs prédéfinis dans des fichiers CSV simulant le pilotage par la manette.

 

Qu'est-ce que ça pourrait devenir ?

 Un logiciel de contrôle étendu accessible depuis différentes interfaces.  

Quelles seraient les étapes suivantes de développement ?

• Information de la profondeur à calculer avec la taille du motif traqué.
• Elargir la bibliothèque de motifs de danse interprétés.

 

Contributeurs.

• Damien Baïs ESADSE-RandomLAB
• Jean-François Boulet, Étudiant TSE
• François Brument ESADSE-RandomLAB
• Robin Fillet, Étudiant TSE
• Shaun Graham, Étudiant ESADSE 
• David Olivier Lartigaud, ESADSE-RandomLAB
• Ashdod-Boisrond Naissant, Etudiant TSE
• Chloë Pelletier, Étudiante ESADSE
• Jacques-Daniel Pillon, ESADSE-RandomLAB
• Eric Verney, Enseignant-chercheur, TELECOM Saint-Etienne
• Xiaojuan Zhao, Étudiante TSE

 

Matériel utilisé.

• Webcam C9V0 pro_logitech
• Librairies OpenCSV et C++
• Processing
• Blender
• ARDrone 2.0
• Manette XBox

 

Ressources documentaires .

• Steve Dixon (2007) Digital Performance: A History of New Media in Theatre, Dance, Performance Art, and Installation.

Cambridge, MA and London: The MIT Press.

historique

jour1

problématique : interaction tri dimensionnel : un drône, le public, des danseurs.  Matérialiser l'impalpable / révéler l'invisible Le drone bouge en interaction danseur récupérer positions danseur et drone. hypothèse :

• drone balle de ping pong entre danseur et public
• dessiner quelque chose dans le sol ou dans les airs révêlé in fine à l'issue de la représentation. 
• interaction musicale : image entre les distances public/drône 
• variation suivant distances entre danseur et drône
• travail sur la notion de divinité/cercle sacré entre le public/danseur/drône|révéler l'invisible

dispositif caméra positionnée sur le drone+ caméra global.

C'est pour faire quoi ?  trouver le lien, Tension entre un drône et un danseur./// comment ils peuvent s'influencer, se raccorder autour d'une chorégraphie. 

jour2

• QU'EST-CE QU'ON VOULAIT FAIRE ?

Faire interagir un danseur et un drône suivant 3 manières possibles :

• • Enregistrer une bibliothèque de trajectoires pour le drône, qui répond aux mouvements de la danseuse : apprentissage de motifs de danse par le drône.
  • Permettre un tracking du drône sur la danseuse, avec une part de mouvements aléatoires, pour simuler un duo de danse
  • Prise en main extérieure du drône pour en faire un outil de chorégraphie

 

• QU'EST-CE QU'ON A FAIT ?
  • Définition d'une liste de verbe d'action liée à la danse.
  • Enregistrement de 10 verbes, avec un marqueur couleur sur la danseuse pour le tracking.
  • Test de la caméra qui sert à analyser la scène constituée par la danseuse et le drône.
  • Mise en oeuvre du tracking couleur, avec plusieurs classes couleurs. Les coordonnées sont encapsulées dans un flux OSC.
  • Travail sur le pilotage correct du drone. controler à partir d'un ordi et une manette xbox, permettant d'affiner la sensation de pilotage.
  • De plus, travail à "normer le drône" : Eviter qu'il tombe dans le décors, sur le public. Contraindre et éviter le phénomène de glissement du drone.
  • Contraindre les glissements
  • Integrer des motifs 

 

• QU'EST-CE QU'ON VA FAIRE DEMAIN ?
  • Enregistrer des trajectoires à partir du contrôle via le joystick ou grâce à Blender. Ces trajectoires formeront la bibliothèque de mouvements du drône.
  • Arriver à traiter le signal pour reconnaitre au moins 2 des 10 verbes définis.
  • A distance constante, calculer la distance entre la drône et la danseuse, et calculer les commandes à envoyer au drône pour maintenir cette distance constante.
  • Information de la profondeur à calculer avec la taille du motif traqué.

jour3

• Objectif
• créer l'illusion d'un dialogue de geste entre le danseur et le drône
  • créer un ensemble de trajectoires basées sur une caractérisation du mouvement du danseur qui permettent d'animaliser le comportement du drone.
  • concevoir les modalités d'interraction entre le danseurs et les comportements du drône.
• Hypothèse 
  • La diversité des modalités de captation et d'interprétation du mouvement du danseur permet de donner plus de vie au mouvement du drône.
  • les réponses du drône à un déclenchement ne doivent  pas être systèmatiques : à un geste déclencheur ne correspond pas une seule réaction.

    RoadMap

• Caractériser un ensemble de gestes du danseur .
• Interprêter ces gestes suivant différentes modalités de captation.
  • Méthode d'interprétation par tracking vidéo
    • estimer les coordonnées 3D à partir de la caméra. Une boule est positionnée en dessus et en dessous du drone. la zone de capture se trouve au barycentre des deux boules.
    • trouver les rapports de  distance entre danseuse et drone et distance entre caméra et ces deux entités grâce au changement d'échelle des points trackés.à partir des différentes trajectoires de mouvement caractériser les comportements du drône.
    • capter une trajectoire caractéristique. Se limiter à 2 mouvements. le mouvement déclenche un comportement du drône (comportement = trajectoire préenregistrer) étape 1 en recopie étape 2 appel alléatoire dans une banque de comportements.
  • Méthode d'interprétation par modélisation de trajectoire.
    • préparation des comportements  : constitution des trajectoires sur blender à partir des séquences de mouvement du danseur. 
  • Méthode d'interprétation par controleurs 
    • mettre en place une structure de contrôle du drône. C'est l'interface entre les différentes entrées logiciel (processing, blender, pure data, smart faust,...). Il définit des permissions pour chacune de ces entrées et leur modalités d'accès au contrôle de l'engin.