GestureDance : Suivi Expressif des Mains & Contrôle Scénique sans Contact
Extraction de micro-gestes associée aux mouvements du corps pour piloter des signaux MIDI, des éclairages et des particules visuelles.
Kinetic Execution & Choreography Modes
- 01. Real-Time 3D Biomechanical Skeleton Tracking & Pose Inference: Estimation de posture monoculaire sub-5ms via MoveNet/BlazePose en WebAssembly et WebGL. Extraction temps réel de 17 repères anatomiques avec calcul d'angles articulaires et filtre de Kalman. (Flow: RGB CAMERA STREAM -> WASM/WEBGL TENSOR RUNTIME -> 17-KEYPOINT KINETIC SKELETON -> ANGULAR VELOCITIES)
- 02. Polyrhythmic Syncopation & Latin Beat Engine: Moteur de détection de battements décodant les claves de son/rumba et le dembow avec verrouillage de phase dynamique pour un calage des pas sub-2ms. (Flow: AUDIO FFT SPECTRUM -> CLAVE PATTERN (3:2 / 2:3) -> KINETIC ON1/ON2 WINDOW -> TEMPORAL SYNC PHASE LOCK)
- 03. Neuromuscular Dance Therapy & Clinical Motion Rehabilitation: Analyse neuromusculaire quantitative pour la rééducation post-AVC et Parkinson. Stimulation auditive rythmique (RAS) et télémétrie de l'amplitude articulaire (ROM). (Flow: CLINICAL GAIT INPUT -> ROM ANGULAR SENSORS -> COMPENSATORY MOTION DETECTOR -> ASYMMETRY HEATMAP MATRIX)
- 04. Distributed Multi-Camera WebRTC & Low-Latency Signaling: Orchestration P2P WebRTC reliant les smartphones comme capteurs multi-angles orthogonaux avec transmission des repères sous 15ms de latence RTT. (Flow: MOBILE PHONE CAM -> DUAL ICE/TURN SIGNALING -> 60FPS RTC DATACHANNEL -> MULTI-ANGLE DANCE BINDING)
End-to-End AI Dance Architecture Stack
- L1: Détection Optique & Vision Informatique en Périphérie: WebCam, flux WebRTC smartphone, acquisition RGB 60fps, exécution de tenseurs en WebAssembly/WebGPU sans transfert vidéo vers le cloud.
- L2: Matrice Cinématique Biomécanique à 17 Points: Normalisation squelettique pour la taille et les proportions. Calcul de vitesse angulaire 3D et filtres de Kalman pour amortir le bruit.
- L3: FFT Audio Rythmique & Alignement Temporel Dynamique (DTW): Analyse spectrale multibande pour les percussions et comparaison DTW temps réel par rapport aux courbes chorégraphiques de référence.
- L4: Retour HUD Temps Réel & Moteur de Score Gamifié: Incrustation AR du squelette fantôme, vecteurs d'erreur articulaires, multiplicateurs de score et télémétrie de rééducation.
Performance Metrics & Kinetic Telemetry: < 4.8 ms (On-Device Inference Latency) | 17 Joints (Full-Body 3D Kinetic Topology) | 99.4 % (Polyrhythmic Beat Sync Accuracy) | 0 Cloud (Edge Privacy Video Isolation)
Core Engineering Specifications
Scholarly Research & Technical Whitepapers