Capture de mouvement

Apprendre encore plus Il a été suggéré que l’Action de capture de mouvement soit fusionnée dans cet article. ( Discuter ) Proposé depuis septembre 2021.

Apprendre encore plus Cet article contient peut-être des recherches originales . ( juin 2013 )Veuillez l’améliorer en vérifiant les affirmations faites et en ajoutant des citations en ligne . Les déclarations consistant uniquement en des recherches originales doivent être supprimées. (Découvrez comment et quand supprimer ce modèle de message)

La capture de mouvement (parfois appelée mo-cap ou mocap , en abrégé) est le processus d’enregistrement du mouvement d’objets ou de personnes. Il est utilisé dans les applications militaires , de divertissement , sportives , médicales et pour la validation de la vision par ordinateur ^[3] et des robots. ^[4] Dans la réalisation de films et le développement de Jeux vidéo , cela fait référence à l’enregistrement des actions d’ acteurs humains et à l’utilisation de ces informations pour animer des modèles de personnages numériques en animation informatique 2D ou 3D . ^{[5] [6] [7]}Lorsqu’elle inclut le visage et les doigts ou capture des expressions subtiles, on parle souvent de capture de performance . ^[8] Dans de nombreux domaines, la capture de mouvement est parfois appelée suivi de mouvement , mais dans la réalisation de films et les jeux, le suivi de mouvement fait généralement davantage référence au mouvement de correspondance .

0:20 Capture de mouvement de la main droite de deux pianistes jouant le même morceau (ralenti, sans son) ^[1] Deux répétitions d’une séquence de marche enregistrées à l’aide d’un système de capture de mouvement ^[2]

Dans les sessions de capture de mouvement, les mouvements d’un ou plusieurs acteurs sont échantillonnés plusieurs fois par seconde. Alors que les premières techniques utilisaient des images provenant de plusieurs caméras pour calculer les positions 3D , ^[9] souvent le but de la capture de mouvement est d’enregistrer uniquement les mouvements de l’acteur, pas leur apparence visuelle. Ces données d’animation sont mappées sur un modèle 3D afin que le modèle effectue les mêmes actions que l’acteur. Ce processus peut être mis en contraste avec l’ancienne technique de rotoscopie .

Les mouvements de la caméra peuvent également être capturés en mouvement afin qu’une caméra virtuelle dans la scène effectue un panoramique, une inclinaison ou un chariot autour de la scène pilotée par un caméraman pendant que l’acteur joue. En même temps, le système de capture de mouvement peut capturer la caméra et les accessoires ainsi que la performance de l’acteur. Cela permet aux personnages, images et décors générés par ordinateur d’avoir la même perspective que les images vidéo de la caméra. Un ordinateur traite les données et affiche les mouvements de l’acteur, fournissant les positions de caméra souhaitées en termes d’objets dans le décor. L’obtention rétroactive des données de mouvement de la caméra à partir des séquences capturées est connue sous le nom de déplacement par correspondance ou de suivi de la caméra .

Avantages

Apprendre encore plus Cette section a besoin de citations supplémentaires pour vérification . ( février 2014 )Aidez -nous à améliorer cet article en ajoutant des citations à des sources fiables . Le matériel non sourcé peut être contesté et supprimé. (Découvrez comment et quand supprimer ce modèle de message)

La capture de mouvement offre plusieurs avantages par rapport à l’animation informatique traditionnelle d’un modèle 3D :

Faible latence, proche du temps réel, des résultats peuvent être obtenus. Dans les applications de divertissement, cela peut réduire les coûts de l’ animation basée sur des images clés . ^[10] La technique de transfert en est un exemple.
La quantité de travail ne varie pas avec la complexité ou la durée de la performance au même degré que lors de l’utilisation de techniques traditionnelles. Cela permet de faire de nombreux tests avec des styles ou des livraisons différents, donnant une personnalité différente uniquement limitée par le talent de l’acteur.
Les mouvements complexes et les interactions physiques réalistes telles que les mouvements secondaires, le poids et l’échange de forces peuvent être facilement recréés de manière physiquement précise. ^[11]
La quantité de données d’animation pouvant être produites dans un temps donné est extrêmement importante par rapport aux techniques d’animation traditionnelles. Cela contribue à la fois à la rentabilité et au respect des délais de production. ^[12]
Potentiel de logiciels libres et de solutions tierces réduisant ses coûts.

Désavantages

Un matériel spécifique et des logiciels spéciaux sont nécessaires pour obtenir et traiter les données.
Le coût des logiciels, de l’équipement et du personnel requis peut être prohibitif pour les petites productions.
Le système de capture peut avoir des exigences spécifiques pour l’espace dans lequel il est utilisé, en fonction du champ de vision de la caméra ou de la distorsion magnétique.
Lorsque des problèmes surviennent, il est plus facile de filmer à nouveau la scène plutôt que d’essayer de manipuler les données. Seuls quelques systèmes permettent une visualisation en temps réel des données pour décider si la prise doit être refaite.
Les premiers résultats sont limités à ce qui peut être effectué dans le volume de capture sans modification supplémentaire des données.
Un mouvement qui ne suit pas les lois de la physique ne peut pas être capturé.
Les techniques d’animation traditionnelles, telles que l’accent mis sur l’anticipation et le suivi, le mouvement secondaire ou la manipulation de la forme du personnage, comme avec les techniques d’animation de squash et d’étirement , doivent être ajoutées ultérieurement.
Si le modèle informatique a des proportions différentes du sujet capturé, des artefacts peuvent se produire. Par exemple, si un personnage de dessin animé a de grandes mains surdimensionnées, celles-ci peuvent croiser le corps du personnage si l’interprète humain ne fait pas attention à ses mouvements physiques.

Applications

Interprètes de capture de mouvement de la Buckinghamshire New University

Les Jeux vidéo utilisent souvent la capture de mouvement pour animer des athlètes, des Artistes martiaux et d’autres personnages du jeu. ^{[13] [14]} Dès 1988, une première forme de capture de mouvement a été utilisée pour animer les personnages 2D du jeu vidéo Vixen de Martech (interprété par le mannequin Corinne Russell ) ^[15] et les combats d’arcade 2D de Magical Company . jeu Last Apostle Puppet Show (pour animer des sprites numérisés ). ^[16] La capture de mouvement a notamment été utilisée plus tard pour animer les modèles de personnages 3D dans le Jeux d’arcade Sega Model Virtua Fighter (1993) ^{[17] [18]} et Virtua Fighter 2 (1994). ^[19] Au milieu de 1995, le développeur / éditeur Acclaim Entertainment avait son propre studio de capture de mouvement interne intégré à son siège social. ^[14] Le jeu d’arcade Soul Edge de Namco en 1995 utilisait des marqueurs de système optique passif pour la capture de mouvement. ^[20]

Les films utilisent la capture de mouvement pour les effets CG, remplaçant dans certains cas l’animation cel traditionnelle, et pour des créatures entièrement générées par ordinateur , telles que Gollum , The Mummy , King Kong , Davy Jones de Pirates des Caraïbes , les Na’vi du film Avatar , et Clu de Tron : Legacy . Le grand gobelin, les trois trolls de pierre , de nombreux orcs et gobelins du film de 2012 Le Hobbit : un voyage inattendu et Smaug ont été créés à l’aide de la capture de mouvement.

Le film Batman Forever (1995) a utilisé une capture de mouvement pour certains effets spéciaux. Warner Bros avait acquis la technologie de capture de mouvement de la société de Jeux vidéo d’arcade Acclaim Entertainment pour une utilisation dans la production du film. ^[21] Le jeu vidéo d’ Acclaim de 1995 du même nom a également utilisé la même technologie de capture de mouvement pour animer les graphiques de sprite numérisés . ^[22]

Star Wars: Episode I – The Phantom Menace (1999) a été le premier long métrage à inclure un personnage principal créé à l’aide de la capture de mouvement (ce personnage étant Jar Jar Binks , joué par Ahmed Best ), etfilm indo – américain Sinbad: Beyond the Veil of Mists (2000) a été le premier long métrage réalisé principalement avec la capture de mouvement, bien que de nombreux animateurs de personnages aient également travaillé sur le film, qui avait une sortie très limitée. Final Fantasy: The Spirits Within de 2001 aété le premier film largement diffusé à être réalisé principalement avec la technologie de capture de mouvement. Malgré sa faible consommation au box-office, les partisans de la technologie de capture de mouvement l’ont remarqué. Rappel totalavait déjà utilisé la technique, dans la scène du scanner à rayons X et des squelettes.

Le Seigneur des Anneaux : Les Deux Tours a été le premier long métrage à utiliser un système de capture de mouvement en temps réel. Cette méthode a diffusé les actions de l’acteur Andy Serkis dans la peau générée par ordinateur de Gollum / Smeagol pendant son exécution. ^[23]

Sur les trois nominés pour l’ Oscar 2006 du meilleur long métrage d’animation , deux des nominés ( Monster House et le gagnant Happy Feet ) ont utilisé la capture de mouvement, et seul Cars de Disney · Pixar a été animé sans capture de mouvement. Dans le générique de fin du film Ratatouille de Pixar , un timbre apparaît étiquetant le film comme “100% Pure Animation – No Motion Capture!”

Depuis 2001, la capture de mouvement est largement utilisée pour simuler ou se rapprocher de l’apparence du cinéma d’action réelle, avec des modèles de personnages numériques presque photoréalistes . Le Polar Express a utilisé la capture de mouvement pour permettre à Tom Hanks de jouer comme plusieurs personnages numériques distincts (dans lesquels il a également fourni les voix). L’adaptation de 2007 de la saga Beowulf a animé des personnages numériques dont les apparitions étaient en partie basées sur les acteurs qui ont fourni leurs mouvements et leurs voix. Le très populaire Avatar de James Cameron a utilisé cette technique pour créer les Na’vi qui habitent Pandora. The Walt Disney Company a produit A Christmas Carol de Robert Zemeckisutilisant cette technique. En 2007, Disney a acquis ImageMovers Digital de Zemeckis (qui produit des films de capture de mouvement), mais l’a ensuite fermé en 2011, après un échec au box-office de Mars Needs Moms .

Les séries télévisées produites entièrement avec des animations de capture de mouvement incluent Laflaque au Canada, Sprookjesboom et Cafe de Wereld ^{[ nl ]} aux Pays-Bas et Headcases au Royaume-Uni.

Les fournisseurs de réalité virtuelle et de réalité augmentée , tels que uSens et Gestigon , permettent aux utilisateurs d’interagir avec le contenu numérique en temps réel en capturant les mouvements de la main. Cela peut être utile pour des simulations de formation, des tests de perception visuelle ou pour effectuer des visites virtuelles dans un environnement 3D. La technologie de capture de mouvement est fréquemment utilisée dans les systèmes de marionnettes numériques pour piloter des personnages générés par ordinateur en temps réel.

L’analyse de la marche est une application de la capture de mouvement en Médecine clinique . Les techniques permettent aux cliniciens d’évaluer le mouvement humain à travers plusieurs facteurs biomécaniques, souvent tout en diffusant ces informations en direct dans un logiciel d’analyse.

Certaines cliniques de physiothérapie utilisent la capture de mouvement comme moyen objectif de quantifier les progrès du patient. ^[24]

Pendant le tournage d’ Avatar de James Cameron, toutes les scènes impliquant ce processus ont été réalisées en temps réel à l’aide du logiciel Autodesk MotionBuilder pour rendre une image d’écran qui a permis au réalisateur et à l’acteur de voir à quoi ils ressembleraient dans le film, ce qui facilite la réalisation. le film tel qu’il serait vu par le spectateur. Cette méthode permettait des vues et des angles impossibles à partir d’une animation pré-rendue. Cameron était si fier de ses résultats qu’il a invité Steven Spielberg et George Lucas sur le plateau pour voir le système en action.

Dans Marvel’s The Avengers , Mark Ruffalo a utilisé la capture de mouvement pour pouvoir jouer son personnage Hulk , plutôt que de le faire être uniquement CGI comme dans les films précédents, faisant de Ruffalo le premier acteur à jouer à la fois les versions humaine et Hulk de Bruce Banner.

Le logiciel FaceRig utilise la technologie de reconnaissance faciale d’ULSee.Inc pour cartographier les expressions faciales d’un joueur et la technologie de suivi du corps de Perception Neuron pour cartographier le mouvement du corps sur le mouvement d’un personnage 3D ou 2D à l’écran. ^{[25] [26]}

Lors de la Game Developers Conference 2016 à San Francisco , Epic Games a démontré la capture de mouvement de tout le corps en direct dans Unreal Engine. Toute la scène, du prochain jeu Hellblade sur une femme guerrière nommée Senua, a été rendue en temps réel. Le keynote ^[27] était une collaboration entre Unreal Engine , Ninja Theory , 3Lateral , Cubic Motion , IKinema et Xsens .

Film indien Adipurush basé sur le Ramayana. On dit que le film est un magnum opus utilisant une technologie haut de gamme et en temps réel telle que la capture de mouvement Xsens et la capture faciale utilisée par Hollywood pour donner vie au monde d’Adipurush. Adipurush est l’histoire de Lord Ram.

Méthodes et systèmes

Marqueurs réfléchissants attachés à la peau pour identifier les repères corporels et le mouvement 3D des segments du corps Suivi des silhouettes

Le suivi de mouvement ou la capture de mouvement a commencé comme un outil d’analyse photogrammétrique dans la recherche en biomécanique dans les années 1970 et 1980, et s’est étendu à l’éducation, à la formation, au sport et récemment à l’animation par ordinateur pour la télévision , le cinéma et les Jeux vidéo à mesure que la technologie mûrissait. Depuis le 20e siècle, l’interprète doit porter des marqueurs près de chaque articulation pour identifier le mouvement par les positions ou les angles entre les marqueurs. Acoustique, inertiel, LED, des marqueurs magnétiques ou réfléchissants, ou des combinaisons de ceux-ci, sont suivis, de manière optimale au moins deux fois la fréquence du mouvement souhaité. La résolution du système est importante à la fois dans la résolution spatiale et dans la résolution temporelle, car le flou de mouvement provoque presque les mêmes problèmes qu’une faible résolution. Depuis le début du 21e siècle et en raison de la croissance rapide de la technologie, de nouvelles méthodes ont été développées. La plupart des systèmes modernes peuvent extraire la silhouette de l’interprète de l’arrière-plan. Ensuite, tous les angles des articulations sont calculés en ajustant un modèle mathématique à la silhouette. Pour les mouvements où vous ne voyez pas de changement de silhouette, il existe des systèmes hybrides qui peuvent faire les deux (marqueur et silhouette), mais avec moins de marqueur. ^{[ citation nécessaire ]}En robotique, certains systèmes de capture de mouvement sont basés sur la localisation et la cartographie simultanées . ^[28]

Systèmes optiques

Les systèmes optiques utilisent les données capturées par les capteurs d’image pour triangulerla position 3D d’un sujet entre deux caméras ou plus calibrées pour fournir des projections qui se chevauchent. L’acquisition de données est traditionnellement mise en œuvre à l’aide de marqueurs spéciaux attachés à un acteur ; cependant, des systèmes plus récents sont capables de générer des données précises en suivant les caractéristiques de surface identifiées dynamiquement pour chaque sujet particulier. Le suivi d’un grand nombre d’interprètes ou l’expansion de la zone de capture est accompli par l’ajout de plusieurs caméras. Ces systèmes produisent des données avec trois degrés de liberté pour chaque marqueur, et les informations de rotation doivent être déduites de l’orientation relative de trois marqueurs ou plus ; par exemple des marqueurs d’épaule, de coude et de poignet fournissant l’angle du coude. Les nouveaux systèmes hybrides combinent des capteurs inertiels avec des capteurs optiques pour réduire l’occlusion,^{[ citation nécessaire ]} .

Marqueurs passifs

Un danseur portant un costume utilisé dans un système de capture de mouvement optique Les marqueurs sont placés à des points spécifiques sur le visage d’un acteur lors de la capture de mouvement optique facial.

Les systèmes optiques passifs utilisent des marqueurs recouverts d’un matériau Rétroréfléchissant pour réfléchir la lumière générée près de l’objectif de la caméra. Le seuil de la caméra peut être ajusté de sorte que seuls les marqueurs réfléchissants brillants soient échantillonnés, en ignorant la peau et le tissu.

Le centroïde du marqueur est estimé comme une position dans l’image bidimensionnelle qui est capturée. La valeur en niveaux de gris de chaque pixel peut être utilisée pour fournir une précision de sous-pixel en trouvant le centre de gravité de la Gaussian .

Un objet avec des marqueurs attachés à des positions connues est utilisé pour calibrer les caméras et obtenir leurs positions et la distorsion de l’objectif de chaque caméra est mesurée. Si deux caméras calibrées voient un marqueur, une correction tridimensionnelle peut être obtenue. Généralement, un système se compose d’environ 2 à 48 caméras. Des systèmes de plus de trois cents caméras existent pour tenter de réduire l’échange de marqueurs. Des caméras supplémentaires sont nécessaires pour une couverture complète autour du sujet capturé et de plusieurs sujets.

Les fournisseurs ont un logiciel de contrainte pour réduire le problème de l’échange de marqueurs puisque tous les marqueurs passifs semblent identiques. Contrairement aux systèmes de marqueurs actifs et aux systèmes magnétiques, les systèmes passifs n’obligent pas l’utilisateur à porter des fils ou des équipements électroniques. ^[29] Au lieu de cela, des centaines de balles en caoutchouc sont attachées avec du ruban réfléchissant, qui doit être remplacé périodiquement. Les marqueurs sont généralement attachés directement à la peau (comme en biomécanique), ou ils sont attachés par un velcro à un interprète portant une combinaison intégrale en spandex/lycra conçue spécifiquement pour la capture de mouvement .. Ce type de système peut capturer un grand nombre de marqueurs à des fréquences d’images généralement autour de 120 à 160 ips, bien qu’en réduisant la résolution et en suivant une plus petite région d’intérêt, ils puissent suivre jusqu’à 10 000 ips.

Marqueur actif

capture des mouvements du corps

Les systèmes optiques actifs triangulent les positions en éclairant très rapidement une LED à la fois ou plusieurs LED avec un logiciel pour les identifier par leurs positions relatives, un peu comme la navigation céleste. Plutôt que de réfléchir la lumière générée de l’extérieur, les marqueurs eux-mêmes sont alimentés pour émettre leur propre lumière. Étant donné que la loi du carré inverse fournit un quart de la puissance à deux fois la distance, cela peut augmenter les distances et le volume de capture. Cela permet également un rapport signal/bruit élevé, ce qui entraîne une très faible gigue de marqueur et une résolution de mesure élevée (souvent jusqu’à 0,1 mm dans le volume calibré).

La série télévisée Stargate SG1 a produit des épisodes utilisant un système optique actif pour le VFX permettant à l’acteur de se déplacer autour d’accessoires qui rendraient la capture de mouvement difficile pour d’autres systèmes optiques non actifs. ^{[ citation nécessaire ]}

ILM a utilisé des marqueurs actifs dans Van Helsing pour permettre la capture des épouses volantes de Dracula sur de très grands ensembles similaires à l’utilisation par Weta de marqueurs actifs dans Rise of the Planet of the Apes . L’alimentation de chaque marqueur peut être fournie séquentiellement en phase avec le système de capture fournissant une identification unique de chaque marqueur pour une trame de capture donnée au détriment de la fréquence de trame résultante. La possibilité d’identifier chaque marqueur de cette manière est utile dans les applications en temps réel. La méthode alternative d’identification des marqueurs consiste à le faire de manière algorithmique, ce qui nécessite un traitement supplémentaire des données.

Il existe également des possibilités de trouver la position en utilisant des marqueurs LED colorés. Dans ces systèmes, chaque couleur est attribuée à un point précis du corps.

L’un des premiers systèmes de marqueurs actifs dans les années 1980 était un système mocap hybride passif-actif avec des miroirs rotatifs et des marqueurs réfléchissants en verre coloré et qui utilisait des détecteurs à réseau linéaire masqués.

Marqueur actif modulé dans le temps

Un système de marqueurs actifs à haute résolution identifié de manière unique avec une résolution de 3 600 × 3 600 à 960 hertz fournissant des positions submillimétriques en temps réel

Les systèmes de marqueurs actifs peuvent en outre être affinés en activant un marqueur à la fois ou en suivant plusieurs marqueurs dans le temps et en modulant l’amplitude ou la largeur d’impulsion pour fournir une identification de marqueur. Les systèmes modulés à résolution spatiale de 12 mégapixels montrent des mouvements plus subtils que les systèmes optiques de 4 mégapixels en ayant à la fois une résolution spatiale et temporelle plus élevée. Les réalisateurs peuvent voir les performances des acteurs en temps réel et regarder les résultats sur le personnage CG piloté par capture de mouvement. Les identifiants de marqueurs uniques réduisent les délais, en éliminant l’échange de marqueurs et en fournissant des données beaucoup plus propres que les autres technologies. Des LED avec traitement embarqué et une synchronisation radio permettent la capture de mouvement à l’extérieur en plein soleil, tout en capturant à 120 à 960 images par seconde grâce à un obturateur électronique à grande vitesse. Le traitement informatique des identifiants modulés permet moins de nettoyage manuel ou de résultats filtrés pour des coûts opérationnels inférieurs. Cette précision et cette résolution plus élevées nécessitent plus de traitement que les technologies passives, mais le traitement supplémentaire est effectué au niveau de la caméra pour améliorer la résolution via un traitement sous-pixel ou centroïde, offrant à la fois une haute résolution et une vitesse élevée. Ces systèmes de capture de mouvement coûtent généralement 20 000 $ pour un système à huit caméras, résolution spatiale de 12 mégapixels et 120 hertz avec un acteur.

Les capteurs infrarouges peuvent calculer leur emplacement lorsqu’ils sont éclairés par des émetteurs multi-LED mobiles, par exemple dans une voiture en mouvement. Avec ID par marqueur, ces étiquettes de capteur peuvent être portées sous les vêtements et suivies à 500 Hz en plein jour.

Marqueur imperceptible semi-passif

On peut inverser l’approche traditionnelle basée sur les caméras à grande vitesse. Des systèmes tels que Prakash utilisent des projecteurs multi-LED à haute vitesse peu coûteux. Les projecteurs IR multi-LED spécialement conçus encodent optiquement l’espace. Au lieu de marqueurs à diodes électroluminescentes (DEL) rétroréfléchissantes ou actives, le système utilise des marqueurs photosensibles pour décoder les signaux optiques. En attachant des balises avec des capteurs photo aux points de la scène, les balises peuvent calculer non seulement leurs propres emplacements de chaque point, mais également leur propre orientation, illumination incidente et réflectance.

Ces balises de suivi fonctionnent dans des conditions d’éclairage naturel et peuvent être imperceptiblement intégrées dans des vêtements ou d’autres objets. Le système prend en charge un nombre illimité de balises dans une scène, chaque balise étant identifiée de manière unique pour éliminer les problèmes de réacquisition de marqueurs. Étant donné que le système élimine une caméra haute vitesse et le flux d’images haute vitesse correspondant, il nécessite une bande passante de données nettement inférieure. Les balises fournissent également des données d’éclairage incident qui peuvent être utilisées pour faire correspondre l’éclairage de la scène lors de l’insertion d’éléments synthétiques. La technique semble idéale pour la capture de mouvement sur le plateau ou la diffusion en temps réel de décors virtuels mais n’a pas encore fait ses preuves.

Système de capture de mouvement sous-marin

La technologie de capture de mouvement est disponible pour les chercheurs et les scientifiques depuis quelques décennies, ce qui a donné de nouvelles perspectives dans de nombreux domaines.

Caméras sous-marines

La partie vitale du système, la caméra sous-marine, a un boîtier étanche. Le boîtier a une finition qui résiste à la corrosion et au chlore, ce qui le rend parfait pour une utilisation dans les bassins et les piscines. Il existe deux types de caméras. Les caméras industrielles à grande vitesse peuvent également être utilisées comme caméras infrarouges. Les caméras sous-marines infrarouges sont livrées avec un stroboscope à lumière cyan au lieu de la lumière infrarouge typique – pour une atténuation minimale sous l’eau et le cône des caméras à grande vitesse avec une lumière LED ou avec la possibilité d’utiliser le traitement d’image.

Caméra de capture de mouvement sous-marine Suivi de mouvement en natation en utilisant le traitement d’image Volume de mesure

Une caméra sous-marine est généralement capable de mesurer 15 à 20 mètres selon la qualité de l’eau, la caméra et le type de marqueur utilisé. Sans surprise, la meilleure portée est atteinte lorsque l’eau est claire, et comme toujours, le volume de mesure dépend aussi du nombre de caméras. Une gamme de marqueurs sous-marins est disponible pour différentes circonstances.

Adapté

Différentes piscines nécessitent différents montages et accessoires. Par conséquent, tous les systèmes de capture de mouvement sous-marin sont conçus de manière unique pour s’adapter à chaque tranche de piscine spécifique. Pour les caméras placées au centre de la piscine, des trépieds spécialement conçus, utilisant des ventouses, sont fournis.

Sans marqueur

Les techniques émergentes et la recherche en vision par ordinateur conduisent au développement rapide de l’approche sans marqueur de la capture de mouvement. Les systèmes sans marqueur tels que ceux développés à l’Université de Stanford , à l’ Université du Maryland , au MIT et à l’ Institut Max Planck , n’exigent pas que les sujets portent un équipement spécial pour le suivi. Des algorithmes informatiques spéciaux sont conçus pour permettre au système d’analyser plusieurs flux d’entrées optiques et d’identifier les formes humaines, en les décomposant en éléments constitutifs pour le suivi. ESC entertainment , une filiale de Warner Brothers Pictures créée spécialement pour permettre la cinématographie virtuelle , y compris des sosies numériques photoréalistes pour le tournage des films The Matrix Reloaded et The Matrix Revolutions , ont utilisé une technique appelée Universal Capture qui utilisait la configuration de 7 caméras et le suivi du flux optique de tous les pixels sur tous les plans 2D des caméras pour le mouvement, le geste et capture d’ expression faciale menant à des résultats photoréalistes.

Systèmes traditionnels

Traditionnellement, le suivi de mouvement optique sans marqueur est utilisé pour suivre divers objets, notamment des avions, des lanceurs, des missiles et des satellites. Bon nombre de ces applications de suivi de mouvement optique se produisent à l’extérieur, nécessitant différentes configurations d’objectif et de caméra. Des images haute résolution de la cible suivie peuvent ainsi fournir plus d’informations que de simples données de mouvement. L’image obtenue à partir du système de suivi à longue portée de la NASA lors du lancement fatal de la navette spatiale Challenger a fourni des preuves cruciales sur la cause de l’accident. Les systèmes de poursuite optique sont également utilisés pour identifier les engins spatiaux et les débris spatiaux connus malgré le fait qu’ils présentent un inconvénient par rapport au radar en ce que les objets doivent réfléchir ou émettre suffisamment de lumière. ^[30]

Un système de suivi optique se compose généralement de trois sous-systèmes : le système d’imagerie optique, la plate-forme de suivi mécanique et l’ordinateur de suivi.

Le système d’imagerie optique est chargé de convertir la lumière de la zone cible en image numérique que l’ordinateur de suivi peut traiter. Selon la conception du système de suivi optique, le système d’imagerie optique peut varier d’aussi simple qu’un appareil photo numérique standard à aussi spécialisé qu’un télescope astronomique au sommet d’une montagne. La spécification du système d’imagerie optique détermine la limite supérieure de la portée effective du système de suivi.

La plate-forme de suivi mécanique contient le système d’imagerie optique et est responsable de la manipulation du système d’imagerie optique de telle sorte qu’il pointe toujours vers la cible suivie. La dynamique de la plate-forme de suivi mécanique combinée au système d’imagerie optique détermine la capacité du système de suivi à maintenir le verrouillage sur une cible qui change rapidement de vitesse.

L’ordinateur de suivi est chargé de capturer les images du système d’imagerie optique, d’analyser l’image pour extraire la position de la cible et de contrôler la plate-forme de suivi mécanique pour suivre la cible. Il y a plusieurs défis. Tout d’abord, l’ordinateur de suivi doit être capable de capturer l’image à une fréquence d’images relativement élevée. Cela affiche une exigence sur la bande passante du matériel de capture d’image. Le deuxième défi est que le logiciel de traitement d’image doit être capable d’extraire l’image cible de son arrière-plan et de calculer sa position. Plusieurs algorithmes de traitement d’images de manuels sont conçus pour cette tâche. Ce problème peut être simplifié si le système de suivi peut s’attendre à certaines caractéristiques communes à toutes les cibles qu’il suivra. Le prochain problème sur toute la ligne est de contrôler la plate-forme de suivi pour suivre la cible. Il s’agit d’un problème de conception de système de contrôle typique plutôt que d’un défi, qui implique la modélisation de la dynamique du système et la conceptioncontrôleurs pour le contrôler. Cela deviendra cependant un défi si la plate-forme de suivi avec laquelle le système doit fonctionner n’est pas conçue pour le temps réel.

Les logiciels qui exécutent ces systèmes sont également personnalisés pour les composants matériels correspondants. Un exemple d’un tel logiciel est OpticTracker, qui contrôle des télescopes informatisés pour suivre des objets en mouvement à de grandes distances, tels que des avions et des satellites. Une autre option est le logiciel SimiShape, qui peut également être utilisé de manière hybride en combinaison avec des marqueurs.

Caméras RVB-D

Les caméras RVB-D telles que Kinect capturent à la fois les images en couleur et en profondeur. En fusionnant les deux images, le voxel coloré 3D peut être capturé, permettant la capture de mouvement du mouvement humain 3D et de la surface humaine en temps réel.

En raison de l’utilisation d’une caméra à vue unique, les mouvements capturés sont généralement bruyants. Des techniques d’apprentissage automatique ont été proposées pour reconstruire automatiquement ces mouvements bruyants en mouvements de meilleure qualité, en utilisant des méthodes telles que l’apprentissage paresseux ^[31] et les modèles gaussiens . ^[32] Une telle méthode génère un mouvement suffisamment précis pour des applications sérieuses telles que l’évaluation ergonomique. ^[33]

Systèmes non optiques

Systèmes inertiels

La technologie de capture de mouvement inertiel ^[34] est basée sur des capteurs inertiels miniatures, des modèles biomécaniques et des algorithmes de fusion de capteurs . ^[35] Les données de mouvement des capteurs inertiels ( système de guidage inertiel) est souvent transmis sans fil à un ordinateur, où le mouvement est enregistré ou visualisé. La plupart des systèmes inertiels utilisent des unités de mesure inertielle (IMU) contenant une combinaison de gyroscope, magnétomètre et accéléromètre, pour mesurer les taux de rotation. Ces rotations sont traduites en squelette dans le logiciel. Tout comme les marqueurs optiques, plus il y a de capteurs IMU, plus les données sont naturelles. Aucune caméra, émetteur ou marqueur externe n’est nécessaire pour les mouvements relatifs, bien qu’ils soient nécessaires pour donner la position absolue de l’utilisateur si désiré. Les systèmes de capture de mouvement inertiel capturent les six degrés de liberté du mouvement corporel d’un humain en temps réel et peuvent donner des informations de direction limitées s’ils incluent un capteur de relèvement magnétique, bien que ceux-ci aient une résolution beaucoup plus faible et soient sensibles au bruit électromagnétique. Les avantages de l’utilisation des systèmes inertiels incluent : la capture dans une variété d’environnements, y compris les espaces restreints, l’absence de résolution, la portabilité et les grandes zones de capture. Les inconvénients comprennent une précision de position inférieure et une dérive de position qui peuvent s’aggraver avec le temps. Ces systèmes sont similaires aux contrôleurs Wii mais sont plus sensibles et ont une résolution et des taux de mise à jour plus élevés. Ils peuvent mesurer avec précision la direction vers le sol à un degré près. La popularité des systèmes inertiels augmente parmi les développeurs de jeux, Ils peuvent mesurer avec précision la direction vers le sol à un degré près. La popularité des systèmes inertiels augmente parmi les développeurs de jeux, Ils peuvent mesurer avec précision la direction vers le sol à un degré près. La popularité des systèmes inertiels augmente parmi les développeurs de jeux,^[10] principalement en raison de la configuration rapide et facile résultant en un pipeline rapide. Une gamme de costumes est maintenant disponible auprès de divers fabricants et les prix de base varient de 1 000 $ à 80 000 $ US.

Mouvement mécanique

Les systèmes de capture de mouvement mécanique suivent directement les angles des articulations du corps et sont souvent appelés systèmes de capture de mouvement d’exosquelette, en raison de la manière dont les capteurs sont fixés au corps. Un interprète attache la structure squelettique à son corps et, lorsqu’il bouge, les pièces mécaniques articulées le font, mesurant le mouvement relatif de l’interprète. Les systèmes de capture de mouvement mécaniques sont des systèmes en temps réel, relativement peu coûteux, sans occlusion et sans fil (non attachés) qui ont un volume de capture illimité. Typiquement, ce sont des structures rigides de tiges droites articulées en métal ou en plastique reliées entre elles par des potentiomètres qui s’articulent au niveau des articulations du corps. Ces combinaisons ont tendance à se situer entre 25 000 $ et 75 000 $ plus un système de positionnement absolu externe. Certaines combinaisons offrent un retour de force limité ou haptiquesaisir.

Systèmes magnétiques

Les systèmes magnétiques calculent la position et l’orientation par le flux magnétique relatif de trois bobines orthogonales sur l’émetteur et sur chaque récepteur. ^[36] L’intensité relative de la tension ou du courant des trois bobines permet à ces systèmes de calculer à la fois la portée et l’orientation en cartographiant méticuleusement le volume de suivi. La sortie du capteur est de 6DOF , ce qui fournit des résultats utiles obtenus avec les deux tiers du nombre de marqueurs requis dans les systèmes optiques ; un sur le bras supérieur et un sur l’avant-bras pour la position et l’angle du coude. ^{[ citation nécessaire ]}Les marqueurs ne sont pas masqués par des objets non métalliques mais sont sensibles aux interférences magnétiques et électriques des objets métalliques dans l’environnement, comme les barres d’armature (barres d’armature en acier dans le béton) ou le câblage, qui affectent le champ magnétique, et les sources électriques telles que les moniteurs, les lumières, câbles et ordinateurs. La réponse du capteur est non linéaire, en particulier vers les bords de la zone de capture. Le câblage des capteurs a tendance à empêcher les mouvements de performance extrêmes. ^[36] Avec les systèmes magnétiques, il est possible de surveiller les résultats d’une session de capture de mouvement en temps réel. ^[36] Les volumes de capture pour les systèmes magnétiques sont considérablement plus petits qu’ils ne le sont pour les systèmes optiques. Avec les systèmes magnétiques, il y a une distinction entre courant alternatif (AC) etsystèmes à courant continu (CC): le système CC utilise des impulsions carrées, les systèmes CA utilisent une impulsion sinusoïdale.

Capteurs d’étirement

Les capteurs d’étirement sont des condensateurs à plaques parallèles flexibles qui mesurent l’étirement, la flexion, le cisaillement ou la pression et sont généralement fabriqués à partir de silicone. Lorsque le capteur s’étire ou se comprime, sa valeur de capacité change. Ces données peuvent être transmises via Bluetooth ou une entrée directe et utilisées pour détecter des changements infimes dans les mouvements du corps. Les capteurs d’étirement ne sont pas affectés par les interférences magnétiques et sont exempts d’occlusion. La nature extensible des capteurs signifie également qu’ils ne souffrent pas de dérive de position, ce qui est courant avec les systèmes inertiels. Les capteurs extensibles, en revanche, en raison des propriétés matérielles de leurs substrats et des matériaux conducteurs, souffrent d’un rapport signal sur bruit relativement élevé , nécessitant un filtrage ou un apprentissage automatique.pour les rendre utilisables pour la capture de mouvement. Ces solutions entraînent une latence plus élevée par rapport aux capteurs alternatifs.

Techniques associées

Capture de mouvement du visage

La plupart des fournisseurs de matériel de capture de mouvement traditionnels proposent un certain type de capture faciale à basse résolution utilisant entre 32 et 300 marqueurs avec un système de marqueur actif ou passif. Toutes ces solutions sont limitées par le temps nécessaire pour appliquer les marqueurs, calibrer les positions et traiter les données. En fin de compte, la technologie limite également leur résolution et leurs niveaux de qualité de sortie brute.

La capture de mouvement facial haute fidélité, également connue sous le nom de capture de performance , est la nouvelle génération de fidélité et est utilisée pour enregistrer les mouvements les plus complexes d’un visage humain afin de capturer des degrés d’émotion plus élevés. La capture faciale s’organise actuellement en plusieurs camps distincts, y compris les données de capture de mouvement traditionnelles, les solutions basées sur la forme de mélange, la capture de la topologie réelle du visage d’un acteur et les systèmes propriétaires.

Les deux principales techniques sont des systèmes fixes avec un réseau de caméras capturant les expressions faciales sous plusieurs angles et utilisant un logiciel tel que le solveur de maillage stéréo d’OpenCV pour créer un maillage de surface 3D, ou pour utiliser également des réseaux de lumière pour calculer les normales de surface à partir de la variation de luminosité lorsque la source lumineuse, la position de la caméra ou les deux sont modifiées. Ces techniques ont tendance à être uniquement limitées dans la résolution des caractéristiques par la résolution de la caméra, la taille apparente de l’objet et le nombre de caméras. Si le visage de l’utilisateur représente 50 % de la zone de travail de la caméra et qu’une caméra a une résolution en mégapixels, les mouvements du visage inférieurs au millimètre peuvent être détectés en comparant les images. Des travaux récents se concentrent sur l’augmentation des fréquences d’images et la création d’un flux optique pour permettre aux mouvements d’être recibles sur d’autres visages générés par ordinateur,

Positionnement RF

Les systèmes de positionnement RF (radiofréquence) deviennent plus viables ^{[ citation nécessaire ]} car les dispositifs RF à haute fréquence permettent une plus grande précision que les technologies RF plus anciennes telles que le radar traditionnel. La vitesse de la lumière est de 30 centimètres par nanoseconde (milliardième de seconde), donc un signal RF de 10 gigahertz (milliards de cycles par seconde) permet une précision d’environ 3 centimètres. En mesurant l’amplitude à un quart de longueur d’onde, il est possible d’améliorer la résolution jusqu’à environ 8 mm. Pour atteindre la résolution des systèmes optiques, des fréquences de 50 gigahertz ou plus sont nécessaires, qui dépendent presque autant de la ligne de visée et sont aussi faciles à bloquer que les systèmes optiques. Les trajets multiples et la reradiation du signal sont susceptibles de causer des problèmes supplémentaires, mais ces technologies seront idéales pour suivre des volumes plus importants avec une précision raisonnable, car la résolution requise à des distances de 100 mètres ne sera probablement pas aussi élevée. De nombreux scientifiques RF ^{[ qui ? ]}croient que la radiofréquence ne produira jamais la précision requise pour la capture de mouvement.

Des chercheurs du Massachusetts Institute of Technology ont déclaré en 2015 qu’ils avaient créé un système qui suit le mouvement par des signaux RF, appelé RF Tracking. ^[37]

Systèmes non traditionnels

Une approche alternative a été développée où l’acteur dispose d’une zone de marche illimitée grâce à l’utilisation d’une sphère rotative, semblable à une balle de hamster , qui contient des capteurs internes enregistrant les mouvements angulaires, supprimant le besoin de caméras externes et d’autres équipements. Même si cette technologie pourrait potentiellement réduire considérablement les coûts de capture de mouvement, la sphère de base n’est capable d’enregistrer qu’une seule direction continue. Des capteurs supplémentaires portés sur la personne seraient nécessaires pour enregistrer quoi que ce soit de plus.

Une autre alternative consiste à utiliser une plate-forme de mouvement 6DOF (degrés de liberté) avec un tapis roulant omnidirectionnel intégré avec capture de mouvement optique haute résolution pour obtenir le même effet. La personne capturée peut marcher dans une zone illimitée, négociant différents terrains accidentés. Les applications incluent la réadaptation médicale pour l’entraînement à l’équilibre, la recherche biomécanique et la réalité virtuelle. ^{[ citation nécessaire ]}

Estimation de pose 3D

Dans l’estimation de pose 3D , la pose d’un acteur peut être reconstruite à partir d’une image ou d’ une carte de profondeur . ^[38]

Voir également

Base de données d’animations
Reconnaissance gestuelle
Suivi des doigts
Cinématique inverse (une manière différente de rendre les effets CGI réalistes)
Kinect (créé par Microsoft Corporation)
Liste des formats de fichier de mouvement et de geste
Action de capture de mouvement
Suivi vidéo
Suivi de position VR

Références

^ Goebl, W.; En lignePalmer, C. (2013). Balasubramaniam, Ramesh (éd.). “Contrôle temporel et efficacité du mouvement des mains dans l’interprétation musicale qualifiée” . PLOS ONE . 8 (1) : e50901. Bibcode : 2013PLoSO…850901G . doi : 10.1371/journal.pone.0050901 . PMC 3536780 . PMID 23300946 .
^ Olsen, T.-N.-L. ; Markussen, B; Raket, LL (2018), “Inférence simultanée pour les données fonctionnelles multivariées mal alignées”, Journal of the Royal Statistical Society, série C , 67 (5): 1147–76, arXiv : 1606.03295 , doi : 10.1111/rssc.12276 , S2CID 88515233
^ David Noonan, Peter Mountney, Daniel Elson, Ara Darzi et Guang-Zhong Yang. Un fibroscope stéréoscopique pour le mouvement de la caméra et la récupération de profondeur 3D pendant une chirurgie mini-invasive. Dans proc ICRA 2009, pp. 4463–68. http://www.sciweavers.org/external.php?u=http%3A%2F%2Fwww.doc.ic.ac.uk%2F%7Epmountne%2Fpublications%2FICRA%25202009.pdf&p=ieee
^ Yamane, Katsu et Jessica Hodgins. ” Suivi et équilibrage simultanés de robots humanoïdes pour imiter les données de capture de mouvement humain .” Robots et systèmes intelligents, 2009. IROS 2009. Conférence internationale IEEE/RSJ sur. IEEE, 2009.
^ NY Castings, Joe Gatt, Motion Capture Actors: Body Movement Tells the Story Archivé le 03/07/2014 à la Wayback Machine , consulté le 21 juin 2014
^ Andrew Harris Salomon, 22 février 2013, Backstage Magazine, Growth In Performance Capture Helping Gaming Actors Weather Slump , Consulté le 21 juin 2014, “..Mais les développements de la technologie de capture de mouvement, ainsi que les nouvelles consoles de jeu attendues de Sony et Microsoft dans l’année, indiquent que ce créneau continue d’être un pôle de croissance pour les acteurs. Et pour ceux qui ont songé à s’y introduire, le message est clair : Occupez-vous…”
^ Ben Child, 12 août 2011, The Guardian, Andy Serkis : pourquoi les Oscars ne vont-ils pas devenir des singes sur le jeu de capture de mouvement ? Star of Rise of the Planet of the Apes dit que la capture de performance est mal comprise et que ses acteurs méritent plus de respect , Consulté le 21 juin 2014
^ Hugh Hart, 24 janvier 2012, magazine Wired, Quand un acteur de capture de mouvement remportera-t-il un Oscar ? , Consulté le 21 juin 2014, « … la réticence historique de l’Académie des arts et des sciences du cinéma à honorer les performances de capture de mouvement. science de la performance-capture d’acteur. …”
^ Cheung, KM allemand, et al. ” Un système en temps réel pour la reconstruction voxel 3D robuste des mouvements humains .” Vision par ordinateur et reconnaissance de formes, 2000. Actes. Conférence IEEE sur. Vol. 2. IEEE, 2000.
^ ^un ^b “Xsens MVN Animate – Produits” . Suivi de mouvement Xsens 3D . Récupéré le 22/01/2019 .
^ “Le Lexique de la prochaine génération 1996 de A à Z : Capture de mouvement” . Prochaine génération . N° 15. Imagine Média . Mars 1996. p. 37.
^ “Capture de mouvement”. Prochaine génération . Imagine Media (10): 50. Octobre 1995.
^ Jon Radoff, Anatomie d’un MMORPG, “Copie archivée” . Archivé de l’original le 13/12/2009 . Récupéré le 30/11/2009 .{{cite web}}: Maint CS1 : copie archivée comme titre ( lien )
^ ^un ^b “Hourra pour Hollywood! Acclaim Studios”. GamePro . IDG (82): 28–29. juillet 1995.
^ Maçon, Graeme. “Jeux Martech – Les Gens de la Personnalité” . Joueur rétro . n° 133. p. 51.
^ “Jeux de combat pré-Street Fighter II” . Jeu hardcore 101 . p. 8 . Récupéré le 26 novembre 2021 .
^ “Exclusivité Sega Saturn! Virtua Fighter: combats dans la troisième dimension” (PDF) . Jeux informatiques et vidéo . n° 158 (janvier 1995). Future plc . 15 décembre 1994. p. 12–3, 15–6, 19.
^ “Combattant Virtua”. Maximum : Le magazine du jeu vidéo . Emap International Limited (1) : 142–3. Octobre 1995.
^ Wawro, Alex (23 octobre 2014). “Yu Suzuki se souvient d’avoir utilisé la technologie militaire pour créer Virtua Fighter 2” . Gamasutra . Récupéré le 18 août 2016 .
^ “Histoire de la capture de mouvement” . Motioncapturesociety.com. Archivé de l’original le 2018-10-23 . Récupéré le 10/08/2013 .
^ “Coin-Op News: technologie Acclaim exploitée pour le film” Batman “” . Lecture du compteur . Vol. 20, non. 11. Octobre 1994. p. 22.
^ “Acclaim jalonne sa revendication” . Rejouer . Vol. 20, non. 4. Janvier 1995. p. 71.
^ Savage, Annalisa (12 juillet 2012). “Gollum Actor: Comment la nouvelle technologie de capture de mouvement a amélioré le Hobbit” . Câblé . Récupéré le 29 janvier 2017 .
^ “Capture de mouvement sans marqueur | EuMotus” . Capture de mouvement sans marqueur | Eu Motus . Récupéré le 12/10/2018 .
^ Corriea, Alexa Ray (30 juin 2014). “Ce logiciel de reconnaissance faciale vous permet d’être Octodad” . Récupéré le 4 janvier 2017 – via www.polygon.com.
^ Plunkett, Luc. “Transformez votre visage humain en personnage de jeu vidéo” . kotaku.com . Récupéré le 4 janvier 2017 .
^ “Mettez votre visage de jeu (numérique)” . fxguide.com . 24 avril 2016 . Récupéré le 4 janvier 2017 .
^ Sturm, Jürgen, et al. ” Une référence pour l’évaluation des systèmes RGB-D SLAM .” Robots et systèmes intelligents (IROS), Conférence internationale IEEE/RSJ 2012 sur. IEEE, 2012.
^ “Capture de mouvement : Systèmes Optiques”. Prochaine génération . Imagine Media (10): 53. Octobre 1995.
^ Veis, G. (1963). “Suivi optique de satellites artificiels”. Revues des sciences spatiales . 2 (2): 250–296. Bibcode : 1963SSRv….2..250V . doi : 10.1007/BF00216781 . S2CID 121533715 .
^ Shum, Hubert PH; Ho, Edmond SL; Jiang, Yang; Takagi, Shu (2013). “Reconstruction de posture en temps réel pour Microsoft Kinect”. Transactions IEEE sur la cybernétique . 43 (5): 1357-1369. doi : 10.1109/TCYB.2013.2275945 . PMID 23981562 . S2CID 14124193 .
^ Liu, Zhiguang; Zhou, Liuyang; Leung, Howard; Shum, Hubert PH (2016). “Reconstruction de posture Kinect basée sur un mélange local de modèles de processus gaussiens” (PDF) . Transactions IEEE sur la visualisation et l’infographie . 22 (11): 2437–2450. doi : 10.1109/TVCG.2015.2510000 . PMID 26701789 . S2CID 216076607 .
↑ Plantard, Pierre ; Shum, Hubert PH; Pierres, Anne-Sophie Le; Multon, Franck (2017). « Validation d’une méthode d’évaluation ergonomique à l’aide de données Kinect en conditions réelles de travail ». Ergonomie Appliquée . 65 : 562–569. doi : 10.1016/j.apergo.2016.10.015 . PMID 27823772 .
^ “Suivi complet du mouvement humain 6DOF à l’aide de capteurs inertiels miniatures” (PDF) .
^ “Une histoire de capture de mouvement” . Suivi de mouvement Xsens 3D . Récupéré le 22/01/2019 .
^ ^un ^{bc ” la} ^Capture de Mouvement : les Systèmes Magnétiques “. Prochaine génération . Imagine Media (10): 51. Octobre 1995.
^ Alba, Alexandre. “Les chercheurs du MIT créent un appareil qui peut reconnaître, suivre les gens à travers les murs” . nydailynews.com . Récupéré le 09/12/2019 .
^ Oui, Mao, et al. ” Estimation précise de la pose 3D à partir d’une seule image de profondeur . ” Conférence internationale 2011 sur la vision par ordinateur. IEEE, 2011.

Liens externes

La fascination pour la capture de mouvement , une introduction à l’histoire de la technologie de capture de mouvement