Autoren: Sascha Holesch, Frederik Schlupkothen
Datum: 01.09.2009

Einführung

Motion-Capture (MoCap) bezeichnet ein Verfahren zur Aufnahme von Bewegungen im dreidimensionalen Raum. Die aufgenommenen Bewegungsdaten werden maschinenlesbar festgehalten und können auf animierte Objekte übertragen oder für Bewegungsanalysen verwendet werden. Beispiele für Anwendungsfelder liegen für Bewegungsanalysen in der Medizin oder im Sport, für die Animation insbesondere in den Unterhaltungsbranchen wie Film und Computerspiel.

Eyes, JAPAN produziert solche MoCap-Daten. Zur Aufnahme steht der Firma ein Studio fü optisches MoCap an der University of Aizu zur Miete zur Verfügung. Die aufgenommenen MoCap-Daten werden über einen Online-Shop vertrieben, beziehungsweise frei zur Verfügung gestellt. Dabei wird zwischen professionellen und Amateur-Aufnahmen unterschieden. Zur ersten Kategorie gehören Aufnahmen von professionellen oder semi-professionellen Darstellern durchgeführten Bewegungsmuster wie beispielsweise Tänze oder Martial Arts. Diese sind im Online-Shop als „premium motion data“ ausgezeichnet. Zur zweiten Kategorie gehören insbesondere Test-Aufnahmen von Studenten oder Praktikanten. Diese sind als „free motion data“ ausgezeichnet und werden im Online-Shop unter der Creative-Commons-Lizenz angeboten. Eyes, JAPAN unterhält derzeit unter mocapdata.com die größte Bibliothek mit frei verfügbaren MoCap-Daten. Das genutzte Online-Shop-System ist von Eyes, JAPAN eigens für den Vertrieb der MoCap-Daten entwickelt worden. Auch dieses System (Projektname Cassiopeia) steht frei zur Verfügung und kann unter der BSD-Lizenz genutzt und weiterentwickelt werden. Einen ersten Überblick des MoCap-Aufnahmeprozesses liefert Vid.1.

Vid.1: Überblick des MoCap-Aufnahmeprozesses

Mittlerweile werden die von Eyes, JAPAN angebotenen MoCap-Daten weltweit von vielen renommierten Universitäten, für die Produktion von Fernseh-Animationen und zahlreichen 3D-Communities genutzt. Dies lässt sich anhand vieler Internet-Einträge nachvollziehen (Referenzen).

Neben dem Vertrieb im Online-Shop werden Bewegungsdaten auch für spezifische Projekte aus dem medizinischen oder anderen Bereichen produziert. Beispielsweise wurden Lehrbücher für Krankenhelfer produziert, in denen beschrieben wird, wie mit möglichst geringer Kraftanstrengung Personen gehoben oder umgebettet werden können. Ein großer Vorteil von Eyes, JAPAN gegenüber anderen Anbietern von MoCap-Daten ist der freie Zugang zum MoCap-Studio innerhalb der University of Aizu. Durch die fortschrittliche Ausstattung und langjährige Erfahrung ist es Eyes, JAPAN sogar möglich Gesichts-MoCap und Hand-MoCap durchzuführen. Darüber hinaus besteht auch die Möglichkeit, MoCap und Robotik miteinander zu verbinden.

Wir hatten das Glück an einer MoCap-Session teilnehmen zu können und aktiv dabei mitwirken zu dürfen. Davon möchten wir in diesem Erfahrungsbericht erzählen.

Systemkomponenten

Für die Aufnahme der Bewegungsdaten steht ein spezielles Studio an der Universität von Aizu zur Verfügung. Das Studio (siehe Abb.1) ist mit insgesamt zwölf Kameras ausgerüstet, wovon acht rund um das Aufnahme-Areal an der Decke angebracht sind und vier mobil auf Stativen in den Ecken des Studios auf Höhe der Akteure stehen. Die Kameras (siehe Abb.2) emittieren rotes Licht und nehmen dessen Reflexion auf. Die Kamera kann dabei 10 Bit Graustufen unterscheiden. Als Reflektoren dienen kugelförmige Marker, die über Klettverschluss an Kleidung oder anderen aufzunehmenden Objekten angebracht werden können. Die so erhaltenen Signale werden zu räumlichen Positionsdaten umgerechnet und gespeichert. Diese Daten können über Editierprogramme bereinigt und angepasst werden. Die Universität von Aizu nutzt ein Aufnahmesystem der Firma Vicon, die sowohl Hardware- als auch Software-Komponenten zur Verfügung stellt. „Vicon MX 40“ ist das von Eyes, JAPAN verwendete System. Die Auflösung beträgt 2352x1728 Pixel bei 160 Hz.

Abb.1: Übersicht des MoCap-Studios

Abb.2: Mobile Vicon-MoCab-Kamera

System-Kalibrierung

Nachdem die vier mobilen Kameras aufgestellt sind, müssen diese kalibriert werden. Dazu wird in der Mitte des gewünschten Aufnahme-Areals ein Dreieck mit einigen Markern platziert (siehe Abb.3). Die mobilen Kameras werden dann in Relation zu den Markern ausgerichtet, so dass sich die Marker exakt in der Mitte der Kameras befinden. Der Mittelpunkt des Aufnahme-Areals ist damit definiert. Als nächstes muss der Bereich in dem der Akteur von allen Kameras komplett erfasst werden kann bestimmt werden. Um herauszufinden, über welchem Raum sich dieser Bereich erstreckt, wird mithilfe eines t-förmigen Stabes an dessen Ende Marker befestigt sind, der ungefähre Bereich abgetastet (siehe Abb.4). Die Software teilt dann mit ob die Marker von den einzelnen Kameras erfasst wurden und stuft den Erfolg ein (Excellent, Good, usw.). Erwünscht ist ein Excellent-Rating bei allen Kameras, weshalb dieser Test ggf. wiederholt werden muss, bevor die Kalibrierungs-Phase abgeschlossen werden kann.

Abb.3: Definieren des Aufnahmebereich-Mittelpunkts

Abb.4: Abtasten des Aufnahmebereichs

Aufnahme

Bevor mit den Aufnahmen begonnen werden kann, zieht der Akteur einen MoCap-Anzug an. Dies ist im Grunde ein schwarzer „Klettverschluss-Anzug“ an dem die für das optische MoCap benötigten Marker angebracht werden können. Die Anzahl der Marker variiert je nachdem welche Art von MoCap durchgeführt wird. Für das im Bild zu sehende Ganzkörper-MoCap werden insgesamt 57 Marker am Akteur befestigt (siehe Abb.5). Die Marker werden an bestimmten Stellen des Anzugs befestigt. Wo sich diese Stellen genau befinden kann an einem 3D-Referenzmodell innerhalb der Vicon iQ Software abgelesen werden. Sind die Marker angebracht, stellt sich der Akteur in den Mittelpunkt des Aufnahme-Areals um einige Grund-Bewegungen durchzuführen (siehe Abb.6). Dies ist nötig um festzustellen, ob die Marker tatsächlich korrekt positioniert sind. Am 3D-Modell auf dem Rechner lässt sich dies leicht feststellen. Zu Beginn und Ende jeder Aufzeichnung muss der Akteur in die so genannte T-Pose wechseln. Hierbei streckt er seine Arme seitlich vom Körper. Dies wird für das Pipeline-Editing benötigt.

Konkret an diesem Tag wurden Vormittags Aufnahmen von Bewegungsabläufen von Abe-san im Zusammenspiel mit einem Fahrrad aufgezeichnet. Darunter Szenen wie normales fahren, sitzen auf dem Gepäckträger, aber auch ausgefalleneres wie einen Wheelie, auf dem Sattel stehen und stürzen vom Rad. Der Nachmittag wurde von dem Aufzeichnen von Tanzbewegungen zweier Hip Hop Tänzer verbracht. Nachdem diese Session abgeschlossen war, blieb noch etwas Zeit um selbst in den MoCap-Anzug zu schlüpfen und einige Aufnahmen zu machen. (siehe Abb.7)

Abb.5: Anbringen der Marker

Abb.6: Überprüfung der Marker-Positionierung

Abb.7: Beginn der MoCap-Aufnahme

Aufbereitung

Während des Aufzeichnungsvorgangs kann es sein, dass von Gegenständen welche keine Marker sind Licht zu den Kameras reflektiert wird oder Marker nicht als solche erkannt werden. Daher müssen die Rohdaten noch von diesen Störungen manuell bereinigt und eventuell fehlende Marker per Hand hinzugefügt werden. Erst danach kann ein 3D-Skelett (siehe Abb.8) über die Punkte gelegt werden, was mehr oder weniger automatisch funktioniert. Die so generierten Bewegungsdaten können im Anschluss auf animierte Objekte gelegt werden.

Abb.8: 3D-Skelett des Akteurs

Wir sind froh, dass uns die Möglichkeit gegeben wurde, an einer MoCap-Session teilnehmen zu dürfen. Es war äußerst interessant das Studio mitsamt Equipment anzugucken und auch selbst einige Erfahrungen im Ablauf einer solchen Session sammeln zu dürfen sowie einmal selbst in einen der Anzüge zu schlüpfen und einige Szenen aufzuzeichnen.

Referenzen

Bücher

Character Animation with Poser® Pro

Larry Mitchell

Course Technology PTR, July 25, 2008

Safari Books Online

“Another [resource] (my favorite) is http://mocapdata.com, which breaks down the motion capture files by easy to understand categories. As you go into these categories, it further breaks them down into subcategories. For example, Walk is broken down into Normal, Drunk, Sneak, Fast, and so on. This is from a Japanese university so their spelling is a bit creative, but they have some interesting styles, which can help you get close to what you actually need for the story you are building. The subcategories are then further broken into even more subcategories with a variety of different file formats, such as .FBX (Autodesk MotionBuilder), .C3D (Vidicon), .BVH (Biovision), and .BIP (Character Studio Biped).”

“The good news about http://mocapdata.com is that most of its data comes in ready-to-use in Poser Pro, which means you have fewer cleanups to do when you get these files in.”

Wissenschaftliche Publikationen

A Volumetric Approach to Interactive Shape Editing

Carsten Stoll, Edilson de Aguiar, Christian Theobalt, Hans-Peter Seidel

MPI-I-2007-4-004 June 2007

Max-Planck-Institut für Informatik

mpi-inf

A 3D Shape Descriptor for Human Pose Recovery

Laetitia Gond, Patrick Sayd, Thierry Chateau and Michel Dhome

Lecture Notes in Computer Science

Verlag Springer Berlin / Heidelberg, 2008

CEA, LIST, Laboratoire Systèmes de Vision Embarqués, Boîte Courrier 94, F-91191 Gif-sur-Yvette

LASMEA CNRS, Université Blaise Pascal, Clermont-Ferrand, France

SpringerLink

Learning Task-Specific Similarity

Gregory Shakhnarovich

Massachusetts Institute of Technology

September 2005

Brown University

Conditional Random People: Tracking Humans with CRFs and Grid Filters

Leonid Taycher, Gregory Shakhnarovich, David Demirdjian, and Trevor Darrell

Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology, Cambridge, MA 02139

Department of Computer Science, Brown University, Providence, RI 02912

MIT

Avoiding the “Streetlight Effect”: Tracking by Exploring Likelihood Modes

David Demirdjian, Leonid Taycher, Gregory Shakhnarovich, Kristen Grauman, and Trevor Darrell

Computer Science and Artificial Intelligence Laboratory

Massachusetts Institute of Technology

Cambridge, MA, 02139, 2005

MIT

…and other papers of Gregory Shakhnarovich

A Database for Stylistic Human Gait Modeling and Synthesis

Joëlle Tilmanne, Raphaël Sebbe, Thierry Dutoit

Quarterly Progress Scientific Report (QPSR) of the numediart research program in digital art technologies, Vol. 1, No. 3, September 2008

Laboratoire de Théorie des Circuits et Traitement du Signal (TCTS), Faculté Polytechnique de Mons (FPMs), Belgique

numediart

eNTERFACE’08

Conditional Random People: Tracking Humans with CRFs and Grid Filters

Leonid Taycher, Gregory Shakhnarovich, David Demirdjian, and Trevor Darrein

Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology, Cambridge, MA 02139

Department of Computer Science, Brown University, Providence, RI02912

in Computer Science and Artificial Intelligence Laboratory, Technical Report

MIT-CSAIL-TR-2005-079 December 1, 2005, AIM-2005-03H

MIT

Planiranje i sinteza animacija utjelovljenih razgovornih agenata u stvarnom vremenu pomoću BML jezika

Aleksandra Čereković

Zavod za telekomunikacije i informatiku, Fakultet elektrotehnike i računarstva, Zagreb, 2007

FER

University of Saitama

ITC

University of Osaka

Takemura Lab

University of Texas at Arlington

UTA

Georgia State University

GSU

Constructing Virtual Urban Environment Using Game Technology

A Case Study of Tokyo Yaesu Downtown Development Plan

Aswin Indraprastha, Dr. Michihiko Shinozaki

Shibaura Institute of Technology, Japan, 2008

AswinIndra

School of Mathematical and Computer Sciences (MACS) of Heriot-Watt University Edinburgh

Ruth Aylett, Professor of Computer Sciences

MACS

Videos

Karate-Puppe

Video produziert für TV-Dokumentation in Venezuela

Ausserirdischer beim Frisbee. Live action kombiniert mit CG

3D-Film kombiniert Szenen

Schwertschwingende 3D-She-ra

Spazierendes 3D-Maskottchen

Spazierende Figur

Kleine CG Kampfszene

Tanzende Fee

CG-Junge wirft Baseball

Petunia

Video, das von der Blender-Community zur Ansage nominierter Animationen erstellt wurde.

Petunia-Projektseite

Making of Petunia

The 2007 Suzanne Awards Nominations

Petunia Videos unter youtube

Andere

Die frei verfügbaren MoCap-Daten sind auch in der freien 3D-Szene äusserst beliebt. Dies spiegelt sich beispielsweise in Einträgen zahlreicher Blogs, Foren und Linklisten wieder. Nachfolgend eine kleine Auswahl: