ETC Review

Autoren: Sascha Holesch, Frederik Schlupkothen
Datum: 01.09.2009

Einführung

Motion-Capture (MoCap) bezeichnet ein Verfahren zur Aufnahme von Bewegungen im dreidimensionalen Raum. Die aufgenommenen Bewegungsdaten werden maschinenlesbar festgehalten und können auf animierte Objekte übertragen oder für Bewegungsanalysen verwendet werden. Beispiele für Anwendungsfelder liegen für Bewegungsanalysen in der Medizin oder im Sport, für die Animation insbesondere in den Unterhaltungsbranchen wie Film und Computerspiel.

Eyes, JAPAN produziert solche MoCap-Daten. Zur Aufnahme steht der Firma ein Studio fü optisches MoCap an der University of Aizu zur Miete zur Verfügung. Die aufgenommenen MoCap-Daten werden über einen Online-Shop vertrieben, beziehungsweise frei zur Verfügung gestellt. Dabei wird zwischen professionellen und Amateur-Aufnahmen unterschieden. Zur ersten Kategorie gehören Aufnahmen von professionellen oder semi-professionellen Darstellern durchgeführten Bewegungsmuster wie beispielsweise Tänze oder Martial Arts. Diese sind im Online-Shop als „premium motion data“ ausgezeichnet. Zur zweiten Kategorie gehören insbesondere Test-Aufnahmen von Studenten oder Praktikanten. Diese sind als „free motion data“ ausgezeichnet und werden im Online-Shop unter der Creative-Commons-Lizenz angeboten. Eyes, JAPAN unterhält derzeit unter mocapdata.com die größte Bibliothek mit frei verfügbaren MoCap-Daten. Das genutzte Online-Shop-System ist von Eyes, JAPAN eigens für den Vertrieb der MoCap-Daten entwickelt worden. Auch dieses System (Projektname Cassiopeia) steht frei zur Verfügung und kann unter der BSD-Lizenz genutzt und weiterentwickelt werden. Einen ersten Überblick des MoCap-Aufnahmeprozesses liefert Vid.1.


Vid.1: Überblick des MoCap-Aufnahmeprozesses


Mittlerweile werden die von Eyes, JAPAN angebotenen MoCap-Daten weltweit von vielen renommierten Universitäten, für die Produktion von Fernseh-Animationen und zahlreichen 3D-Communities genutzt. Dies lässt sich anhand vieler Internet-Einträge nachvollziehen (Referenzen).

Neben dem Vertrieb im Online-Shop werden Bewegungsdaten auch für spezifische Projekte aus dem medizinischen oder anderen Bereichen produziert. Beispielsweise wurden Lehrbücher für Krankenhelfer produziert, in denen beschrieben wird, wie mit möglichst geringer Kraftanstrengung Personen gehoben oder umgebettet werden können. Ein großer Vorteil von Eyes, JAPAN gegenüber anderen Anbietern von MoCap-Daten ist der freie Zugang zum MoCap-Studio innerhalb der University of Aizu. Durch die fortschrittliche Ausstattung und langjährige Erfahrung ist es Eyes, JAPAN sogar möglich Gesichts-MoCap und Hand-MoCap durchzuführen. Darüber hinaus besteht auch die Möglichkeit, MoCap und Robotik miteinander zu verbinden.

Wir hatten das Glück an einer MoCap-Session teilnehmen zu können und aktiv dabei mitwirken zu dürfen. Davon möchten wir in diesem Erfahrungsbericht erzählen.

Systemkomponenten

Für die Aufnahme der Bewegungsdaten steht ein spezielles Studio an der Universität von Aizu zur Verfügung. Das Studio (siehe Abb.1) ist mit insgesamt zwölf Kameras ausgerüstet, wovon acht rund um das Aufnahme-Areal an der Decke angebracht sind und vier mobil auf Stativen in den Ecken des Studios auf Höhe der Akteure stehen. Die Kameras (siehe Abb.2) emittieren rotes Licht und nehmen dessen Reflexion auf. Die Kamera kann dabei 10 Bit Graustufen unterscheiden. Als Reflektoren dienen kugelförmige Marker, die über Klettverschluss an Kleidung oder anderen aufzunehmenden Objekten angebracht werden können. Die so erhaltenen Signale werden zu räumlichen Positionsdaten umgerechnet und gespeichert. Diese Daten können über Editierprogramme bereinigt und angepasst werden. Die Universität von Aizu nutzt ein Aufnahmesystem der Firma Vicon, die sowohl Hardware- als auch Software-Komponenten zur Verfügung stellt. „Vicon MX 40“ ist das von Eyes, JAPAN verwendete System. Die Auflösung beträgt 2352×1728 Pixel bei 160 Hz.


Abb.1: Übersicht des MoCap-Studios

IMG_001.JPG

Abb.2: Mobile Vicon-MoCab-Kamera

IMG_002.JPG


System-Kalibrierung

Nachdem die vier mobilen Kameras aufgestellt sind, müssen diese kalibriert werden. Dazu wird in der Mitte des gewünschten Aufnahme-Areals ein Dreieck mit einigen Markern platziert (siehe Abb.3). Die mobilen Kameras werden dann in Relation zu den Markern ausgerichtet, so dass sich die Marker exakt in der Mitte der Kameras befinden. Der Mittelpunkt des Aufnahme-Areals ist damit definiert. Als nächstes muss der Bereich in dem der Akteur von allen Kameras komplett erfasst werden kann bestimmt werden. Um herauszufinden, über welchem Raum sich dieser Bereich erstreckt, wird mithilfe eines t-förmigen Stabes an dessen Ende Marker befestigt sind, der ungefähre Bereich abgetastet (siehe Abb.4). Die Software teilt dann mit ob die Marker von den einzelnen Kameras erfasst wurden und stuft den Erfolg ein (Excellent, Good, usw.). Erwünscht ist ein Excellent-Rating bei allen Kameras, weshalb dieser Test ggf. wiederholt werden muss, bevor die Kalibrierungs-Phase abgeschlossen werden kann.


Abb.3: Definieren des Aufnahmebereich-Mittelpunkts

IMG_003.JPG

Abb.4: Abtasten des Aufnahmebereichs

IMG_004.JPG


Aufnahme

Bevor mit den Aufnahmen begonnen werden kann, zieht der Akteur einen MoCap-Anzug an. Dies ist im Grunde ein schwarzer „Klettverschluss-Anzug“ an dem die für das optische MoCap benötigten Marker angebracht werden können. Die Anzahl der Marker variiert je nachdem welche Art von MoCap durchgeführt wird. Für das im Bild zu sehende Ganzkörper-MoCap werden insgesamt 57 Marker am Akteur befestigt (siehe Abb.5). Die Marker werden an bestimmten Stellen des Anzugs befestigt. Wo sich diese Stellen genau befinden kann an einem 3D-Referenzmodell innerhalb der Vicon iQ Software abgelesen werden. Sind die Marker angebracht, stellt sich der Akteur in den Mittelpunkt des Aufnahme-Areals um einige Grund-Bewegungen durchzuführen (siehe Abb.6). Dies ist nötig um festzustellen, ob die Marker tatsächlich korrekt positioniert sind. Am 3D-Modell auf dem Rechner lässt sich dies leicht feststellen. Zu Beginn und Ende jeder Aufzeichnung muss der Akteur in die so genannte T-Pose wechseln. Hierbei streckt er seine Arme seitlich vom Körper. Dies wird für das Pipeline-Editing benötigt.

Konkret an diesem Tag wurden Vormittags Aufnahmen von Bewegungsabläufen von Abe-san im Zusammenspiel mit einem Fahrrad aufgezeichnet. Darunter Szenen wie normales fahren, sitzen auf dem Gepäckträger, aber auch ausgefalleneres wie einen Wheelie, auf dem Sattel stehen und stürzen vom Rad. Der Nachmittag wurde von dem Aufzeichnen von Tanzbewegungen zweier Hip Hop Tänzer verbracht. Nachdem diese Session abgeschlossen war, blieb noch etwas Zeit um selbst in den MoCap-Anzug zu schlüpfen und einige Aufnahmen zu machen. (siehe Abb.7)


Abb.5: Anbringen der Marker

IMG_005.JPG

Abb.6: Überprüfung der Marker-Positionierung

IMG_006.JPG

Abb.7: Beginn der MoCap-Aufnahme

IMG_007.JPG


Aufbereitung

Während des Aufzeichnungsvorgangs kann es sein, dass von Gegenständen welche keine Marker sind Licht zu den Kameras reflektiert wird oder Marker nicht als solche erkannt werden. Daher müssen die Rohdaten noch von diesen Störungen manuell bereinigt und eventuell fehlende Marker per Hand hinzugefügt werden. Erst danach kann ein 3D-Skelett (siehe Abb.8) über die Punkte gelegt werden, was mehr oder weniger automatisch funktioniert. Die so generierten Bewegungsdaten können im Anschluss auf animierte Objekte gelegt werden.


Abb.8: 3D-Skelett des Akteurs

IMG_008.JPG


Wir sind froh, dass uns die Möglichkeit gegeben wurde, an einer MoCap-Session teilnehmen zu dürfen. Es war äußerst interessant das Studio mitsamt Equipment anzugucken und auch selbst einige Erfahrungen im Ablauf einer solchen Session sammeln zu dürfen sowie einmal selbst in einen der Anzüge zu schlüpfen und einige Szenen aufzuzeichnen.

Referenzen

Bücher

  • Character Animation with Poser® Pro

    Larry Mitchell

    Course Technology PTR, July 25, 2008

    Safari Books Online

    “Another [resource] (my favorite) is http://mocapdata.com, which breaks down the motion capture files by easy to understand categories. As you go into these categories, it further breaks them down into subcategories. For example, Walk is broken down into Normal, Drunk, Sneak, Fast, and so on. This is from a Japanese university so their spelling is a bit creative, but they have some interesting styles, which can help you get close to what you actually need for the story you are building. The subcategories are then further broken into even more subcategories with a variety of different file formats, such as .FBX (Autodesk MotionBuilder), .C3D (Vidicon), .BVH (Biovision), and .BIP (Character Studio Biped).”

    “The good news about http://mocapdata.com is that most of its data comes in ready-to-use in Poser Pro, which means you have fewer cleanups to do when you get these files in.”

Wissenschaftliche Publikationen

  • A Volumetric Approach to Interactive Shape Editing

    Carsten Stoll, Edilson de Aguiar, Christian Theobalt, Hans-Peter Seidel

    MPI-I-2007-4-004 June 2007

    Max-Planck-Institut für Informatik

    mpi-inf

  • A 3D Shape Descriptor for Human Pose Recovery

    Laetitia Gond, Patrick Sayd, Thierry Chateau and Michel Dhome

    Lecture Notes in Computer Science

    Verlag Springer Berlin / Heidelberg, 2008

    CEA, LIST, Laboratoire Systèmes de Vision Embarqués, Boîte Courrier 94, F-91191 Gif-sur-Yvette

    LASMEA CNRS, Université Blaise Pascal, Clermont-Ferrand, France

    SpringerLink

  • Learning Task-Specific Similarity

    Gregory Shakhnarovich

    Massachusetts Institute of Technology

    September 2005

    Brown University

  • Conditional Random People: Tracking Humans with CRFs and Grid Filters

    Leonid Taycher, Gregory Shakhnarovich, David Demirdjian, and Trevor Darrell

    Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology, Cambridge, MA 02139

    Department of Computer Science, Brown University, Providence, RI 02912

    MIT

  • Avoiding the “Streetlight Effect”: Tracking by Exploring Likelihood Modes

    David Demirdjian, Leonid Taycher, Gregory Shakhnarovich, Kristen Grauman, and Trevor Darrell

    Computer Science and Artificial Intelligence Laboratory

    Massachusetts Institute of Technology

    Cambridge, MA, 02139, 2005

    MIT

    …and other papers of Gregory Shakhnarovich

  • A Database for Stylistic Human Gait Modeling and Synthesis

    Joëlle Tilmanne, Raphaël Sebbe, Thierry Dutoit

    Quarterly Progress Scientific Report (QPSR) of the numediart research program in digital art technologies, Vol. 1, No. 3, September 2008

    Laboratoire de Théorie des Circuits et Traitement du Signal (TCTS), Faculté Polytechnique de Mons (FPMs), Belgique

    numediart
    eNTERFACE’08

  • Conditional Random People: Tracking Humans with CRFs and Grid Filters

    Leonid Taycher, Gregory Shakhnarovich, David Demirdjian, and Trevor Darrein

    Computer Science and Artificial Intelligence Laboratory, Massachusetts Institute of Technology, Cambridge, MA 02139

    Department of Computer Science, Brown University, Providence, RI02912

    in Computer Science and Artificial Intelligence Laboratory, Technical Report

    MIT-CSAIL-TR-2005-079 December 1, 2005, AIM-2005-03H

    MIT

  • Planiranje i sinteza animacija utjelovljenih razgovornih agenata u stvarnom vremenu pomoću BML jezika

    Aleksandra Čereković

    Zavod za telekomunikacije i informatiku, Fakultet elektrotehnike i računarstva, Zagreb, 2007

    FER

  • University of Saitama

    ITC

  • University of Osaka

    Takemura Lab

  • University of Texas at Arlington

    UTA

  • Georgia State University

    GSU

  • Constructing Virtual Urban Environment Using Game Technology

    A Case Study of Tokyo Yaesu Downtown Development Plan

    Aswin Indraprastha, Dr. Michihiko Shinozaki

    Shibaura Institute of Technology, Japan, 2008

    AswinIndra

  • School of Mathematical and Computer Sciences (MACS) of Heriot-Watt University Edinburgh

    Ruth Aylett, Professor of Computer Sciences

    MACS

Videos

Petunia

Video, das von der Blender-Community zur Ansage nominierter Animationen erstellt wurde.

Andere

Die frei verfügbaren MoCap-Daten sind auch in der freien 3D-Szene äusserst beliebt. Dies spiegelt sich beispielsweise in Einträgen zahlreicher Blogs, Foren und Linklisten wieder. Nachfolgend eine kleine Auswahl:

Foren

Linklisten

Tutorials (3dsmax-Tutorial)

Für ein Tutorial für eine Animation ähnlich dem Werbevideo der Fußball-Weltmeisterschaft 2006 benutzt der Autor MoCap-Daten von mocapdata.com.

コメントを残す

Spam Protection by WP-SpamFree

立体視関連のソフトやハード、話題の新製品・サービスのリリース日やイベント情報をまとめています。
カレンダーのダウンロードはこちらから→XML, ICAL, HTML

バナー

最近のコメント

  • Ambo: 以下の点についてもう一度ご確認ください ・使用しているマシンのスペックが3Dvisinoの動作要件を 満たしているか ・使用しているディスプレイが3Dvision対応のものかどう か...
  • 光一郎: よろしくお願いします NVIDIAコントロールパネルに ステレオスコッピクの項目がありません、古いのでしょうか? バージョン見たら 2.8.31.3.10です。 でも今日 2010/5/7手元に届いた最新のものですが。
  • 茨 陽子: 日本の会社でも、おでこで「見る」商品が発売されていますよ。
  • 武本: 武本@キヤノン(あいづJapanOB) 手に持つスコープはステレオビデオシースルーなので立体視可能で すよ。
  • Kuiio: 私はRohos Face Logonを見ることを推薦致します。それはWindowsで動 作しますhttp://www.rohos-jp.com/pr oducts/rohos-face-logon/

アーカイブ

この日記のはてなブックマーク数

EYES JAPAN Web3D Projectt

Make World 3D! Eyes, JAPANのWeb3D Projectへようこそ。 ここではVicon社のMX40カメラを使ったMotionCaptureやHDRIをはじめ様々な3DCG関連のニュース、 ギャラリー、製品比較、リンク集やSIGGRAPHの紹介、ウェラブル/モバイル/ハイテク系のCoolなGadgetやニュース等も紹介していきます。 みなさまからのタレコミもお待ちしております。

mocapdata.com Over 600 free motion data available! Download now! (fbx, c3d, bvh, bip)



CG Review