DAS HOLOHEART IN FORSCHUNG UND LEHRE

Universitätsklinikum Heidelberg

01 DIE CHALLENGE

THE CHALLENGE

AUGMENTED REALITY FÜR DIE LEHRE

Für angehende Ärzte ist die Anatomie des Herzens eine Herausforderung –Risikogebiete und Stellen, an denen operiert werden muss, liegen eng beieinander, die Dynamik des Herzschlags erhöht die Komplexität. Gemeinsam mit Prof. Dr. Eberhard Scholz und Informatics4life entstand die Idee, mit holographischen Herzen neue Möglichkeiten für Forschung und Lehre zu schaffen.

Support aus der Ferne
Schnellere Fehleridentifikation und -behebung
Steigerung der First-Time-Fix-Rate
UX für Training & Education

02 DIE LÖSUNG

THE SOLUTION

CT-DATEN ALS GRUNDLAGE

Bei Patienten mit Herzfehlern, Kammerflimmern und anderen Dysfunktionalitäten werden standardmäßig computertomographische Bilder erstellt, die „einfach“ AR-fähig gemacht werden mussten. Das haben wir geschafft, mit teilautomatisierten Workflows, Mühe und Fleiß. Wir separieren, verfeinern, und bearbeiten die CT-Daten, bis es sichtbar wird: das Herz eines echten Patienten in 3D.

Mit einem sicheren Netzwerk, dem Mixed Reality Toolkit (MRTK) sowie dem Model Loader bauen wir einen Prototypen, mit dem die Anwendung direkt über das Menü der Brille geladen werden kann, ohne dabei auf cloudbasierte Strukturen setzen zu müssen.

03 DER NUTZEN

THE BENEFIT

ANATOMIE ZUM (BE-) GREIFEN

Das Herz, mitten im Raum und zum Greifen nah, kann Prof. Dr. Eberhard Scholz mit der HoloLens vergrößern, verkleinern, drehen und auf den Kopf stellen. Dabei hat er es mit dem Modell eines echten Organs zu tun, gewonnen aus den CT-Bildern eines lebenden Menschen.

Das Herz in seiner individuellen, räumlichen Komplexität zu begreifen, ist nicht nur für Studenten und Forscher der Kardiologe relevant. Auch in der Diskussion um chirurgische Eingriffe ist eine sachgemäße Bewertung von Lagebeziehungen entscheidend.

04 DIE EXTRAS

THE EXTRAS

AUSBLICK: SIMULATIONEN UND 4D

Ideen zur Weiterentwicklung des Modells gibt es viele. Bald schon werden sich einzelne Segmente herausziehen und isoliert betrachten lassen. Die Optimierung der Multiplayer Session wird mehrere HoloLens-Träger befähigen, gleichzeitig auf das Modell zuzugreifen.

Daneben gilt es, weitere Datenformate einzubinden und die Ausbreitung elektrischer Spannungen in unserem HoloHeart darzustellen sowie Einschnitte zu simulieren. Einen hohen Mehrwert sehen wir in einem Modell, das den Herzschlag von Anfang bis Ende holographisch veranschaulicht.

Technologien

Technologien
Augmented Reality
Unity (+MRTK)
Digital Twin
3D Modeling (GLTF 2.0, Blender)

Nutzen

Modell zum Anfassen
Anatomische Strukturen in 3D
Lernen am „echtem“ Organ
Automatisierter Workflow

Innovation

„Multiplayermode“
Digital Twin & Remoting

Year:

2019

YOU'RE MY HEART, YOU'RE MY SOUL..

Wie lässt sich ein echtes Herz komplett auseinandernehmen, ohne den Menschen zu gefährden, für den es schlägt? Im Kooperationsprojekt mit dem Uniklinikum Heidelberg machen wir Unmögliches möglich.

‍