Universitätsklinikum Heidelberg
01
DIE CHALLENGE
THE CHALLENGE
AUGMENTED REALITY FÜR DIE LEHRE
Für angehende Ärzt:innen ist die Anatomie des Herzens eine Herausforderung –Risikogebiete und Stellen, an denen operiert werden muss, liegen eng beieinander, die Dynamik des Herzschlags erhöht die Komplexität. Gemeinsam mit Prof. Dr. Eberhard Scholz und Informatics4life entstand die Idee, mit holographischen Herzen neue Möglichkeiten für Forschung und Lehre zu schaffen.
02
DIE LÖSUNG
THE SOLUTION
CT-DATEN ALS GRUNDLAGE
Bei Patient:innen mit Herzfehlern, Kammerflimmern und anderen Dysfunktionalitäten werden standardmäßig computertomographische Bilder erstellt, die „einfach“ AR-fähig gemacht werden mussten. Das haben wir geschafft, mit teilautomatisierten Workflows, Mühe und Fleiß. Wir separieren, verfeinern, und bearbeiten die CT-Daten, bis es sichtbar wird: das Herz eines echten Patienten in 3D.
Mit einem sicheren Netzwerk, dem Mixed Reality Toolkit (MRTK) sowie dem Model Loader bauen wir einen Prototypen, mit dem die Anwendung direkt über das Menü der Brille geladen werden kann, ohne dabei auf cloudbasierte Strukturen setzen zu müssen.
03
DER NUTZEN
THE BENEFIT
ANATOMIE ZUM (BE-) GREIFEN
Das Herz, mitten im Raum und zum Greifen nah, kann Prof. Dr. Eberhard Scholz mit der HoloLens vergrößern, verkleinern, drehen und auf den Kopf stellen. Dabei hat er es mit dem Modell eines echten Organs zu tun, gewonnen aus den CT-Bildern eines lebenden Menschen.
Das Herz in seiner individuellen, räumlichen Komplexität zu begreifen, ist nicht nur für Student:innen und Forscher:innen der Kardiologe relevant. Auch in der Diskussion um chirurgische Eingriffe ist eine sachgemäße Bewertung von Lagebeziehungen entscheidend.
04
DIE EXTRAS
THE EXTRAS
AUSBLICK: SIMULATIONEN UND 4D
Ideen zur Weiterentwicklung des Modells gibt es viele. Bald schon werden sich einzelne Segmente herausziehen und isoliert betrachten lassen. Die Optimierung der Multiplayer Session wird mehrere HoloLens-Träger:innen befähigen, gleichzeitig auf das Modell zuzugreifen.
Daneben gilt es, weitere Datenformate einzubinden und die Ausbreitung elektrischer Spannungen in unserem HoloHeart darzustellen sowie Einschnitte zu simulieren. Einen hohen Mehrwert sehen wir in einem Modell, das den Herzschlag von Anfang bis Ende holographisch veranschaulicht.
Technologien
- Augmented Reality
- Unity (+MRTK)
- Digital Twin
- 3D Modeling (GLTF 2.0, Blender)
Nutzen
- Modell zum Anfassen
- Anatomische Strukturen in 3D
- Lernen am „echtem“ Organ
- Automatisierte Workflows
Innovation
- „Multiplayermode“
- Digital Twin & Remoting
Year:
2019
YOU'RE MY HEART, YOU'RE MY SOUL ...
Wie lässt sich ein echtes Herz komplett auseinandernehmen, ohne den Menschen zu gefährden, für den es schlägt? Im Kooperationsprojekt mit dem Uniklinikum Heidelberg machen wir Unmögliches möglich.
.jpg)
Unsere Kund:innen
_invers.png)
