Disputation "Design and Development of a VR System for Exploration of Medical Data Using Haptic Rendering and High Quality Visualization"

Am 04.11.16 ab 9:30 Uhr wird Herr MSc. Roman Vla­sov seine Dok­tor­ar­beit: "De­sign and De­ve­lop­ment of a VR Sys­tem for Ex­plo­ra­ti­on of Me­di­cal  Data Using Hap­tic Ren­de­ring and High Qua­li­ty Vi­sua­liza­t­i­on" in einer Dis­pu­ta­ti­on im Wel­fen­schloss im Raum F 435 / (Stahl­bau­saal) ver­tei­di­gen.

Das Prü­fungs­kol­le­gi­um be­steht aus:

• Prof. Dr. F.-E. Wol­ter, (LUH),
• Prof. Dr. Ga­bri­el Zach­mann (Uni­ver­si­tät Bre­men)
• Vor­sitz, Prof. Dr. R. Han­ke-Rau­schen­bach (LUH)

Zusammenfassung

Haptische Exploration fügt der Arbeit mit 3D Daten eine neue Dimension hinzu:
Die Möglichkeit, Objekte zu berühren. Dies erlaubt neue Möglichkeiten in der medizinischen Simulation, Ausbildung und präoperativen Planung in einer Virtual Reality Umgebung. Eine einzelne Momentaufnahme einer solchen haptischen Rückkopplung besteht aus drei Schritten: Kollisionserkennung, Kollisionsantwort und Kraftgenerierung. Um ein natürliches, verzögerungsfreies Arbeiten zu ermöglichen, wird eine Wiederholrate von mindestens 1 kHz benötigt, für die es unterschiedliche Ansätze von oberflächen- und voxelbasierten Renderingmethoden gibt. Ein Nachteil fast aller bisher verwendeten Verfahren ist dabei, dass entweder keine Garantien für die Einhaltung der Wiederholrate gegeben werden kann oder die simulierten Objekte einer speziellen topologischen Struktur entsprechen müssen. Dies ist besonders für sensible Prozesse wie die Operationsplanung kritisch. Um dies zu beheben, wurde eine neue, robuste und schnelle (150 kHz) Methode entwickelt, die Ansätze aus Ray Casting und Path Finding kombiniert und dabei nahezu konstante Zeitkomplexität hat. Da die Methode ohne zeitaufwendige Initialisierung arbeitet und auf impliziten Oberflächenmodellen eingesetzt werden kann, lassen sich auch dynamische Objekte abbilden. Darauf aufbauend präsentieren wir ein flexibles Deformation Framework, das es erlaubt, unsere haptische Renderingmethode mit verschiedenen Deformationsmodellen zu kombinieren. Es wird ein neues Echtzeit-Visualisierungs-Verfahren vorgestellt, um die graphische Darstellung der Segmente mit der Simulation zu synchronisieren und eine interaktive (bleibende) Echtzeit-Deformation der Objekte zu ermöglichen. Für diesen Zweck wurden zwei auf Potential Fields basierende Methoden für die lokale Deformations-Simulation entwickelt und eingesetzt. Die erste Methode verwendet reguläre Potential Fields. Die zweite Methode nutzt unsere neuen Cuboid Fields aus. Weiterhin zeigen wir, dass diese Cuboid Fields für das haptische Rendering von Volumendaten besser geeignet sind. Darüber hinaus schlagen wir einen Prototyp einer globalen Deformationsmethode vor. Der gesamte Ansatz aus den vorgeschlagenen Methoden zum haptischen Rendering, zur Visualisierung und Deformation (Deformation Framework) erfordert keine Vorkalkulation. Das in dieser Arbeit vorgestellte Deformation Framework und alle Haptik Rendering- Visualisierungs und Deformations-Methoden wurden komplett neu entwickelt. Das Design und die Entwicklung dieser Methoden waren das Hauptziel dieser Arbeit. Diese Arbeit wurde durch das Siemens/DAAD Postgraduate Programme unterstützt.

Abstract

Haptic exploration adds an additional dimension to working with 3D data: a sense of touch. This is especially useful in areas such as medical simulation, training and pre-surgical planning, as well as in museum display, sculpting, CAD, military applications, assistive technology for blind and visually impaired people, entertainment and others. Each haptic rendering frame consists of three stages: collision detection, collision response and force feedback generation. In order to feel the 3D data smoothly, an update rate of at least 1~kHz is required. There exist different surface- and voxel-based haptic rendering methods. Unaddressed practical problems for almost all of them are that no guarantees for collision detection could be given and/or that a special topological structure of the objects is required. Here we present a novel and robust approach based on employing the ray casting technique to collision detection and path finding for collision response. The approach is very fast (150~kHz) and does not have the aforementioned drawbacks while guaranteeing nearly constant time complexity, independent of data resolution. This is especially important for delicate procedures, e.g. pre-operation planning. The collision response uses an implicit surface representation, which can be used with dynamically changing objects, as no precalculation is needed. Further on, we present our flexible deformation framework allowing us to use our haptic rendering approach together with deformation models. We present our graphics approach which we use to keep the graphics representation of segments up-to-date during the deformation simulation. The challenge here is to reflect deformations of objects interactively. Further on, we propose two local deformation simulation approaches based on the method of potential fields. The first approach uses "regular'' potential fields. The second approach uses our novel cuboid fields. Further on, we demonstrate that cuboid fields are better suited to haptic rendering of volumetric data. Additionally, we introduce the prototype of the global deformation approach. The resulting haptic rendering approach combined with our proposed approaches for deformation simulation within our deformation framework does not require any pre-calculated structure and works "on the fly''. Our deformation framework and all our haptic rendering and deformation simulation approaches were fully developed by us from scratch. Their design and development was the main aim of this work. This project was supported by a grant provided by Siemens/DAAD Postgraduate Programme.