Development

Projektvorhaben
TransnetBW plant die Modernisierung sowie den Umbau des bestehenden Umspannwerks Wendlingen. Diese Veränderungen sollen bei einem Bürgerinfomarkt durch den Einsatz von Augmented Reality kommuniziert werden.

Ziel
Augmented-Reality-App für iOS (iPad). Aufarbeitung von BIM- und CAD-Dateien. Erstellung eines Umgebungsmodells und Visualisierung der landschaftlichen Veränderung.

Meine Aufgaben
Die eigenständige Konzeption und Entwicklung der AR-App und Interaktion. Konfiguration von Profilen und Zertifikaten sowie Bereitstellung der App via TestFlight. Kommunikation und Planung mit dem Kunden.

Project
TransnetBW is planning the modernization and reconstruction of the existing Wendlingen substation. These changes were to be communicated to the public at a citizens' info market using Augmented Reality.

Goal
An Augmented Reality app for iOS (iPad); processing BIM and CAD files; creating an environment model and visualizing the landscape change.

My role
Independent concept and development of the AR app and its interactions, configuration of profiles and certificates, distribution via TestFlight, and client communication and planning.

Projektvorhaben
Ausgangslage war die Renovierung der CAVE (Cave Automatic Virtual Environment) im Immersive Participation Lab des Fraunhofer IAO. Die AR-App soll auf anschauliche Weise vermitteln, welche Veränderungen der Umbau mit sich bringt und welche neuen Features die einzelnen Komponenten bieten. Sie dient dazu, interne Teams, Partner sowie potenzielle Kunden bei der feierlichen Eröffnung zu informieren – und wird darüber hinaus als zukünftige Demo-App eingesetzt.

Ziel
Augmented-Reality-App für iOS (iPad).

Meine Aufgaben
Die eigenständige Planung, Konzeption und Entwicklung der AR-App und Interaktion.

Project
The starting point was the renovation of the CAVE (Cave Automatic Virtual Environment) in Fraunhofer IAO's Immersive Participation Lab. The AR app illustrates the changes brought by the renovation and the new features of each component — used to inform internal teams, partners and potential clients at the opening, and later as an ongoing demo app.

Goal
An Augmented Reality app for iOS (iPad).

My role
Independent planning, concept and development of the AR app and its interaction.

Ausgangslage
Bereits 2021 habe ich eine experimentelle Demo-App für die Varjo XR-1 entwickelt, die UI-Interaktionen über Eyetracking ermöglichte. Diese Demo sollte nun grundlegend überarbeitet und zu einer mehrteiligen Anwendung für die Varjo XR-3 weiterentwickelt werden.

Ziel
Entwicklung einer modularen Demo-Anwendung, mit der sich die verschiedenen Features der Varjo XR-3 praxisnah erproben und demonstrieren lassen.

Meine Aufgaben
Konzeption, Planung sowie die vollständige Entwicklung und Dokumentation der Anwendung. Dabei habe ich mehrere eigenständige Module umgesetzt, die unterschiedliche Schwerpunkte aufzeigen und in Summe die Bandbreite der Varjo XR-3 abbilden.

Background
Back in 2021 I developed an experimental demo app for the Varjo XR-1 that enabled UI interaction via eye tracking. This demo was fundamentally reworked into a multi-part application for the Varjo XR-3.

Goal
Develop a modular demo application that lets people try out and demonstrate the various features of the Varjo XR-3 in a hands-on way.

My role
Concept, planning, and complete development and documentation of the application, implementing several standalone modules that together cover the range of the Varjo XR-3.

Hierbei konnten Nutzer*innen das User Interface direkt mit ihren Händen bedienen, ohne zusätzliche Controller. Parallel wurde die Qualität des Passthrough-Modus demonstriert, ergänzt durch ein Marker-getracktes 3D-Scan-Modell, an dem exemplarisch verschiedene UI-Elemente verankert werden konnten.

Here, users could operate the UI directly with their hands, without additional controllers. In parallel, the quality of the passthrough mode was demonstrated, complemented by a marker-tracked 3D-scan model on which various UI elements could be anchored.

In diesem Szenario bewegen sich die Nutzer*innen frei durch die virtuelle Umgebung, wobei die Bewegung allein über die Hände erfolgt (Point & Fly) — ganz ohne Controller. Über ein Menü können verschiedene Objekte sichtbar gemacht oder ausgeblendet werden.

In this scenario users move freely through the virtual environment using their hands alone (point & fly) — no controllers required. A menu lets them show or hide different objects.

Der Nutzende befindet sich in einem virtuellen Demoraum, dessen drei Bereiche jeweils unterschiedliche Interaktionsszenarien bieten: im ersten können Kacheln allein durch den Blick zwischen einer virtuellen Darstellung und einem Passthrough-Element umgeschaltet werden; im zweiten lassen sich Objekte durch Fixieren mit den Augen bewegen; der dritte präsentiert zufällig gefärbte Würfel, deren Blickverhalten ausgewertet und prozentual visualisiert wird.

Durch die Räume wird nicht nur die Präzision des Eyetrackings sichtbar, sondern auch dessen Potenzial für Hands-free Interaction, Usability-Analyse, Nutzerforschung und personalisierte Interfaces.

The user stands in a virtual demo room whose three areas each offer a different interaction scenario: in the first, tiles switch between a virtual view and a passthrough element purely by gaze; in the second, objects can be moved just by fixating them with the eyes; the third presents randomly coloured cubes whose gaze behaviour is analysed and shown as a percentage.

The rooms reveal not only the precision of the eye tracking but also its potential for hands-free interaction, usability analysis, user research and personalised interfaces.

Dieses Projekt war Teil einer internen Forschungsarbeit. Im Fokus stand die Untersuchung markerbasierter Augmented-Reality-Experimente. Dabei habe ich analysiert, welche Arten von Markern besonders zuverlässig erkannt werden — abhängig von Faktoren wie Größe, Farbkontrast, Form und Umgebungslicht.

Alle Versuchsreihen wurden dokumentiert, um Rückschlüsse auf optimale Markerbedingungen ziehen zu können. Als Ergebnis entstand eine markerbasierte AR-Anwendung, bei der Grundrisse von Gebäuden als Marker verwendet wurden: wird ein solcher Grundriss erkannt, erscheinen die zugehörigen 3D-Modelle des Gebäudes und lassen sich interaktiv erkunden.

This project was part of internal research investigating marker-based Augmented Reality experiments. I analysed which types of markers are recognised most reliably, depending on factors such as size, colour contrast, shape and ambient light.

All test series were documented to draw conclusions about optimal marker conditions. The result was a marker-based AR application in which building floor plans serve as markers: recognising a floor plan brings up the building's 3D model, which can then be explored interactively.

Augmented-Reality-Apps als Entscheidungshilfe in der Wohnberatung. Die Aufgabe des Projekts bestand darin, die Wohnberatungsprozesse mit Augmented Reality zu unterstützen. Zunächst wurde der Bedarf an Wohnraumanpassungen ermittelt und Ziele sowie Ressourcen miteinander verglichen. Daraus entstand das Konzept für die AR-Wohnraumberatungs-App: der Vergleich von Werkzeugen und Möbeln für den Wohnbereich sowie ihrer Varianten sollte erleichtert werden, indem sie mithilfe von AR maßstabsgetreu virtuell im Raum platziert werden.

Augmented Reality apps as decision support in home-adaptation counselling. The project aimed to support housing-advice processes with Augmented Reality. After identifying the need for home adaptations and comparing goals and resources, the resulting concept let advisors compare furniture and fittings — and their variants — by placing them virtually, to scale, in the room using AR.