Sina's Logo
Bachelor Thesis · Media Engineering · 15.09.2026

EdukARt


A mixed-reality racing game for physical robot teleoperation

  • 1. Vorüberlegung und Spielanforderungen
  • 2. Implementierung und Umsetzung
  • 3. Ergebnisse und Future Work
01 / 31
Vorüberlegung

Spielanforderungen

01

Günstige Spielbarkeit ohne teure Zusatzhardware

02

Plattformübergreifende Anwendung

03

Realer Roboter als essenzielles Spielelement

04

Roboterunabhängigkeit / Unterstützung unterschiedlicher Robotersysteme

05

Einfache Integration bestehender Roboter

06

Motivation zum Bau und zur Weiterentwicklung eigener Roboter

07

Verbindung von digitalem Gaming und physischer Interaktion

08

Mehrspieler- und Wettbewerbsfähigkeit

09

Mobile und ortsunabhängige Nutzung

10

Demonstrationsanwendung für Robotik bei Events

02 / 31
Umsetzung

Spielanforderungen

01

Günstige Spielbarkeit ohne teure Zusatzhardware

02

Plattformübergreifende Anwendung

03

Realer Roboter als essenzielles Spielelement

04

Roboterunabhängigkeit / Unterstützung unterschiedlicher Robotersysteme

05

Einfache Integration bestehender Roboter

06

Motivation zum Bau und zur Weiterentwicklung eigener Roboter

07

Verbindung von digitalem Gaming und physischer Interaktion

08

Mehrspieler- und Wettbewerbsfähigkeit

09

Mobile und ortsunabhängige Nutzung

10

Demonstrationsanwendung für Robotik bei Events

03 / 31
Ausgangssituation

Zentrale Problemstellungen

EdukARt soll ohne zusätzlichem teure Hardware funktionieren und für jeden zugänglich sein. Deshalb war es das Ziel, ausschließlich Geräte zu verwenden, die die meisten Menschen bereits besitzen: Smartphone, Laptop oder Bildschirm. Daraus ergaben sich zwei zentrale Problemstellungen:

01

Lokalisierung und räumliches Verständnis

Wie lassen sich Roboter und Smartphone zuverlässig lokalisieren und zur Spielumgebung ausrichten? Rennstrecke, Hindernisse und virtuelle Objekte müssen dabei dauerhaft mit der realen Welt übereinstimmen.

02

Relevanz des physischen Roboters

Wie wird der reale Roboter zu einem essenziellen Teil des Gameplays statt nur zu einem optionalen Controller? Das Spiel soll Bewegung und physische Interaktion im realen Raum bewusst fördern.

04 / 31
01 Game-Engine-Ansatz

Unity

  • Ideal für klassische Spiele und schnelle Prototypen
  • AR über AR Foundation und ARKit möglich
  • Plattformübergreifende Entwicklung
  • Abstraktionsschicht zur nativen iPhone-Sensorik
  • Viele Engine-Funktionen für Tracking und Robotersynchronisation unnötig
  • Zusätzliche Komplexität bei Integration und Deployment
  • Für die Bachelorarbeit zunehmend Overengineering
02 Game-Engine-Ansatz

Unreal Engine

  • Leistungsfähig für hochwertige 3D-Welten und Echtzeitgrafik
  • Viele für EdukARt unnötige Funktionen
  • Hohe Einstiegshürde und komplexer Workflow
  • Mobile AR ist nur ein kleiner Teil der Engine
  • Zu hoher Aufwand für ein schlankes AR-Robotik-Spiel
  • Grafische Möglichkeiten weit über dem Bedarf
  • Noch stärkeres Overengineering als Unity
03 Gewählter Ansatz

Native iOS · Swift + ARKit

  • Smartphone als vollständige AR-Plattform mit Kamera, Sensorik, Rechenleistung und Display
  • Direkter Hardwarezugriff ohne zusätzliche Game Engine oder Abstraktionsschicht
  • LiDAR ermöglicht eine schnelle und präzise Erfassung von Abständen, Oberflächen und Raumgeometrie
  • Keine zusätzliche Tracking-Hardware notwendig: iPhone-Pro-Modelle bringen die benötigte Sensorik bereits mit

Statt eine Game Engine um AR-Funktionen zu erweitern, wird das Smartphone selbst zur Spiel- und Tracking-Plattform.

05 / 31
Implementierung

Hauptmenü und Grundstruktur

06 / 31

Wifi nicht verbundenNicht enablet

Robot Remote Control – Wifi nicht verbunden und nicht enablet

Wifi verbundenNicht enablet

Robot Remote Control – Wifi verbunden und nicht enablet

Wifi verbundenEnablet

Robot Remote Control – Wifi verbunden und enablet
Implementierung

Robot Remote Control

Die App kommuniziert direkt per WLAN und UDP mit einer generischen Schnittstelle auf dem Roboter.

  • Die WLAN-Verbindung wird alle 2 Sekunden per Ping geprüft
  • Konfiguration von IP-Adresse, ROS-Namespace und UDP-Port
  • Steuerbefehle werden als JSON über UDP an eine Python-Bridge gesendet
  • ROS-Nachrichten enthalten Topic, Nachrichtentyp und Nutzdaten
  • Die Python-Bridge wandelt die JSON-Daten dynamisch in passende ROS-2-Nachrichten um
  • Im aktivierten Leerlauf sendet die App kontinuierlich Geschwindigkeit null
07 / 31
Drive Modes – App-Ansicht
Mecanum
Mecanum-Fahrmodus
Offroad
Offroad-Fahrmodus
Implementierung

Drive Modes

08 / 31
Light Control – App-Ansicht
Light Control – App-Ansicht
Light Control – App-Ansicht
Implementierung

Light Control

Die Lichtsteuerung bildet die vorhandenen Eduard-Modi verständlich in der App ab und erweitert ihre Bedienung.

  • Alle Standard-Lichtmodi von Eduard mit intuitiveren Namen
  • Geplante Firmware-Erweiterung: echter Vollfarbmodus mit frei wählbaren RGB-Werten
  • Integrierter Color Picker für fast alle Modi; „Enabled“ bleibt firmwaregesteuert
  • Rainbow wechselt die gewählte Farbe ungefähr fünfmal pro Sekunde
  • Eine Kameravorschau zeigt Modus und reales Roboterlicht gemeinsam in der Bedienoberfläche
09 / 31
Hauptmenü – App-Ansicht
Create Map – Schritt 1
Create Map – Schritt 2
Create Map – Schritt 11
Create Map – Schritt 12
Implementierung · Create Map

Draw Road

10 / 31
ARKit-Weltkoordinatensystem
Ausrichtung des ARKit-Weltkoordinatensystems
Implementierung · Localization

ARKit World Coordinate System

ARKit liefert stabiles World Tracking; die horizontale Ausrichtung hängt jedoch vom Start der AR-Session ab.

  • Beim Start entsteht ein festes 3D-Weltkoordinatensystem
  • +Y zeigt nach oben und −Y folgt der Schwerkraft
  • X und Z richten sich nach der anfänglichen iPhone-Orientierung
  • Die Kamera blickt entlang ihrer lokalen −Z-Achse
  • Keine feste Beziehung zu Norden oder Süden
11 / 31
AprilTag-Koordinatensystem
Ausrichtung eines AprilTag-Koordinatensystems
Implementierung · Localization

AprilTag Coordinate System

Jeder AprilTag stellt ein physisch definiertes lokales Koordinatensystem bereit.

  • Der Ursprung liegt im Mittelpunkt des erkannten Tags
  • X- und Y-Achse verlaufen innerhalb der Tag-Ebene
  • Die Z-Achse steht senkrecht auf der Oberfläche
  • Ein Tag am Boden ist anders ausgerichtet als das ARKit-System
12 / 31
EdukARt-Kartenkoordinatensystem
Transformation in das EdukARt-Kartenkoordinatensystem
Implementierung · Localization

EdukARt Map Coordinate System

Die AprilTag-Pose wird in ARKit-Koordinaten transformiert und auf die Bodenebene projiziert.

  • Der erste stabile Tag definiert Ursprung und Ausrichtung
  • +X zeigt nach rechts, −X nach links
  • −Z zeigt nach vorne, +Z nach hinten
  • Für das Spiel werden nur X, Z und Rotation gespeichert
  • Die vertikale Y-Komponente ist für die Bodenkarte irrelevant
13 / 31
MiniMap 2D – Ansicht 2
MiniMap 2D – Ansicht 1
MiniMap 2D – Ansicht 3
MiniMap 2D – Ansicht 4
MiniMap 2D – Ansicht 5

01Detection & Localization

Kameraframes werden regelmäßig ausgewertet. SwiftAprilTag erkennt die Tags; ihre Posen werden anschließend ins ARKit-Weltkoordinatensystem übertragen.

02Reference Coordinate System

Ein Referenz-Tag definiert den Ursprung. Alle weiteren Tags werden relativ in X, Z und Rotation gespeichert; Tag #0 bleibt dem Roboter vorbehalten.

03Map Stabilization

Neue Tags werden aus zehn Messungen gemittelt und nur innerhalb von 2 m zu einem kartierten Tag übernommen. So wächst die Karte stabil durch den Raum.

042D Visualization

Ein einheitlicher Maßstab bewahrt Abstände und Proportionen. Dieselbe Geometrie bildet die Basis für Strecke, Items, Kollisionen und Roboterposition.

Implementierung · Localization

MiniMap 2D

14 / 31
AprilTags scannen
Implementierung · Create Map

Scan Environment

Scan AprilTags

  • Erster Tag wird nach 10 gültigen Posen zum Ursprung (0, 0)
  • Weitere Tags werden relativ in ein 2D-Bodensystem übertragen
  • Ab etwa 4 m nimmt die Genauigkeit sichtbar ab
  • Die fertige AprilTag-Karte wird gespeichert
15 / 31
Straße als rohe Eingabe zeichnen
Verarbeitete und geglättete Straße
Implementierung · Create Map

Draw Road

Draw Road · Raw Input

  • Aufzeichnung als Folge von 2D-Punkten
  • Punktabstand abhängig von Zeichengeschwindigkeit und Touch-Frequenz
  • Ungleichmäßige Punktdichte, besonders in Kurven
  • Dadurch kann raue oder verzerrte Straßengeometrie entstehen

Draw Road · Processed

  • Mittellinie wird vereinfacht und geglättet
  • Neuberechnung mit konstantem physischem Punktabstand
  • Stabile Basis für Straßenfläche, Markierungen und Kurven
  • Nur die verarbeitete Mittellinie wird gespeichert
16 / 31
Items und Hindernisse platzieren
Implementierung · Create Map

Add Items / Obstacles

Items & Obstacles

  • Coins spawnen ab 1 m nach dem Start automatisch alle 50 cm entlang der Strecke
  • 4 auslösbare Items verschwinden nach der Aktivierung
  • 4 Hindernisse bleiben dauerhaft auf der Strecke
  • Position und Rotation werden direkt in der 2D-Karte festgelegt
  • Kollisionen verändern Licht und Fahrbefehle
17 / 31
Coin – App-Ansicht
Coin – App-Ansicht 2
Implementierung · Item

Coin

Kollision / Trigger
Collect Radius: 3,5 cm
Lichteffekt
0,55 s Yellow · Fast Blinking
Fahr- & Gameplay-Effekt
2 s Speed Boost von 80 % auf 90 %
Auswirkung
+5 s je nicht eingesammeltem Coin

* Verschwindet, sobald die Aufgabe erfüllt wurde.

18 / 31
Itembox – App-Ansicht
Itembox – App-Ansicht 2
Implementierung · Item

Itembox

Kollision / Trigger
Trigger: 12 cm
Lichteffekt
0,8 s Purple · Fast Blinking
Fahr- & Gameplay-Effekt
Wird eingesammelt; kein Fahreffekt
Auswirkung
−20 s auf die Endzeit

* Verschwindet, sobald die Aufgabe erfüllt wurde.

19 / 31
Eggs + EggCup – App-Ansicht
Eggs + EggCup – App-Ansicht 2
Implementierung · Item

Eggs + EggCup

Egg

Kollision / Trigger
Trigger: 10 cm
Lichteffekt
0,55 s Green · Fast Blinking
Gameplay
Ei wird aufgenommen und auf Eduard mitgeführt
Auswirkung
Kein direkter Zeiteffekt

Egg Cup

Kollision / Trigger
Trigger: 10 cm
Lichteffekt
1,5 s Green · Fast Blinking
Gameplay
Eier werden abgeliefert; Speed-Verluste werden zurückgesetzt
Auswirkung
Speed zurück auf 80 %

* Verschwindet, sobald die Aufgabe erfüllt wurde.

20 / 31
Shit – App-Ansicht
Shit – App-Ansicht 2
Implementierung · Item

Shit

Kollision / Trigger
Trigger: 12 cm
Lichteffekt
Während des Effekts: Orange · Fast Blinking
Fahr- & Gameplay-Effekt
5 s Joystick-Sperre und automatische Zickzackfahrt mit max. 10 % Speed
Auswirkung
5 s Kontrollverlust

* Verschwindet, sobald die Aufgabe erfüllt wurde.

21 / 31
Tree – App-Ansicht
Tree – App-Ansicht 2
Implementierung · Obstacle

Tree

Kollision / Trigger
Reveal: 18 cm · Blocking: 10 cm
Lichteffekt
3 s Green beim Reveal · 0,8 s Dark Red beim Aufprall
Fahr- & Gameplay-Effekt
Wird beim Trigger sichtbar und blockiert danach die Weiterfahrt
Auswirkung
−10 Prozentpunkte Speed je Aufprall

* Bleibt dauerhaft im Spiel aktiv.

22 / 31
Water – App-Ansicht
Water – App-Ansicht 2
Implementierung · Obstacle

Water

Kollision / Trigger
Trigger: 40 cm
Lichteffekt
Während des Effekts: Blue · Fast Blinking
Fahr- & Gameplay-Effekt
Im Wasser nur kurze Schwimmbewegungen von 5 cm
Auswirkung
Starke Geschwindigkeitsreduktion

* Bleibt dauerhaft im Spiel aktiv.

23 / 31
Stone – App-Ansicht
Stone – App-Ansicht 2
Implementierung · Obstacle

Stone

Kollision / Trigger
Blocking: 15 cm
Lichteffekt
0,8 s Dark Red · Slow Blinking
Fahr- & Gameplay-Effekt
Bewegung in Richtung des Hindernisses wird blockiert
Auswirkung
−10 Prozentpunkte Speed je Aufprall

* Bleibt dauerhaft im Spiel aktiv.

24 / 31
Oil – App-Ansicht
Oil – App-Ansicht 2
Implementierung · Obstacle

Oil

Kollision / Trigger
Trigger: 18 cm · Blocking: 7 cm
Lichteffekt
Während des Effekts: Light Red · Slow Blinking
Fahr- & Gameplay-Effekt
5 s Steuerungssperre; Eduard dreht sich unkontrolliert
Auswirkung
5 s Kontrollverlust

* Bleibt dauerhaft im Spiel aktiv.

25 / 31
Start Game – App-Ansicht
Start Game – App-Ansicht
Implementierung

Start Game

  • Der Referenz-AprilTag wird erneut gescannt, um die gespeicherte Karte in der AR-Welt zu platzieren
  • Anschließend wird der Roboter hinter die Startlinie gefahren
  • Bis zum Start lässt sich die AR-Welt frei erkunden, ohne Items oder Hindernisse auszulösen
  • Nach dem Start zählt ein Countdown herunter; währenddessen sind alle Fahrbefehle gesperrt
  • Mit Ablauf des Countdowns werden Steuerung und Stoppuhr gleichzeitig aktiviert
  • Nach dem Rennen ist das freie Erkunden der AR-Welt wieder möglich
26 / 31
AR-Eduard – Ansicht 1
AR-Eduard – Ansicht 2
AR-Eduard – Ansicht 3
Implementierung

AR-Eduards

Show / Hide AR Robot
Blendet den virtuellen Eduard unabhängig vom echten Roboter ein oder aus.
Place at Reference
Setzt den AR-Eduard auf den Ursprung der lokalisierten Karte.
Sync to Real Robot
Überträgt Position und Ausrichtung des echten Roboters einmalig auf das AR-Modell.
Live Sync
Aktualisiert den virtuellen Eduard kontinuierlich anhand seiner AprilTag-Pose.
27 / 31
Game Over – App-Ansicht
Implementierung

Game Over

Spielziel
Bestzeit fahren.
Coins
Nicht gesammelt: +5 s. Gesammelt: 2 s Boost von 80 % auf 90 %; weitere Coins verlängern den Streak.
Itembox
−20 s auf die Endzeit.
Wasser
1–3 Coins, aber bis zu 15 s Zeitverlust – durch schnelles Schwimmen ausgleichbar.
Schaden & Eier
Treffer reduzieren den Speed; abgelieferte Eier setzen ihn auf 80 % zurück.
Shit
5 s Kontrollverlust, dabei etwa 2–3 erreichbare Coins.
Oil
5 s Kontrollverlust.
28 / 31
Evaluation

Ergebnisse

Positive Ergebnisse

  • Der physische Roboter steigert Spielerlebnis und Engagement deutlich
  • Stabile räumliche Verankerung ermöglicht wiederholbare Rennen ohne sichtbare Verschiebungen
  • Bestzeiten erzeugen auf natürliche Weise Wettbewerb und Wiederspielwert
  • AprilTags lokalisieren präzise, kostengünstig und flexibel erweiterbar
  • Roboter, persistente AR-Strecke und Zeitrennen erzeugen das gewünschte Mixed-Reality-Erlebnis

Aktuelle Grenzen

  • Eduards Größe begrenzt mögliche Strecken in Innenräumen
  • Sonne und Reflexionen erschweren die AprilTag-Erkennung im Freien
  • Alleinspielende müssen dem Roboter für ausreichende Kamerasicht kontinuierlich folgen
  • Das AR-Robotermodell benötigt noch eine feinere visuelle Kalibrierung
  • Für Events fehlt noch eine gute Übertragung der mobilen AR-Ansicht an Zuschauer
29 / 31
Ausblick

Future Work

01

Karten speichern, teilen und gemeinsam nutzen

02

Outdoor-Nutzung testen und optimieren

03

Gemeinsame Speicherung von Scores und Ranglisten

04

Unterstützung kleinerer Robotersysteme

05

Lokalisierung unabhängig von AprilTags untersuchen

06

AR-Livestream für weitere Mitspieler

07

Hindernisse während des Rennens live platzieren

08

Mehrere Roboter auf derselben Strecke

09

Automatische Out-of-Bounds-Erkennung

10

Occlusion und AR-Rendering optimieren

11

Reale Hindernisse in der Minimap darstellen

12

Umfangreiche Spiel- und Nutzertests durchführen

30 / 31
Vielen Dank

Feedback

Ich würde mich sehr über Feedback zu EdukARt freuen, damit ich das Spiel für den MAPR-Master gezielt weiterentwickeln kann.

Die Umfrage ist auch kein Word-Dokument, sondern direkt online ausfüllbar. Versprochen.

umfrageonline.com/c/btxxap4r
QR-Code zur EdukARt-Umfrage 31 / 31