Günstige Spielbarkeit ohne teure Zusatzhardware
EdukARt
A mixed-reality racing game for physical robot teleoperation
- 1. Vorüberlegung und Spielanforderungen
- 2. Implementierung und Umsetzung
- 3. Ergebnisse und Future Work
Spielanforderungen
Plattformübergreifende Anwendung
Realer Roboter als essenzielles Spielelement
Roboterunabhängigkeit / Unterstützung unterschiedlicher Robotersysteme
Einfache Integration bestehender Roboter
Motivation zum Bau und zur Weiterentwicklung eigener Roboter
Verbindung von digitalem Gaming und physischer Interaktion
Mehrspieler- und Wettbewerbsfähigkeit
Mobile und ortsunabhängige Nutzung
Demonstrationsanwendung für Robotik bei Events
Spielanforderungen
Günstige Spielbarkeit ohne teure Zusatzhardware
Plattformübergreifende Anwendung
Realer Roboter als essenzielles Spielelement
Roboterunabhängigkeit / Unterstützung unterschiedlicher Robotersysteme
Einfache Integration bestehender Roboter
Motivation zum Bau und zur Weiterentwicklung eigener Roboter
Verbindung von digitalem Gaming und physischer Interaktion
Mehrspieler- und Wettbewerbsfähigkeit
Mobile und ortsunabhängige Nutzung
Demonstrationsanwendung für Robotik bei Events
Zentrale Problemstellungen
EdukARt soll ohne zusätzlichem teure Hardware funktionieren und für jeden zugänglich sein. Deshalb war es das Ziel, ausschließlich Geräte zu verwenden, die die meisten Menschen bereits besitzen: Smartphone, Laptop oder Bildschirm. Daraus ergaben sich zwei zentrale Problemstellungen:
Lokalisierung und räumliches Verständnis
Wie lassen sich Roboter und Smartphone zuverlässig lokalisieren und zur Spielumgebung ausrichten? Rennstrecke, Hindernisse und virtuelle Objekte müssen dabei dauerhaft mit der realen Welt übereinstimmen.
Relevanz des physischen Roboters
Wie wird der reale Roboter zu einem essenziellen Teil des Gameplays statt nur zu einem optionalen Controller? Das Spiel soll Bewegung und physische Interaktion im realen Raum bewusst fördern.
Unity
- Ideal für klassische Spiele und schnelle Prototypen
- AR über AR Foundation und ARKit möglich
- Plattformübergreifende Entwicklung
- Abstraktionsschicht zur nativen iPhone-Sensorik
- Viele Engine-Funktionen für Tracking und Robotersynchronisation unnötig
- Zusätzliche Komplexität bei Integration und Deployment
- Für die Bachelorarbeit zunehmend Overengineering
Unreal Engine
- Leistungsfähig für hochwertige 3D-Welten und Echtzeitgrafik
- Viele für EdukARt unnötige Funktionen
- Hohe Einstiegshürde und komplexer Workflow
- Mobile AR ist nur ein kleiner Teil der Engine
- Zu hoher Aufwand für ein schlankes AR-Robotik-Spiel
- Grafische Möglichkeiten weit über dem Bedarf
- Noch stärkeres Overengineering als Unity
Native iOS · Swift + ARKit
- Smartphone als vollständige AR-Plattform mit Kamera, Sensorik, Rechenleistung und Display
- Direkter Hardwarezugriff ohne zusätzliche Game Engine oder Abstraktionsschicht
- LiDAR ermöglicht eine schnelle und präzise Erfassung von Abständen, Oberflächen und Raumgeometrie
- Keine zusätzliche Tracking-Hardware notwendig: iPhone-Pro-Modelle bringen die benötigte Sensorik bereits mit
Statt eine Game Engine um AR-Funktionen zu erweitern, wird das Smartphone selbst zur Spiel- und Tracking-Plattform.
Hauptmenü und Grundstruktur
Wifi nicht verbundenNicht enablet

Wifi verbundenNicht enablet

Wifi verbundenEnablet

Robot Remote Control
Die App kommuniziert direkt per WLAN und UDP mit einer generischen Schnittstelle auf dem Roboter.
- Die WLAN-Verbindung wird alle 2 Sekunden per Ping geprüft
- Konfiguration von IP-Adresse, ROS-Namespace und UDP-Port
- Steuerbefehle werden als JSON über UDP an eine Python-Bridge gesendet
- ROS-Nachrichten enthalten Topic, Nachrichtentyp und Nutzdaten
- Die Python-Bridge wandelt die JSON-Daten dynamisch in passende ROS-2-Nachrichten um
- Im aktivierten Leerlauf sendet die App kontinuierlich Geschwindigkeit null

Drive Modes



Light Control
Die Lichtsteuerung bildet die vorhandenen Eduard-Modi verständlich in der App ab und erweitert ihre Bedienung.
- Alle Standard-Lichtmodi von Eduard mit intuitiveren Namen
- Geplante Firmware-Erweiterung: echter Vollfarbmodus mit frei wählbaren RGB-Werten
- Integrierter Color Picker für fast alle Modi; „Enabled“ bleibt firmwaregesteuert
- Rainbow wechselt die gewählte Farbe ungefähr fünfmal pro Sekunde
- Eine Kameravorschau zeigt Modus und reales Roboterlicht gemeinsam in der Bedienoberfläche





Draw Road


ARKit World Coordinate System
ARKit liefert stabiles World Tracking; die horizontale Ausrichtung hängt jedoch vom Start der AR-Session ab.
- Beim Start entsteht ein festes 3D-Weltkoordinatensystem
- +Y zeigt nach oben und −Y folgt der Schwerkraft
- X und Z richten sich nach der anfänglichen iPhone-Orientierung
- Die Kamera blickt entlang ihrer lokalen −Z-Achse
- Keine feste Beziehung zu Norden oder Süden


AprilTag Coordinate System
Jeder AprilTag stellt ein physisch definiertes lokales Koordinatensystem bereit.
- Der Ursprung liegt im Mittelpunkt des erkannten Tags
- X- und Y-Achse verlaufen innerhalb der Tag-Ebene
- Die Z-Achse steht senkrecht auf der Oberfläche
- Ein Tag am Boden ist anders ausgerichtet als das ARKit-System


EdukARt Map Coordinate System
Die AprilTag-Pose wird in ARKit-Koordinaten transformiert und auf die Bodenebene projiziert.
- Der erste stabile Tag definiert Ursprung und Ausrichtung
- +X zeigt nach rechts, −X nach links
- −Z zeigt nach vorne, +Z nach hinten
- Für das Spiel werden nur X, Z und Rotation gespeichert
- Die vertikale Y-Komponente ist für die Bodenkarte irrelevant





01Detection & Localization
Kameraframes werden regelmäßig ausgewertet. SwiftAprilTag erkennt die Tags; ihre Posen werden anschließend ins ARKit-Weltkoordinatensystem übertragen.
02Reference Coordinate System
Ein Referenz-Tag definiert den Ursprung. Alle weiteren Tags werden relativ in X, Z und Rotation gespeichert; Tag #0 bleibt dem Roboter vorbehalten.
03Map Stabilization
Neue Tags werden aus zehn Messungen gemittelt und nur innerhalb von 2 m zu einem kartierten Tag übernommen. So wächst die Karte stabil durch den Raum.
042D Visualization
Ein einheitlicher Maßstab bewahrt Abstände und Proportionen. Dieselbe Geometrie bildet die Basis für Strecke, Items, Kollisionen und Roboterposition.
MiniMap 2D

Scan Environment
Scan AprilTags
- Erster Tag wird nach 10 gültigen Posen zum Ursprung (0, 0)
- Weitere Tags werden relativ in ein 2D-Bodensystem übertragen
- Ab etwa 4 m nimmt die Genauigkeit sichtbar ab
- Die fertige AprilTag-Karte wird gespeichert


Draw Road
Draw Road · Raw Input
- Aufzeichnung als Folge von 2D-Punkten
- Punktabstand abhängig von Zeichengeschwindigkeit und Touch-Frequenz
- Ungleichmäßige Punktdichte, besonders in Kurven
- Dadurch kann raue oder verzerrte Straßengeometrie entstehen
Draw Road · Processed
- Mittellinie wird vereinfacht und geglättet
- Neuberechnung mit konstantem physischem Punktabstand
- Stabile Basis für Straßenfläche, Markierungen und Kurven
- Nur die verarbeitete Mittellinie wird gespeichert

Add Items / Obstacles
Items & Obstacles
- Coins spawnen ab 1 m nach dem Start automatisch alle 50 cm entlang der Strecke
- 4 auslösbare Items verschwinden nach der Aktivierung
- 4 Hindernisse bleiben dauerhaft auf der Strecke
- Position und Rotation werden direkt in der 2D-Karte festgelegt
- Kollisionen verändern Licht und Fahrbefehle


Coin
- Kollision / Trigger
- Collect Radius: 3,5 cm
- Lichteffekt
- 0,55 s Yellow · Fast Blinking
- Fahr- & Gameplay-Effekt
- 2 s Speed Boost von 80 % auf 90 %
- Auswirkung
- +5 s je nicht eingesammeltem Coin
* Verschwindet, sobald die Aufgabe erfüllt wurde.


Itembox
- Kollision / Trigger
- Trigger: 12 cm
- Lichteffekt
- 0,8 s Purple · Fast Blinking
- Fahr- & Gameplay-Effekt
- Wird eingesammelt; kein Fahreffekt
- Auswirkung
- −20 s auf die Endzeit
* Verschwindet, sobald die Aufgabe erfüllt wurde.


Eggs + EggCup
Egg
- Kollision / Trigger
- Trigger: 10 cm
- Lichteffekt
- 0,55 s Green · Fast Blinking
- Gameplay
- Ei wird aufgenommen und auf Eduard mitgeführt
- Auswirkung
- Kein direkter Zeiteffekt
Egg Cup
- Kollision / Trigger
- Trigger: 10 cm
- Lichteffekt
- 1,5 s Green · Fast Blinking
- Gameplay
- Eier werden abgeliefert; Speed-Verluste werden zurückgesetzt
- Auswirkung
- Speed zurück auf 80 %
* Verschwindet, sobald die Aufgabe erfüllt wurde.


Shit
- Kollision / Trigger
- Trigger: 12 cm
- Lichteffekt
- Während des Effekts: Orange · Fast Blinking
- Fahr- & Gameplay-Effekt
- 5 s Joystick-Sperre und automatische Zickzackfahrt mit max. 10 % Speed
- Auswirkung
- 5 s Kontrollverlust
* Verschwindet, sobald die Aufgabe erfüllt wurde.


Tree
- Kollision / Trigger
- Reveal: 18 cm · Blocking: 10 cm
- Lichteffekt
- 3 s Green beim Reveal · 0,8 s Dark Red beim Aufprall
- Fahr- & Gameplay-Effekt
- Wird beim Trigger sichtbar und blockiert danach die Weiterfahrt
- Auswirkung
- −10 Prozentpunkte Speed je Aufprall
* Bleibt dauerhaft im Spiel aktiv.


Water
- Kollision / Trigger
- Trigger: 40 cm
- Lichteffekt
- Während des Effekts: Blue · Fast Blinking
- Fahr- & Gameplay-Effekt
- Im Wasser nur kurze Schwimmbewegungen von 5 cm
- Auswirkung
- Starke Geschwindigkeitsreduktion
* Bleibt dauerhaft im Spiel aktiv.


Stone
- Kollision / Trigger
- Blocking: 15 cm
- Lichteffekt
- 0,8 s Dark Red · Slow Blinking
- Fahr- & Gameplay-Effekt
- Bewegung in Richtung des Hindernisses wird blockiert
- Auswirkung
- −10 Prozentpunkte Speed je Aufprall
* Bleibt dauerhaft im Spiel aktiv.


Oil
- Kollision / Trigger
- Trigger: 18 cm · Blocking: 7 cm
- Lichteffekt
- Während des Effekts: Light Red · Slow Blinking
- Fahr- & Gameplay-Effekt
- 5 s Steuerungssperre; Eduard dreht sich unkontrolliert
- Auswirkung
- 5 s Kontrollverlust
* Bleibt dauerhaft im Spiel aktiv.


Start Game
- Der Referenz-AprilTag wird erneut gescannt, um die gespeicherte Karte in der AR-Welt zu platzieren
- Anschließend wird der Roboter hinter die Startlinie gefahren
- Bis zum Start lässt sich die AR-Welt frei erkunden, ohne Items oder Hindernisse auszulösen
- Nach dem Start zählt ein Countdown herunter; währenddessen sind alle Fahrbefehle gesperrt
- Mit Ablauf des Countdowns werden Steuerung und Stoppuhr gleichzeitig aktiviert
- Nach dem Rennen ist das freie Erkunden der AR-Welt wieder möglich



AR-Eduards
- Show / Hide AR Robot
- Blendet den virtuellen Eduard unabhängig vom echten Roboter ein oder aus.
- Place at Reference
- Setzt den AR-Eduard auf den Ursprung der lokalisierten Karte.
- Sync to Real Robot
- Überträgt Position und Ausrichtung des echten Roboters einmalig auf das AR-Modell.
- Live Sync
- Aktualisiert den virtuellen Eduard kontinuierlich anhand seiner AprilTag-Pose.

Game Over
- Spielziel
- Bestzeit fahren.
- Coins
- Nicht gesammelt: +5 s. Gesammelt: 2 s Boost von 80 % auf 90 %; weitere Coins verlängern den Streak.
- Itembox
- −20 s auf die Endzeit.
- Wasser
- 1–3 Coins, aber bis zu 15 s Zeitverlust – durch schnelles Schwimmen ausgleichbar.
- Schaden & Eier
- Treffer reduzieren den Speed; abgelieferte Eier setzen ihn auf 80 % zurück.
- Shit
- 5 s Kontrollverlust, dabei etwa 2–3 erreichbare Coins.
- Oil
- 5 s Kontrollverlust.
Ergebnisse
Positive Ergebnisse
- Der physische Roboter steigert Spielerlebnis und Engagement deutlich
- Stabile räumliche Verankerung ermöglicht wiederholbare Rennen ohne sichtbare Verschiebungen
- Bestzeiten erzeugen auf natürliche Weise Wettbewerb und Wiederspielwert
- AprilTags lokalisieren präzise, kostengünstig und flexibel erweiterbar
- Roboter, persistente AR-Strecke und Zeitrennen erzeugen das gewünschte Mixed-Reality-Erlebnis
Aktuelle Grenzen
- Eduards Größe begrenzt mögliche Strecken in Innenräumen
- Sonne und Reflexionen erschweren die AprilTag-Erkennung im Freien
- Alleinspielende müssen dem Roboter für ausreichende Kamerasicht kontinuierlich folgen
- Das AR-Robotermodell benötigt noch eine feinere visuelle Kalibrierung
- Für Events fehlt noch eine gute Übertragung der mobilen AR-Ansicht an Zuschauer
Future Work
Karten speichern, teilen und gemeinsam nutzen
Outdoor-Nutzung testen und optimieren
Gemeinsame Speicherung von Scores und Ranglisten
Unterstützung kleinerer Robotersysteme
Lokalisierung unabhängig von AprilTags untersuchen
AR-Livestream für weitere Mitspieler
Hindernisse während des Rennens live platzieren
Mehrere Roboter auf derselben Strecke
Automatische Out-of-Bounds-Erkennung
Occlusion und AR-Rendering optimieren
Reale Hindernisse in der Minimap darstellen
Umfangreiche Spiel- und Nutzertests durchführen
Feedback
Ich würde mich sehr über Feedback zu EdukARt freuen, damit ich das Spiel für den MAPR-Master gezielt weiterentwickeln kann.
Die Umfrage ist auch kein Word-Dokument, sondern direkt online ausfüllbar. Versprochen.
umfrageonline.com/c/btxxap4r
31 / 31