About Christoph Stamm

Informatikdozent an der Fachhochschule Nordwestschweiz

Kamerabasiertes Tracking in der Bar du Nord

IMG_3017In der Bar du Nord kommt eine selbst entwickelte Bildanalyse-Software zur Bestimmung der Positionen und Ausrichtungen der Personen zum Einsatz. Damit die Position im Raum und die Orientierung einer Person bestimmt werden kann, muss diese ein Headset (siehe rechts) auf dem Kopf tragen. Das Headset beinhaltet unter anderem speziell angeordnete Infrarot-LEDs, welche sowohl die eindeutige Identifikation als auch die Bestimmung der Kopfausrichtung ermöglichen.

WP_20130812_002Bei den eingesetzten Kameras handelt es sich um handelsübliche, weitwinklige Überwachungskameras, welche auch in der Nacht im nahen Infrarotbereich betrieben werden können. Durch zusätzlich eingebaute Infrarotfilter werden störende Bildinhalte aus dem sichtbaren Spektrum herausgefiltert, so dass die von den Headsets ausgestrahlten Infrarotsignale ohne grosse Bildbearbeitung analysiert und weiterverarbeitet werden können. Die Grösse des Raumes erfordert den Einsatz von mehreren Kameras, welche nebeneinander angeordnet sind und deren Videoströme parallel auf einem Rechner analysiert werden. Die ermittelten Positionen und Ausrichtungen der Headsets bzw. Personen werden mittels des OSC-Protokolls an einen Server gesendet, welcher die empfangenen Informationen an alle registrierten Datenkonsumenten weitersendet. Dadurch lassen sich die Bewegungen der getrackten Personen in verschiedenen Räumen des Badischen Bahnhofs gleichzeitig visualisieren.

WP_20130811_002

 

 

Kommunikationskonzept

Für die Echtzeitkommunikation in den verschiedenen Räumlichkeiten des Badischen Bahnhofs ist ein Kommunikationskonzept erstellt worden. Dieses Konzept definiert die Kommunikationsstruktur (siehe Abbildung), die verwendeten Kommunikationsteilnehmer mit ihren Rollen (Server, Client) und Adressen und die verschiedenen Protokolle, die zum Einsatz kommen. Alle Clients und Server kommunizieren auf dem obersten Protokoll-Layer über vordefinierte OSC-Meldungen mit klar definierten Parametern. Dieses Kommunikationskonzept ermöglicht eine weitgehende separate Software-Entwicklung der verschieden Kommunikationsteilnehmer, was eine wichtige Voraussetzung für den Erfolg eines verteilten Projektes ist.

Die Hochschule für Technik hat die Slave/Master-Software und unterschiedliche prototypische Clients gemäss diesem Konzept entwickelt und getestet.

Kommunikationsstruktur_small

Tech Talk 5

Der Tech-Talk 5 steht im Zeichen des Austausches und der Vermittlung des aktuellen Stands in den jeweiligen Hochschulen. Zudem wird der Zeitplan, welcher als Basis eines Vertrags mit der DB dienen soll, von den Anwesenden kritisch geprüft.

Die kritische Überprüfung des Zeitplans hat ergeben, dass einzelne Aspekte besser berücksichtig werden müssen. Darüber hinaus ist eine Feinplanung des Events erforderlich, welche allfälliges weiteres Personal miteinbezieht und die Dokumentation des ganzen Events sicherstellt.

Für den Event sollen mindestens fünf mobile Systeme für den Dauereinsatz verfügbar sein. Das heisst, es müssen Ersatzakkus und Ladegeräte vorhanden sein. Zu einem späteren Zeitpunkt soll darüber entschieden werden, ob von fünf auf maximal zehn Systeme erweitert werden soll.

Android App

Die Event-Teilnehmer werden mit mobilen Geräten (Galaxy S3) ausgestattet. Die Kommunikation zu den Diensten des Servers wird über eine neu entwickelte Android App sichergestellt. Diese App bietet momentan den folgenden Funktionsumfang an:
– Auslesen roher Sensordaten (Gravitation, lineare Beschleunigung, Gyro)
– Detektion von Ultraschallsendern via Mikrofon
– bidirektionale Datenkommunikation mit einem Server bzw. Pure Date (Pd) über das OSC-Protokoll
– Events empfangen und diese an Pd weiterreichen, damit Audio-Files abgespielt werden können
– alle Funktionen können in der App einzeln konfiguriert und auch bei Bedarf abgeschaltet werden

Tech Talk 4

Der Tech-Talk 4 findet ausnahmsweise im elektronischen Studio statt und erlaubt uns dadurch einen spannenden Blick in die Räumlichkeiten des Studios.

Die künstlerische Leitung stellt uns die erstellte Partitur vor und präsentiert uns den Wunschkopfhörer.

Es wird über die Anforderungen aus Sicht Technik und Musik an eine Simulationsumgebung diskutiert. Die künstlerische Leitung macht klar, dass sie auf eine Simulationsumgebung nicht angewiesen sind. Da die HGK nicht vertreten ist, bleiben deren Absichten bezüglich Simulationsumgebung weitgehend unklar. Eine entsprechende Klarstellung wird allseits gewünscht. Folgende Anforderungen werden festgehalten:

  • Funktionsüberprüfung des Gesamtsystems
  • Visualisierung der lokalisierten Personen inkl. Ausrichtung
  • Mithören des Audiostreams pro lokalisierte Person
  • Simulation: interaktives verändern der Personenattribute und Mitverfolgung der sich daraus erge-benden Konsequenzen
  • Einblick ins System für Interessenten

Als Gate-Watching-Technologie wird Ultraschall vorgesehen.

Tech Talk 3

Der Tech-Talk 3 steht im Zeichen der Konkretisierung der Systemarchitektur. Es wird den folgenden drei Fragen nachgegangen:

  • Welche Daten werden zwischen Server und mobilen Clients ausgetauscht?
  • Welche Indoor-Tracking-Lösung wird für den ersten Raum anvisiert?
  • Welche Aufgaben hat die Simulationsumgebung?

Zwischenzeitliche Tests und Abklärungen haben ergeben, dass auf ein Streaming der Sound-Daten verzichtet wird und über ein WLAN nur Events verschickt werden. Diese Events werden auf den mobilen Geräten empfangen und zur Steuerung der lokal gespeicherten Sound-Daten eingesetzt. Events, welche lokal generiert werden, z.B. durch Körperbewegungen, sollen über das WLAN an den Server übertragen werden, so dass der Server eine Übersicht über alle generierten Events besitzt.

Für den ersten Raum wird ein optisches Tracking angestrebt. Bei optischen Tracking-Systemen kann grundsätzlich zwischen zwei Ansätzen unterschieden werden:

  • Eine oder mehrere Kameras überblicken den Raum und übertragen die Bilder an einen zentralen Server, welcher die Bilder analysiert und die Positionen der zu überwachenden Personen oder Objekte ermittelt.
  • Die mobilen Objekte oder Personen werden mit Kameras versehen und erstellen und analysieren Bilder eines künstlichen Sternenhimmels, welcher an die Decke des Raums projiziert wird. Aus der Analyse der perspektivischen Sicht des künstlichen Sternenhimmels kann auf die Position der mobilen Kamera zurückgeschlossen werden (siehe Abbildung aus “horizonte”, Dezember 2012).

Angestrebt wird ein optisches Tracking-System der ersten Art, weil die Bildanalyse einfacher auf einen zentralen Server konzentriert werden muss und weil die mobilen Clients weniger mit rechenintensiven Aufgaben belastet werden.

Was die dritte Frage bezüglich der Simulationsumgebung anbelangt, so besteht da noch nicht ausreichende Übereinstimmung unter den beteiligten Personen. Die Beantwortung der Frage wird auf einen späteren Tech-Talk verschoben.

Der nächste Tech-Talk findet am 17.12. statt.

Tech Talk 2

In der heutigen Sitzungen haben Vertreter aller drei beteiligten Hochschulen ein optisches Tracking-System grob skizziert (siehe Abbildung), den Installations- und Entwicklungsbedarf davon abgeleitet und die Verantwortung für die einzelnen Teile definiert. Die Details dazu sind in der Dateiablage zu finden.

Dieses Tracking-System ist vorderhand nur für einen der drei anvisierten Räume vorgesehen, da an die Raumhöhe gewisse Anforderungen gestellt werden und noch nicht alle Räume klar definiert sind. Die momentane Konzentration auf einen gesicherten Raum erlaubt uns ein speditives Vorangehen, die Entwicklung aller relevanten Systemkomponenten und einen frühzeitigen Systemtest (März 2013).

Trackingsysteme für weitere Räume werden nach Implementierung des ersten Systems konzipiert und können von den bis dahin gemachten Erfahrungen und Implementierungen profitieren.

Tech Talk 1

Vertreter der drei beteiligten Hochschulen informieren sich zusammen mit der künstlerischen Leitung über den aktuellen Stand der Indoor Lokalisierungsmethoden und tauschen ihre gesammelten Erfahrungen in diesem Bereich aus.

Anhand einer Kurzpräsentation des vorläufigen künstlerischen Konzepts werden technische Anforderungen an das Tracking-System abgeleitet und schriftlich festgehalten. Damit künstlerische Konzepte frühzeitig ausprobiert werden können, wird ein vorerst sehr einfach gehaltenes Simulationssystem angeboten. Dieses soll zu einem späteren Zeitpunkt so erweitert werden, dass es auch als Visualisierungssystem während des Schluss-Events eingesetzt werden kann.

Verschiedene Entscheide bezüglich des Gesamtsystems sind gefällt worden und im Protokoll nachzulesen.