Objektsegmentierung
Es wurden verschiedene Bildverarbeitungsalgorithmen verwendet, um Objekte in der Szene zu detektieren.
Personendetektion
Die segmentierten Objekten werden hinsichtlich bestimmter Merkmale untersucht und ggf. Personen klassifiziert.
Flächenhafte Informationen
Die detektierten Personen werden verwendet, um flächenhafte Eigenschaften für die Szene zu ermitteln.
Ereignisdetektion
Die charakteristischen Kenngrößen der detektierten Personen sollen mit den flächenhaften Szeneninformationen kombiniert werden, um auf verschiedene Ereignisse zu schließen.
Objektsegmentierung
Durchführung der Objektsegmentierung: Aus Informationen des Hintergrundschätzers, des optischen Flusses und weiterer Algorithmen werden Segmente bestimmt. Mittels morphologischer Operatoren werden sie optimiert und, sofern sie groß genug sind, als Objekt klassifiziert.
Objekte sind grundsätzlich alle bewegten Objekte im Bild. Wie man links sehen kann, detektieren wir sowohl Fahrzeuge als auch Fußgänger. In dem Forschungsthema haben wir uns jedoch auf die Detektion von Fußgängern spezialisiert. Aus diesem Grund untersuchen wir jedes Objekt noch genauer.
Personendetektion
Im Forschungsthema stand die Detektion von Personen und Personengruppen im Vordergrund. Aus diesem Grund wurde ein spezieller Personendetektor, basierend auf HOG und SVM verwendet. Dieser wurde mit verschiedensten Posen trainiert, die die Personen während ihrer Bewegung einnehmen können.
Das Bild zeigt die segmentierten Bildbereiche. Diese Segmente werden durch den Personendetektor beurteilt. Stimmen sie mit einer gelernten Pose einer Person überein, so wird das Segment als Person klassifiziert.
Die Personendetektion hat alle 4 Personen im Bild erfolgreich detektiert.
Damit die Personen in den folgenden Bildern wieder gefunden und korrekt zugeordnet werden, müssen weitere Informationen gewonnen werden. Diese Informationen werden in einem speziellen Objektdeskriptor zusammengefasst.
Rechts: Aufbau eines Objekt-Deskriptors. Mit Hilfe dieses Deskriptors ist es möglich, Personen in den folgenden Bildern wiederzufinden. Beim Matching werden die einzelnen Elemente verglichen und müssen zusammen passen. Beispielsweise sollte die neue Position der Person in einem Bereich um die alte Position liegen, der mit der ermittelten Geschwindigkeit erreichbar ist.
Wenn das Matching erfolgreich ist, dann wird der Objektdeskriptor aktualisiert und die neue Position zu der Trajektorie hinzugefügt.
Verlässt eine Person die Szene oder wird längere Zeit nicht gefunden, dann wird ihr Objektdeskriptor gelöscht. Die Informationen der Trajektorie werden jedoch weiterhin gespeichert, da diese Daten für die Szenenbeschreibung noch interessant sind.
Flächenhafte Informationen
Die Beobachtung der Szene über einen langen Zeitraum ermöglicht es, bestimmte Eigenschaften der Szene zu erlernen. Durch die permanente Detektion und Verfolgung der Personen im Bild lassen sich Information gewinnen, die bei einmaliger Betrachtung der Szene verborgen bleiben.
Eine wichtige Informationen sind bspw. Eintritts-, Austritts- und Verdeckkungszonen. Wenn man diese kennt, dann lässt sich die Qualität des Trackings und der Personendetektionen noch weiter verbessern.
In der Abbildung wird dargestellt, wie einige Informationen aus den Trajektorien (gelb) der getrackten Personen gewonnen werden können. Punkte, an denen die Personen das erste Mal in der Szene detektiert werden, sind Eintrittspunkte. Punkte, an denen Personen das letzte Mal detektiert wurden, bevor sie verschwinden, sind Austrittspunkte. Punkte, an denen die Person zwischenzeitig nicht detektiert wird, sind Verdeckungspunkte. Nach hinreichend vielen Beobachtungen ergeben sich sehr viele Eintritts-, Austritts- und Verdeckungspunkte. Befinden sich viele dieser Punkte innerhalb einer kleinen Fläche, so werden sie zu Eintritts-, Austritts- und Verdeckungszonen zusammengefasst. Eintrittszonen sind in der Abbildung grün, Austrittszonen rot und Verdeckungszonen blau dargestellt.
Weitere Informationen, die sich aus den Trajektorien ableiten lassen, sind Verkehrsaktive Bereiche, Geschwindigkeitskarten und Routen.
Abbildung 6: Links: Verkehrsaktive Bereiche. Mitte: Geschwindigkeitskarte. Rechts: Routen.
Anhand der Routen lassen sich weitere interessante Kenngrößen und statistische Daten ableiten.
Abbildung 7: Statistische Daten aus der Route.
Man kann sich beispielsweise die Route, die am häufigsten benutzt wird, anzeigen lassen oder alle Routen, auf denen im Durchschnitt mehr als X Personen in einem festgelegten Zeitabschnitt unterwegs sind. In der Abbildung 7 sind rechts weitere statistische Daten dargestellt. Links ist für eine Route ein Zeitabschnitt ausgewählt worden. Jede Säule stellt die Anzahl der Personen pro Minute da, die sich zu der Zeit im Durchschnitt auf der Route bewegen. Die Daten werden über mehrere Tage gemittelt, wodurch Schwankungen ausgeglichen und Regelmäßigkeiten deutlich werden.
Die flächenhaften Szeneninformationen repräsentieren einen normalen, bekannten Zustand. Diese Informationen können nun verwendet werden, um bestimmte Ereignisse wie abweichendes Verhalten zu detektieren.
Ereignisdetektion
Es wurden für das Forschungsthema zunächst Ereignisse untersucht, die es zu detektieren galt. Zu den Ereignissen gehören unter anderem auffälliges Verhalten, Hindernisse, unbefugtes Betreten und Aufmerksamkeit gegenüber Werbeträgern.
Bei der Beobachtung der Szene über einen langen Zeitraum haben sich bestimmte Eigenschaften für bestimmte Bildbereiche oder auch bestimmte Routen herausgebildet. Als Beispiel könnte man eine bestimmte Route nehmen und die Geschwindigkeit betrachten. Man kann dann feststellen, dass die Personen im Durchschnitt mit der Geschwindigkeit v_1 auf dieser Route gelaufen sind. Läuft nun eine neue Person auf dieser Route, dann kann man die Geschwindigkeit dieser Person mit v_1 vergleichen und bewerten. Ist sie viel langsamer oder vielleicht viel schneller? Wenn nun weitere Personen ebenfalls plötzlich viel langsamer oder viel schneller auf dieser Route laufen, dann ist es auffällig. Es könnte ein Indiz für eine potentielle Gefahr sein. Ein Beispiel dafür wird in Video 1 gegeben.
Video 1: Detektion von auffälligem Verhalten. Links sind die Sichtbereiche der zwei Kameras zu sehen. Hier werden Personen detektiert und getrackt. In der Mitte ist das Referenzkoordinatensystem dargestellt, in dieses werden die Positionen der detektierten Personen hinein projiziert und die Trajektorien eingezeichnet. Rechts wird die Situationsanalyse dargestellt. Auffälliges Verhalten wird farbig hervorgehoben. Eine Route wird rot eingezeichnet, weil sich überdurchschnittlich viele Personen zu dieser Zeit auf ihr bewegen. Dies könnte ein Hinweis auf eine Panik sein und sollte deshalb vom Operator überprüft werden.
Ein weiteres Ereignis, das wir erkennen können, sind Hindernisse. Hindernisse sind zunächst Objekte, die sich in der Szene auf eine Route bewegen und dort verweilen und den Weg versperren. Solche Hindernisse könnten potentiell gefährlich sein, wenn sie einen Eingangsbereich oder Notausgang versperren. Wir können auch Objekte vor bestimmten Orten detektieren und sie als Hindernisse klassifizieren. Wird beispielsweise eine Feuerwehrzufahrt oder ein Hydrant durch ein Fahrzeug blockiert, so stellt das ebenfalls ein Hindernis dar und wird detektiert.
Abbildung 8: Das Fahrzeug blockiert die Route und wird automatisch als Hindernis markiert.
Benutzerdefinierte Zonen sind vom Benutzer festgelegte Bereiche in der Szene, die spezielle Eigenschaften aufweisen. Eine typische Anwendung sind verbotene Bereiche, die nicht betreten werden sollen. Betritt eine Person einen solchen Bereich, so könnte der Operator benachrichtigt oder ein Alarm ausgegeben werden. Ein weiteres Anwendungsszenario stellen markierte Bereiche dar, in denen sich Werbeträger befinden. Eine Person, die vor einem Werbeträger stehen bleibt, soll detektiert und die Verweildauer bestimmt werden. So kann man Hinweise auf die Attraktivität von Werbeflächen erhalten. Ein Beispiel für die benutzerdefinierten Zonen findet sich in Video 2.
Video 2: Benutzerdefinierte Zonen. Die rot markierten Bereiche stellen verbotene Bereiche dar. Personen, die diese Bereiche betreten, sollen rot markiert werden. Der grün markierte Bereich befindet sich vor einer Informationstafel. Personen, die davor stehen bleiben, sollen grün markiert werden und die Verweildauer ermittelt werden.
Eine weitere spannende Information, die wir aus den flächenhaften Szeneninformationen ableiten können, sind werbewirksame Orte. Das sind diejenigen Bereiche, in denen die Menschen häufig stehen oder sich langsam bewegen. In Abbildung 9 sind die Bereiche, in denen Personen häufig als stehend klassifiziert wurden, violett markiert worden. Besonders auffällig ist der große Bereich vor dem Gebäude. Hier stehen häufig Personengruppen, um zu rauchen.
Abbildung 9: Werbewirksame Orte.