Continental Augmented Reality Head-up-Display

Um eine neue Form des Dialogs zwischen Fahrzeug und Fahrer zu ermöglichen, entwickelt der internationale Automobilzulieferer Continental das Augmented Reality Head-up-Display (AR-HUD). Bei diesem Anzeigesystem wird die Realität der Verkehrssituation, wie der Fahrer sie sieht, ergänzt (= augmentiert): Passgenau über die Außenansicht mittels optischer Projektion gelegte grafische Hinweise betten Informationen direkt in das Verkehrsgeschehen ein. Damit ist das AR-HUD derzeit die wohl innovativste Weiterentwicklung der Mensch-Maschine-Schnittstelle im Fahrzeug (Human Machine Interface, HMI).

Für Continental reiht sich diese Innovation in eine lange Geschichte ein: "Seit über 110 Jahren sorgen wir für die bestmögliche Fahrerinformation. Ausgehend vom Tachometer haben wir uns zu einem der führenden Entwickler von Anzeige- und Bedienlösungen für unterschiedlichste Fahrzeuge entwickelt", so Eelco Spoelder, Leiter des Continental Geschäftsbereichs Instrumentation & Driver HMI. "Die HUD-Technologie ist heute das, was 1902 der Wirbelstromtacho war, nämlich eine elementare Hilfe für den Fahrer. Für das AR-HUD gilt das in besonderem Maße."

Beim AR-HUD ist inzwischen ein fortgeschrittener Stand der Vorserienentwicklung erreicht. Das Demonstratorfahrzeug dient einerseits zum Nachweis der Machbarkeit, andererseits liefert es wertvolle Erkenntnisse für die Serienentwicklung. Serienreife plant Continental für 2017.

AR-HUD: Sehen heißt Verstehen

"Das optische System AR-HUD ermöglicht, dem Fahrer im direktem Sichtfeld augmentiert anzuzeigen, welchen Status die Fahrerassistenzsysteme haben und welche Bedeutung diese Information hat", so Dr. Pablo Richter, Experte für HUD-Technologie bei der Continental Division Interior. "Dazu wird das AR-HUD als neuer Teil der Mensch-Maschine-Schnittstelle bereits im heutigen Vorserienstand eng mit der Umgebungssensorik von Fahrerassistenzsystemen sowie GPS-Daten, Kartenmaterial und Fahrdynamikdaten vernetzt."

In einem Demonstrationsfahrzeug hat Continental diese neue Technologie auf einem fortgeschrittenen Vorentwicklungsstand erstmals beispielhaft umgesetzt. Im gewählten Fahrzeug sind Radarsensoren hinter dem vorderen Stoßfänger und eine CMOS Monokamera am Rückspiegelfuß integriert. Zu den für das AR-HUD als anwendungsrelevant ausgewählten Fahrerassistenzsystemen (Advanced Driver Assistance Systems, ADAS) gehört neben der Spurverlassenswarnung (Lane Departure Warning, LDW), der adaptive Tempomat (Adaptive Cruise Control, ACC) sowie die Routenhinweise des Navigationssystem.

"Erkennt eines der Fahrerassistenzsysteme eine relevante Situation, so machen virtuelle grafische Hinweise im AR-HUD den Fahrer darauf aufmerksam", erläutert Richter weiter. "Neben dem unmittelbaren Sicherheitsgewinn, den das bedeutet, stellt diese Form des Dialogs eine Schlüsseltechnologie für das automatisierte Fahren dar. Die Augmentierung macht es dem Mensch am Steuer leichter, Vertrauen in die neuen Fahrfunktionen aufzubauen."

Zwei Bildebenen mit deutlich unterschiedlichen Projektionsabständen – auf Basis zweier unterschiedlicher Bilderzeugungseinheiten

Im jetzt vorgestellten AR-HUD sind zwei Bildebenen in unterschiedlichen Projektionsabständen realisiert, die auch als Nah- bzw. Statusebene und fernliegende bzw. Augmentierungsebene bezeichnet werden. Die nahliegende Statusebene scheint vor dem Fahrer am Ende der Motorhaube zu schweben und bietet dem Fahrer ausgewählte Status-Informationen, wie die aktuelle Geschwindigkeit, geltende Streckenbeschränkungen wie Überholverbote und Tempolimits oder die aktuelle Einstellungen des ACC. Um diese Informationen ablesen zu können, muss der Fahrer den Blick nur leicht um knapp 6° absenken. Die Status-Informationen erscheinen in einem Sichtfeld der Größe 5°x1° (entsprechend 210 mm x 42 mm) in 2,4 m Projektionsabstand. Dies entspricht dem virtuellen Bildes eines "klassischen" Head-up-Displays und basiert auf einer Spiegeloptik und einer bildgebenden Einheit (PGU, Picture Generating Unit). Letztere besteht aus einem TFT- (Thin Film Transistor) Display, dessen Inhalt mittels LEDs hinterleuchtet wird. Diese Einheit wurde äußerst kompakt im oberen Bereich des AR-HUD-Moduls integriert. Mit der Spiegeloptik wird der Inhalt des Displays für die virtuelle Darstellung vergrößert. Realisiert wird dies mit Hilfe eines gekrümmten Spiegels. Zur Verwirklichung zweier Bildebenen in unterschiedlichen Projektionsabständen im AR-HUD nutzt Continental eine geschickt gewählte optische Auslegung. Hier überlagern sich die jeweiligen Strahlengänge beider Ebenen intern leicht. Der Strahlengang der nahliegenden Ebene nutzt lediglich die obere Randzone des großen AR-HUD Spiegels (die große Asphäre) ohne einen weiteren sogenannten Faltspiegel. Dieser Teil des AR-HUD-Systems entspricht dem heute von Continental als zweite HUD-Generation in Serienfahrzeugen integrierten Stand der Technik.

Augmentierung mit Kinotechnik im Auto

"Die Hauptrolle im AR-HUD spielt natürlich die Augmentierungsebene. In einem Projektionsabstand von 7,5 m vor dem Fahrer sorgt sie für die augmentierte Darstellung von Anzeigesymbolen direkt auf der Straße. Der Inhalt wird an aktuelle Verkehrsgeschehen angepasst", so Richter. Inhalte dieser fernliegenden Ebene werden mittels einer erstmals von Continental auf der IAA 2013 präsentierten neuen bildgebenden Einheit erzeugt. Wie bei digitalen Kino-Projektoren werden die grafischen Elemente mit einem Digital Micromirror Device (DMD) erzeugt. Den Kern der PGU bildet ein optischer Halbleiter mit einer Matrix aus mehreren Hunderttausend winzigen Spiegeln, die sich mit Hilfe elektrostatischer Felder einzeln kippen lassen. Die Mikrospiegelmatrix wird von drei farbigen LEDs (Rot, Blau und Grün) zeitsequentiell in schneller Folge abwechselnd beleuchtet. Die Kollimation (Parallelrichtung) des dreifarbigen Lichtes erfolgt dabei durch Umlenkspiegel mit Farbfilterfunktion (sogenannte dichroitische Spiegel). Diese besonderen Spiegel lassen das Licht je nach Farbe entweder passieren oder reflektieren es. Zeitsynchron zu der gerade beleuchtenden Farbe werden alle Mikrospiegel dieser Farbe so gekippt, dass sie das einfallende Licht durch ein Objektiv reflektieren und so als einzelne Bildpunkte dieser Farbe auf einer nachfolgenden Mattscheibe abbilden. Dies geschieht zeitsynchron für alle drei Farben. Das menschliche Auge "mittelt" über alle drei Farbbilder auf der Mattscheibe und erhält den Eindruck eines vollfarbigen Bildes.

Von der Vorderseite der Mattscheibe aus betrachtet, entspricht der anschließende Strahlengang dem eines herkömmlichen HUD: Über einen ersten Spiegel (Faltspiegel) wird das Bild von der Mattscheibe auf den zweiten größeren Spiegel (AR-HUD Spiegel) reflektiert. Von dort erfolgt die Einspiegelung in die Frontscheibe. Die Austrittsfläche des optischen Systems für die Augmentierung hat nahezu DIN A4 Größe. Damit entsteht in der Augmentierungsebene ein Sichtfeld der Größe 10° x 4,8°, was geometrisch etwa einer Breite der augmentierbaren Sichtfläche von 130 Zentimetern und einer Höhe von 63 Zentimetern im direkten Sichtfeld entspricht. Informationen in dieser Fernebene können durch ein leichtes Absenken des Blickes des Fahrers um 2,4° abgelesen werden. Die bildgebenden Einheiten beider Ebenen, die der Status- und die der Augmentierungsebene, ermöglichen eine Darstellung mit einer an die Umgebungshelligkeit angepassten Leuchtdichte von über 10.000 Candela pro Quadratmeter. So ist die Anzeige unter nahezu allen Umgebungslichtbedingungen gut ablesbar.

Der große Vorteil dieses Systemansatzes im Versuchsfahrzeug von Continental für ein AR-HUD mit zwei Bildebenen in verschiedenen Projektionsabständen liegt auf der Hand: In den meisten Verkehrssituationen lässt sich die Augmentierung von Inhalten direkt auf die Straße in die Fahrszenerie mittels der in 7,5 m fernliegenden Ebene verwirklichen und die in 2,4 m nahliegenden Ebene kann zur Anzeige von Statusinformationen genutzt werden.

Datenfusion und Grafikerzeugung im AR-Creator

Zahlreiche Simulationen und Continental Probandenversuche zeigten, dass es Fahrer als angenehm empfinden, wenn die Augmentierung etwa 18 bis 20 m vor dem Fahrzeug beginnt und sich je nach Streckenverlauf bis in etwa 100 m Entfernung fortsetzt. Peter Giegerich, zuständig für die Entwicklung des AR-Creators, erklärt, wie diese grafischen Hinweise erzeugt und richtig platziert werden: "Der AR-Creator ist eine ausgesprochen anspruchsvolle Neuentwicklung. Das Steuergerät muss zahlreiche Sensordatenströme auswerten, um die grafischen Elemente exakt dort auf der Mattscheibe zu platzieren, von wo sie passgenau in das AR-HUD Sichtfeld des Fahrers eingespiegelt werden können. Da ist einiges an Rechenkunst erForderlich."

Der AR-Creator übernimmt eine Datenfusion aus drei Quellen: Die Geometrie des Straßenverlaufs stellt die Monokamera zur Verfügung. Dazu gehören die sogenannten Klothoiden, mathematische Beschreibungen für den Krümmungsverlauf der Fahrspur vor dem Fahrzeug. Größe, Lage und Entfernung von erkennbaren Objekten vor dem Fahrzeug stammen aus einer Kombination von Radarsensordaten und Interpretation der Kameradaten. Der eHorizon von Continental liefert schließlich den Kartenrahmen, in dem die vor Ort sensierten Daten hineininterpretiert werden. Im Demonstratorfahrzeug ist dieser eHorizon noch statisch und verwendet ausschließlich Datenmaterial der Navigation. Continental arbeitet bereits an der Serienreife von vernetzten und damit hochdynamischen eHorizon-Angeboten. So können dann auch Daten von unterschiedlichsten Quellen (Vehicle-2-Vehicle, V2V-Kommunikation, Verkehrsleitzentralen etc.) für die Darstellung im AR-HUD aufbereitet werden. Die Positionierung des Fahrzeugs auf einer digitalen Karte erfolgt mit Hilfe der Fusion von Fahrdynamik-, Kamera- und GPS-Daten.

Aus den fusionierten Daten errechnet der AR-Creator, wie der geometrische Straßenverlauf vor dem Fahrzeug aus der Position des Fahrers aussieht. Das ist möglich, weil die Augenposition des Fahrers bekannt ist: Im Demonstratorfahrzeug stellt der Fahrer vor Fahrtantritt einmalig die Lage der sogenannte Eye Box für sich richtig ein. Für die Serie lässt sich dieser Vorgang mit einer Innenraumkamera automatisieren. Sie erkennt die Augenlage des Fahrers und kann die Positionierung der Eye Box nachführen. Der Begriff Eye Box bezeichnet einen quaderförmigen Bereich, dessen Höhe und Breite einem theoretischen "Sichtfenster" entspricht. Nur solange der Fahrer durch dieses Fenster auf die Straße blickt, erfasst er das komplette AR-HUD-Bild. Die Fahrzeugpassagiere sehen den dargestellten Inhalt von HUD und AR-HUD nicht.

"Basierend auf der einstellbaren Lage der Eye Box weiß der AR-Creator, wo sich die Augen des Fahrers befinden und aus welcher Perspektive sie das Verkehrsgeschehen und die Umwelt sehen", erläutert Giegerich. Meldet ein Assistenzsystem eine relevante Beobachtung, so kann ein entsprechender virtueller Hinweis an der richtigen Stelle auf der Mattscheibe des AR-HUD erzeugt werden.

Weniger ist mehr

Viel Entwicklungsarbeit floss laut HMI-Entwickler Stephan Cieler in die Gestaltung der virtuellen Hinweise. "Nach zahlreichen Designstudien und Probandenversuchen lautet unsere Devise auch beim AR-HUD: Weniger ist mehr." So wurde die anfängliche Idee, einen transparenten Farbteppich über die Fahrspur zu legen, bald verworfen. "Wir wollen dem Fahrer nur das notwendige MINImum an grafischen Hinweisen geben, um die reale Verkehrsansicht nicht zu überdecken."

Winkelförmge Pfeilspitzen als Navigationshilfe beispielsweise bieten die Möglichkeit, sie wahlweise flach auf die Fahrbahn zu "legen" und bei einem Richtungswechsel aufrecht in die neue Fahrrichtung zu drehen, so dass sie wie ein Hinweisschild wirken. Mit dieser Gestaltung lassen sich auch in engen Kurvenradien virtuelle Hinweise geben, obwohl eine echte Augmentierung in dieser Situation wegen der fehlenden perspektivischen Sehweite nicht möglich ist.

Dezent umgesetzt ist auch die Warnung beim Überfahren einer Fahrbahnbegrenzung. So werden die Fahrbahnbegrenzungen nur dann vom AR-HUD des Demonstrationsfahrzeugs hervorgehoben, wenn der Fahrer diese aller Vorrausicht nach unbeabsichtigt überfährt.

Erhält ein zukünftiger eHorizon Informationen über einen Unfall voraus, kann ein Gefahrensymbol mit entsprechend hohem Aufmerksamkeitswert frühzeitig in das Blickfeld des Fahrers platziert werden. "Wenn diese neue Form der Interaktion mit dem Fahrer einmal installiert ist, dann bieten sich im HMI viele Möglichkeiten, um den Fahrer situationsbezogen und vorausschauend zu informieren. Fahrzeug und Fahrer reden dann miteinander, auch wenn dieser Dialog ohne Worte abläuft", so Richter.