Im Zuge der Digitalisierung stehen in Betrieben immer mehr Daten zur Verfügung. Es reicht jedoch nicht aus, diese Daten nur zu sammeln. Um einen Mehrwert zu generieren, müssen sie aufbereitet und für Mitarbeiter übersichtlich visualisiert werden. Wie im Rahmen des Forschungsprojekts SmARtPlaS gezeigt werden konnte, bietet Augmented Reality (AR) die Möglichkeit, bisher unsichtbare Informationen per Smartphone ortsbezogen, beispielsweise an Anlagen, sichtbar zu machen.
Konstante Produktqualität in immer engeren Zeitfenstern zu gewährleisten, stellt für Oberflächenveredler eine große Herausforderung dar. Nachbearbeitung und Anlagenausfälle rauben wertvolle Zeit und verursachen Kosten – Auswirkungen, die es zu vermeiden gilt.
Eine unkomplizierte Überwachung von Anlagen hilft, diesen Aufwand zu minimieren. Dazu müssen die passenden Daten in Echtzeit an der passenden Stelle griffbereit sein, damit jederzeit richtig auf Abweichungen reagiert werden kann. Überall Monitore aufzuhängen ist kostspielig, zudem ist die Hardware insbesondere im Umfeld einer Galvanikproduktion aufgrund von Chemikalien und Temperaturschwankungen äußerst anfällig für Verschleiß. Die Verwendung von Augmented Reality ist eine alternative, einfache Lösung, welche die Smartphone-Kamera nutzt, um im Kamerabild Anlagendaten an der richtigen Stelle anzuzeigen.
1 Einordnung ins SmARtPlaS-Projekt
Im Rahmen des Forschungsprojekts SmARtPlaS hatte Softec das Ziel, eine AR-Applikation für die vorausschauende Wartung zu entwickeln. Zu Beginn des Projekts waren Datenbrillen wie die Microsoft HoloLens für die Anzeige der AR-Elemente die favorisierte Technologie. Jedoch stellte sich schnell heraus, dass ein günstigeres und massentaugliches Gerät für die gewünschten Funktionen vollkommen ausreicht, und zwar in Form eines handelsüblichen Smartphones. Statt im Display der Datenbrille virtuelle Objekte über den realen Raum zu legen, kann die Smartphone-Kamera eingesetzt werden, um auf dem Handydisplay zusätzliche Objekte und Datentafeln einzublenden.
Daher wurde bereits früh im Projekt die Entscheidung getroffen, die AR-Applikation als Smartphone-App zu entwickeln. Dies hat sich zudem als praktikabler für die raue Produktionsumgebung in der Oberflächentechnik erwiesen. Denn Datenbrillen zeigen sich bisher als fragil, zudem ist eine Steuerung über Sprache in der lauten Umgebung nur schwer möglich. Wenn darüber hinaus Schutzbrillen benötigt werden, wird die Datenbrille noch mehr zum Störfaktor.
Smartphones kennen Nutzer hingegen aus ihrem Alltag und sind daher mit der Bedienung vertraut. Die Übertragung in den industriellen Kontext wird dadurch erleichtert. Auch die Möglichkeit, das Gerät einfach in die Tasche zu stecken und erst wieder zu zücken, wenn die Funktionalität benötigt wird, ist praktischer als eine Datenbrille, die durchgehend getragen werden müsste.
Im Verlauf des Projekts wurden mehrere App-Prototypen entwickelt, verschiedene Steuerungsmechanismen getestet und der Einsatz in der Lern- und Forschungsanlage des Fraunhofer Instituts für Produktionstechnik und Automatisierung IPA in Stuttgart erprobt (Abb. 1). Das Ergebnis ist eine voll funktionsfähige AR-Applikation, die Sensordaten, Texte und vieles mehr auf Datentafeln an zuvor festgelegten Positionen im virtuellen Raum verankern kann. Mit Hilfe der App werden diese Datentafeln im Kamerabild des Smartphones in der realen Umgebung eingeblendet und mit Echtzeitänderungen der Daten angezeigt.
Abb. 1: Screenshots aufgenommen per Smartphone mit der AR-App in der Lern- und Forschungsanlage des IPA, die Datentafeln über den einzelnen Arbeitspositionen zeigen sowie die Platzierung einer neuen Datentafel an einem Elektromotor
2 Von den Daten zur AR-Datentafel
Bis zur fertigen Datentafel in der App müssen einige Schritte durchlaufen werden, angefangen mit der Erfassung der anzuzeigenden Daten. Wie dieser Weg aussieht, ist im Folgenden erläutert. Zunächst lässt sich der Ablauf in drei Komponenten unterteilen:
- Die Daten werden im ersten Schritt von einer oder mehreren Anlagen über einen MQTT-Server zur App übertragen (MQTT - Message Queuing Telemetry Transport)
- Im zweiten Schritt werden die Daten für die Anzeige auf der Datentafel aufbereitet
- Die Daten müssen im dritten Schritt im Kamerabild an der passenden Stelle eingeblendet werden
3 Übertragung der Daten (MQTT-Broker)
Der Datenaustausch zwischen Anlagen, Steuerungen, ERP-Systemen, Kontroll- und Warnsystemen und vielem mehr erfolgt über Schnittstellen, die es ermöglichen, Daten von einem System ins andere zu übertragen. Bei einer Vielzahl von heterogenen IT-Systemen ist nachvollziehbar, dass dieser Austausch komplex und keineswegs selbstverständlich ist. Verschiedene Formate und (Computer-)Sprachen prallen aufeinander, die abgestimmt werden müssen. Damit nicht für jede Schnittstelle individuelle Entwicklungen erforderlich sind, gibt es Standardprotokolle zur Nachrichtenübermittlung. Für die AR-App kommt MQTT zum Einsatz.
Im Mittelpunkt einer MQTT-Infrastruktur steht ein Server, genannt MQTT-Broker. Dieser ist vergleichbar mit einer Poststelle – er verwaltet die eingegangenen Daten und leitet sie weiter. Auch hier gibt es Sender und Empfänger; diese werden als Publisher und Subscriber bezeichnet. Publisher sind beispielsweise Anlagen, die Daten aktiv über eine MQTT-Schnittstelle an den Broker übermitteln, die dann wiederum von beliebig vielen Empfängern abgerufen werden können. Subscriber abonnieren genau die Informationspakete, die für sie relevant sind; der Broker schickt nur die gewünschten Informationen weiter. Sender und Empfänger sind klar getrennt und kommunizieren nicht direkt miteinander, sie nutzen dafür den Broker.
Zusammengefasst übermitteln Anlagen, Geräte oder Sensoren Werte über eine MQTT-
Schnittstelle an einen Server, den die AR-App wiederum abonniert hat und somit die Werte erhält. Die App liest die Informationen aus und die Verarbeitung für die Anzeige der Daten kann erfolgen. Hierbei zeigt sich ein Problem, dass oft bei Maschine-zu-Maschine-
Kommunikation entsteht: die Daten sind für den Menschen meist nur noch schlecht lesbar beziehungsweise – durch fehlende Kontextinformationen wie Einheiten – schlicht unübersichtlich. Der nächste Schritt ist daher die Aufbereitung der Daten.
4 Übersichtliche Aufbereitung der Daten (Smart Factory Interface)
Damit aus den übermittelten Daten Datentafeln entstehen, muss für jede dieser Tafeln festgelegt sein, welche Werte wie angezeigt werden sollen. Es geht um Formatierung und Struktur, zum Beispiel mit Überschriften, Texten, Bildern, geeigneten Farben, Buttons oder Schaltflächen (Abb. 2).
Abb. 2: Strukturierte Demo-Datentafel in der AR-App mit farbkodierten Werten
Bei der Konfiguration der Tafeln können für einzelne Werte, wie beispielsweise die Temperatur einer Anlage, Toleranzgrenzen gesetzt werden, die der Wert nicht unter- beziehungsweie überschreiten soll. Diese lassen sich auch farbkodieren, indem der Wert von Grün auf Orange oder Rot wechselt.
All diese Konfigurationen finden in einem Smart Factory Interface statt, das zur Beschreibung von interaktiven Displays eingesetzt wird. Konfigurationen, die mit diesem Interface erstellt werden, müssen sich nicht zwangsläufig auf AR beziehen, beispielsweise können sie auch als Grundlage für einen Leitstand verwendet werden.
Datentafeln lassen sich mit diesen Spezifikationen individuell einrichten, sodass sie exakt die Werte abbilden, die an einem bestimmten Ort relevant sind. Zudem sind die Datentafeln schnell anpassbar, wenn zusätzliche Werte eingeblendet oder nicht mehr benötigte Informationen entfernt werden sollen. Damit ist der Inhalt der Datentafeln fertig. Die Platzierung der Datentafel an der passenden Stelle erfolgt in der App selbst.
5 Datentafeln platzieren (AR-App Editor)
Die AR-App verfügt über einen Editor- und einen Viewermodus. Endnutzer müssen den Editor nicht bedienen, sondern nutzen die App, um sich die Informationen auf Datentafeln anzusehen. Daher werden die Funktionen zum Platzieren von Datentafeln nicht benötigt. Für eine verbesserte Nutzerfreundlichkeit wurden die beiden Modi implementiert. Im Editor stehen alle Funktionen zur Verfügung, um ein Modell zu erstellen sowie Datentafeln zu platzieren.
Zur räumlichen Verortung einer Datentafel benötigt die App einen Nullpunkt, der sich nicht bewegt. Dies geschieht mit Hilfe eines Markerbilds, meist eines QR-Codes, das an einer passenden Stelle in der realen Umgebung aufgeklebt ist, zum Beispiel vor einer Anlage. Im ersten Schritt muss dieser Marker gescannt werden, um ein Modell zu erstellen. Danach können Datentafeln frei platziert werden, die in Relation zu diesem Punkt stehen. Das bedeutet im Umkehrschluss auch, dass sich bei einer Bewegung des Markers das gesamte Modell verschieben würde.
Um eine Datentafel zu platzieren, benötigt sie einen Ankerpunkt im Modell, der als kleine Kugel dargestellt wird (Abb. 3 und 4). In der realen Welt ist dies vergleichbar mit der Tätigkeit, Bilder in einem Zimmer aufzuhängen. Mit Hammer und Nagel wird das Bild an der ausgewählten Stelle aufgehängt. Bei den virtuellen Datentafeln wird mit Hilfe der App ein Punkt im virtuellen Raum festgelegt, der die Funktion des Nagels übernimmt.
Abb. 3: Als Beispiel wird eine Espressomaschine mit einer Datentafel ausgestattet; dazu wird über der Espressomaschine ein Ankerpunkt platziert
Abb. 4: Über ein Auswahlmenü werden die anzuzeigenden Werte festgelegt
In der realen Welt können wir Bilder nur dann sehen, wenn sie nicht durch eine Wand oder ein Hindernis verdeckt werden. Auch in der AR-Welt lässt sich dieser Effekt replizieren, um eine realistische Wirkung zu erzielen. Das heißt, dass Datentafeln erst dann erscheinen, wenn der Betrachter auch tatsächlich um eine Wand herumgegangen ist oder einen Raum durch eine Tür betritt.
Dazu können im AR-App-Editor auch Objekte wie Wände, Einrichtungsgegenstände oder Maschinen, die je nach Standort des Betrachters die Sicht beschränken, in das Modell aufgenommen werden. Zu diesem Zweck werden einfache geometrische Formen in der virtuellen Welt erstellt, die Sichtblockaden durch reale Objekte nachbilden und bei der Nutzung der App den Blick auf Datentafeln ebenso versperren wie reale Körper.
Dieses Übereinanderlegen der virtuellen und der realen Welt – sogenanntes Mapping – erzeugt für den Betrachter einen vollkommen natürlichen Eindruck. Die digitale Einblendung wird zur Erweiterung der Realität.
6 Datentafeln in der AR-App anzeigen (AR-App-Viewer)
Für Anwender gestaltet sich die Verwendung der App einfach: Sie müssen lediglich die App starten und den QR-Code-Marker scannen. Durch den Scan laden die Datentafeln an den vorher festgelegten Stellen im Modell mit den zuvor konfigurierten Inhalten. Somit sind die Informationen direkt im Kamerabild verfügbar und das Smartphone kann von Anlage zu Anlage geschwenkt werden, um die verschiedenen Werte zu betrachten.
Gerade bei Anlagenkomplexen, bei denen längere Distanzen überbrückt werden, können mehrere QR-Code-Marker nützlich sein, um weitere Einstiegspunkte für die AR-App zu bilden. So kann beispielsweise an jeder Anlage ein QR-Code zur Verfügung stehen, mit dessen Hilfe die App gestartet werden kann. Das bietet Mitarbeitern die Flexibilität, die App überall ohne große Laufwege aufzurufen. Genauso können die Marker dazu genutzt werden, um die App neu zu kalibrieren, falls Daten nicht richtig geladen werden.
Mit dem AR-App-Viewer können Anwender nicht nur die Daten betrachten, sondern über Buttons auf Datentafeln auch damit interagieren. Buttons können Links zu weiteren Apps enthalten, beispielsweise zur Betriebsdatenerfassung oder zur Anlagensteuerung, um eine Abweichung direkt zu korrigieren.
An einem Beispiel lassen sich die Vorteile dieses Zusammenspiels verdeutlichen: In der AR-App ist für eine Anlage eine Datentafel eingerichtet, auf der unter anderem die Betriebstemperatur der Anlage angezeigt wird (Abb. 5 und 6). Über Toleranzgrenzen sind Werte bestimmt, ab denen die Temperatur von der Farbe Grün auf Orange wechselt, um anzuzeigen, dass die Toleranzgrenze überschritten wurde. Ein Mitarbeiter mit der AR-App bemerkt die zu niedrige Temperatur der Anlage im Vorübergehen. Über einen Button auf der Datentafel ruft er eine Wartungs-App auf, in der er die Temperatur wieder auf den gewünschten Wert erhöht. Zurück in der AR-App prüft der Mitarbeiter erneut die Temperatur, die Anzeige auf der Datentafel aktualisiert sich dynamisch. Eine Kontrolle der durchgeführten Änderung ist somit umgehend möglich.
Abb. 5: Die fertige Datentafel zeigt dynamisch verschiedene Werte und warnt per Farbkodierung bei Abweichungen
Abb. 6: Beim Blick auf das Smartphone zeigt die AR-App verborgene Informationen im Kamerabild
7 Ausblick
Augmented Reality ermöglicht es, relevante Informationen mit wenig zusätzlicher Hardware ortsbezogen anzuzeigen. Diese Flexibilität sorgt dafür, dass die Technologie nicht nur die Anforderung vorausschauende Wartung abdecken kann, sondern darüber hinaus eine Vielzahl von weiteren Funktionen erfüllen könnte. Denkbar sind beispielsweise Indoor-Navigation im Lager, Schulungen für Mitarbeiter oder Sicherheitstrainings, bei denen wichtige Aspekte wie Notausgänge und Feuerlöscher mit informativen Datentafeln ausgestattet werden. Softec arbeitet unter diesen Aspekten weiter daran, neue Anwendungsfälle zu testen und die Funktionalität der AR-App zu erweitern.
Im nächsten Artikel der SmARtPlaS-Artikelserie beschäftigt sich die DiTEC GmbH mit dem Thema der modell- und datenbasierten Prozesssteuerung für ganzheitlich optimierten Betrieb und vorausschauende Wartung von Galvanikanlagen.
Danksagung
Die Förderung des Projekts SmARtPlaS erfolgt seit 2019 durch das Bundesministerium für Bildung und Forschung (BMBF) aufgrund eines Beschlusses des Deutschen Bundestages mit dem Förderkennzeichen 02K18D115.
