Spatial Augmented Reality in der industriellen Großgeräte- und Baustellenmontage: Entwicklung eines Assistenzsystems mit dynamischer In-situ-Projektion und nutzeradaptiver Gesteninteraktion

Abstract

Die industrielle Großgeräte- und Baustellenmontage ist aufgrund der großen Montageobjekte, der verschiedenen Bereitstellungsflächen und der geringen Losgrößen geprägt durch einen hohen manuellen Arbeitsanteil, einen geringen Automatisierungsgrad und den Bedarf an qualifizierten Mitarbeiter/innen. Der große Arbeitsraum dieser Montageform erfordert, über die Kenntnis der einzelnen Montagetätigkeiten hinausgehend, ebenso das Wissen über die Standorte der einzelnen Montageobjekte und Komponenten sowie die Information über deren definierte Montagepositionen. Demnach besteht der Bedarf an einem geeigneten Assistenzsystem zur Informationsbereitstellung, das klar strukturierte Arbeitsanweisungen über einen großen Arbeitsbereich anzeigt, den Menschen gezielt durch den Montageprozess führt und durch eine intuitive Interaktionsmöglichkeit gesteuert werden kann. Aktuelle Forschungen beschäftigen sich mit kognitiven Assistenzsystemen zur effektiven Informationsbereitstellung und zur Verbesserung der Mensch-Maschine-Interaktion, allen voran unter dem Einsatz von Spatial Augmented Reality, welche bereits in der Kleingerätemontage erhebliches Potenzial zeigt. Da in der Großgerätemontage aktuell noch kaum vergleichbare Assistenzsysteme eingesetzt werden und bestehende Konzepte sich auf Montagestationen mit kleinem Arbeitsbereich und statischen Projektoren beziehen, stellt die Entwicklung eines Spatial Augmented Reality Assistenzsystems mit dynamischer Projektion und nutzeradaptiver Steuerung speziell für die Anforderungen der Großgeräte- und Baustellenmontage den Kern der vorliegenden Forschungsarbeit dar. Dazu wurde ein aus der Veranstaltungstechnik etabliertes dynamisches Projektionssystem für die Anwendung in der industriellen Montage adaptiert, ein Spatial Augmented Reality Assistenzsystem in einem iterativen Designprozess entwickelt und mit Demonstratoren in der Pilotfabrik der TU Wien getestet. Dabei wurden verschiedene Designelemente der intuitiven und projektionsgerechten Informationsgestaltung, der dynamischen In-situ-Projektion und Informationsführung sowie der nutzeradaptiven Gesteninteraktion mittels Kamerasystemen und Deep Learning evaluiert. Die Usability, kognitive Arbeitsbelastung sowie Prozesseffizienz wurde anhand von Experimenten bewertet und der Mehrwert im Vergleich zu herkömmlichen Assistenzsystemen (PC-Terminal, Tablet) festgestellt. Durch die gezielte In-situ-Projektion von Arbeitsinformationen und dynamischer Führung mittels des Projektionssystems konnte eine erhebliche Verbesserung der Montage- und Lokalisierungszeit erreicht und gleichzeitig die kognitive Arbeitsbelastung verringert werden. Des Weiteren zeigte sich, dass der Einsatz des Spatial Augmented Reality Assistenzsystems eine gute Usability aufweist und auf verschiedenste Anwendungsfälle in der Großgeräte- und Baustellenmontage skalierbar ist. Die Arbeit präsentiert einen wissenschaftlichen und praxisrelevanten Beitrag zur Gestaltung eines Spatial Augmented Reality Assistenzsystems mit dynamischer In-situ-Projektion zur Informationsbereitstellung für die industrielle Großgeräte- und Baustellenmontage.

Industrial large-scale equipment and site assembly is characterized by a high degree of manual work, a low level of automation and the need for qualified employees due to the large assembly objects, the various supply areas and small batch sizes. The resulting large workspace requires, in addition to the knowledge of the individual assembly activities, also the information about the locations of the individual assembly objects and components as well as the specific assembly positions. Accordingly, there is a need for a suitableinformation assistance system that dynamically displays clearly structured work instructions over a large work area, guides humans through the assembly process and can be controlled through an intuitive interaction possibility.Current research is addressing cognitive assistance systems for the effective provision of information and the improvement of human-machine interaction, especially with the use of Spatial Augmented Reality, which already shows considerable potential in the assembly of small devices.Since comparable assistance systems are currently barely used in large-scale equipment assembly and existing concepts refer to assembly stations with a small workspace and static projectors, the development of a spatial augmented reality assistance system with dynamic projection and user-adaptive control, especially for the requirements of large-scale equipment and site assembly, represents the central core of the thesis.Therefore, a dynamic projection system established in entertainment technology was adapted for the application in industrial assembly, a Spatial Augmented Reality assistance system was developed in an iterative design process and tested with demonstrators in the pilot factory of the TU Wien. In the process, various elements of intuitive and projection-oriented information designs, dynamic in-situ projection and information guidance, as well as user-adaptive gesture interaction using camera systems and Deep Learning were evaluated. The usability, cognitive workload as well as process efficiency of the systems were evaluated by means of experiments and the added value compared to conventional systems (PC terminal, tablet) was determined. Through the targeted in-situ projection of work information and dynamic guidance by means of a projection system, a significant improvement in assembly and localization time of mounting positions was achieved, while at the same time reducing cognitive workload. Furthermore, it was shown that the application of the spatial augmented reality assistance system has a good usability and is scalable to various use cases in the assembly of large-scale equipment and site assembly.The work presents a scientific as well as practical contribution to the design of a Spatial Augmented Reality assistance system with dynamic in-situ projection for information provision for industrial large-scale equipment and site assembly.