virtuelles Abschlusstreffen des InnoTeam

10. Dezember 2020

Nach 2,5 Jahren intensiver Forschung zum Thema Presence und der Entwicklung und Evaluierung drei verschiedener Demonstratoren, stand das virtuelle Abschlusstreffen des InnoTeam Presence am 10.12.2020 an. Trotz der rein virtuellen Präsentation der Projektergebnisse und Demonstratoren, erhielten alle Projektpartner und Interessenten einen umfangreichen Einblick in die finalen Entwicklungsergebnisse und Evaluationen. Insgesamt ist es dem Projektteam trotz der Einschränkungen im Jahr 2020 gelungen drei Virtual- bzw. Augmented Reality basierte Demonstratoren zu entwickeln, mit denen grundlegende Untersuchungen zum Presence-Empfinden, der User Experience und der Akzeptanz dieser Technologien durchgeführt werden konnten. Die Projektergebnisse fließen sowohl in weiterführende Projekte und Entwicklungen als auch in die Erstellung des Methodenkataloges ein.

Jetzt wird geradelt!

November – Dezember 2020

Im November und Dezember 2020 erfolgte der wohl sportlichste Teil der Arbeiten des InnoTeam Presence: Die Evaluationen des Fahrraddemonstrators für Use Case 3. Entgegen der ursprünglichen Planung einen Demonstrator für ausschließlich projektive Virtual Reality Systeme zu entwickeln, entschied sich das Projektteam für die parallele Entwicklung eines Szenarios für die 5-Seiten CAVE und eines Szenarios für ein Head-Mounted-Display. Diese Maßnahmen ermöglichen nicht nur den Vergleich der beiden Systeme hinsichtlich Presence und Akzeptanz, sondern erhöhen auch die Präsentationsvielfalt des Demonstrators für Messen und Konferenzen. Der entwickelte multimodale Fahrradsimulator, spricht neben dem visuellen Wahrnehmungskanal, zudem sowohl die akustische Wahrnehmung als auch den haptischen Sinn auf verschiedene Arten an. Die reale Interaktion mit einem Fahrradtrainer ermöglich eine 1:1 Übertragung der Interaktionsmethode von der Realität in die Virtualität und kann aufgrund seiner Ortsungebundenheit, sowohl mit einem Head-Mounted-Display, als auch mit projektiven Systemen wie bspw. einer CAVE gekoppelt werden. Um die reale Tritt- und Lenkbewegung des Fahrrades in das virtuelle Szenario einzubinden, wurde das Fahrrad mit einem Rollentrainer und einer drehbaren Vorderradstütze kombiniert. Tritt der Nutzer in die Pedale, wird die Bewegung am Rollentrainer mittels Funkübertragung (ANT bzw. ANT+ Protokoll) an das dazu gehörige Unity-Szenario gesendet, in welchem die Translationsgeschwindigkeit im virtuellen Szenario errechnet wird. Diese Geschwindigkeit ist zudem von der Steigung innerhalb der Fahrradstrecke abhängig, die sich direkt durch die Zustellung des Widerstandes des Rollentrainers wiederspiegelt. Zur Übertragung der realen Lenkbewegung wurde ein Vive-Tracker genutzt, welcher die Drehung der Vorderachse an das virtuelle Szenario überträgt. Um die virtuelle Fahrradtour auf dem Campus der Technischen Universität Chemnitz, noch realer zu gestalten, wurden verschiedene Soundfiles in das virtuelle Szenario importiert und initial entsprechend der beabsichtigten räumlichen Wirkung bezüglich ihrer akustischen Eigenschaften konfiguriert. So entstand ein realitätsnahes akustisches Erleben eines typischen Campustages. Zur Einbindung der haptischen Wahrnehmung dient zum einen die direkte Interaktion mit dem realen Fahrrad und zum anderen die passive Wahrnehmung mechanischer Reize – taktile Wahrnehmung – durch die Implementierung einer Windsimulation. Durch Kopplung des Fahrradsystems mit einem intelligenten Ventilator, welcher direkt mit der Trittgeschwindigkeit gekoppelt ist, kann der Nutzer sowohl leichtes taktiles Feedback, als auch Windgeschwindigkeiten bis 48 km/h erfahren. Die am Jahresende durchgeführten Evaluationen des Demonstrators zeigen eine deutliche Presence-Steigerung durch die Interaktion mit dem Fahrrad, als auch eine höhere subjektiv empfundene Presence durch die Einbindung von haptischem und akustischem Feedback. Zudem führt die Multimodalität des Szenarios zur Verringerung der negativen Effekte wie Kopfschmerzen und Übelkeit.


arrow_forwardPressemitteilung der TU Chemnitz

Reale und virtuelle Objekte

September – Oktober 2020

Die Interaktion in virtuellen Szenarien ist ein breit diskutiertes Forschungsgebiet. In jüngster Zeit steht besonders die Frage im Fokus, ob Interaktion mit virtuellen Objekten möglichst realistisch nachempfunden sein sollte oder ob der Einsatz „magischer“ Interaktionsmöglichkeiten, die es uns erlauben, die virtuelle Welt anders zu erkunden, als es in der Realität möglich wäre, noch mehr Potentiale freisetzen. Um dieser Thematik nachzugehen, implementierte das Konsortium virtuelle Gegenstände, in das Montageszenario von Use Case 2, welche mit passenden realen Gegenstücken synchronisiert und somit während der Interaktion in der VR haptisch erlebbar wurden. Durch diese Methodik erhält der Nutzer nicht nur ein haptisches Feedback beim Berühren des Modells, sondern erfährt zudem weitere Reize, wie die Masse des Gegenstands. Die Interaktion mit den virtuellen Objekten erfolgt dabei nicht mit einem klassischen VR-Controller. Stattdessen wurden über das Handtracking SDK der HTC VIVE Pro die Hände und Finger des Benutzers erfasst, sodass er mit diesen intuitiv die virtuellen Objekte greifen kann. Erst durch den Verzicht auf Controller ist es dem Nutzer zudem möglich, durch entsprechende Trackinghardware 1:1, mit der VR-Umgebung verbundene, reale Gegenstände zu greifen. Da sich jedoch nur Gegenstände zur realen Interaktion eignen, welche groß genug sind, um die Hardware zum Tracking darauf anbringen zu können, ohne die haptischen Eigenschaften zu beeinträchtigen, wurden drei entsprechende Objekte zur Haptikunterstützung ausgewählt: das Fahrgestell des Spielzeugautos als 3D-Druckobjekt, der Akkuschrauber und der große Ein/Ausschaltknopf der Standbohrmaschine. Das Tracking der Objekte erfolgt für das Fahrgestell und den Akkuschrauber mit Hilfe der für solche Zwecke vorgesehenen HTC VIVE Tracker und für den Tisch mittels eines am Tisch befestigten VR-Controllers. Der Benutzer kann somit die Montage im virtuellen Szenario durchführen und gleichzeitig reale Komponenten des Szenarios erfassen und diese auf dem höhenverstellbaren Montagetisch ablegen.



virtuelles Projekttreffen

11 Mai 2020

Bedingt durch die COVID-19 Pandemie konnte sich das Projektkonsortium ab März 2020 nur noch bedingt bzw. gar nicht in Präsenz treffen, sodass weitestgehend virtuelle Projektabsprachen und Projekttreffen (wie man 11.Mai 2020) durchgeführt wurden. Trotz der veränderten Bedingungen schritten die Arbeiten des InnoTeams planmäßig voran, auch wenn teilweise Umplanungen in den Use Cases vorgenommen wurden. So wurde Use Case 1 an die aktuelle Situation angepasst, indem das Szenario nicht mehr auf die reale Maschinenhalle konzipiert wurde, sondern anhand einer Modellfabrik seine Funktionalitäten präsentiert. Diese Umplanung ermöglich es nicht nur unabhängig von den aktuellen Beschränkungen bezüglich des realen Hallenzugangs zu entwickeln, sondern erhöhte auch die Flexibilität der Entwicklung zwischen den Projektpartnern durch Übergabe der mobilen Modellfabrik.



PStudien unter COVID-19

31 März 2020

Neben der Verlegung von Projekttreffen auf virtuelle Ebenen, wurde die Evaluationsphase des InnoTeams durch die COVID-19 Pandemie am stärksten betroffen. Kontingentbeschränkungen an den Universitäten, verschärfte Hygieneauflagen und weniger verfügbare Versuchsteilnehmer erschwerten die Durchführung von Evaluationen der Teilentwicklungen. Dennoch gelang es dem Projektteam durch gesonderte Hygieneregeln, viel Vorbereitung und strenger Versuchsplanung Evaluationen unter COVID-19 Bedingungen durchzuführen. Um sowohl Versuchsteilnehmer als auch Versuchsleiter einem minimalen Infektionsrisiko auszusetzen, griff das Projektteam auf die Evaluation mittels Experten zurück, wodurch die Anzahl an Versuchsteilnehmern und damit Infektionsrisiken deutlich reduziert wurden.



Der Einfluss von Material und Schatten

Februar 2020

Anknüpfend an die Avatarstudie wurde eine weitere Studie durchgeführt, welche sich mit der Frage „wie viel Detaillierung in einem virtuellen Szenario ist für eine hohe Presence notwendig? “, beschäftigt. Hierzu wurde eine Studie konzipiert, welche sowohl die Farb- als auch Schattengestaltung im virtuellen Montageszenario aus Use Case 2 thematisiert. Drei Varianten des Montageszenarios – richtige Schatten, keine Schatten, falsche Schatten – wurden innerhalb einer within-subject Studie hinsichtlich ihrer Presence Wirkung miteinander verglichen. Zudem erfolgte eine farbliche Reduzierung des Szenarios, indem die Objekte in einer typischen CAD-Farbgebung dargestellt wurden. Die Presence-Werte der CAD-Optik wurden anschließend mit den Presence Werten der Original-Optik verglichen, um Rückschlüsse auf die Bedeutung der Farbgebung in virtuellen Montageszenarien ziehen zu können.

Update: Die Ergebnisse dieser Erhebung wurden auf der IEEE VR 2021 erfolgreich eingereicht und werden auf der Konferenz vom 27.März bis 03.April präsentiert.



Avatardarstellung bei Montageaufgaben

27. bis 29. Februar 2020

Die Erstellung eines virtuellen Szenarios ist oftmals ein sehr zeitaufwändiger Prozess, der besonders durch die optische Ausgestaltung und der Darstellung des eigenen Avatars bzw. der Visualisierung der Interaktionspartner beeinflusst wird. Bezüglich der Wirkung einer aufwendigen, realitätsnahen Modellierung auf die vom Nutzer empfundene Presence liefern bisherige wissenschaftliche Befunde nach wie vor keine eindeutige Aussage. Um zu untersuchen, ob die Darstellung des eigenen Avatars innerhalb des Montageszenarios in Use Case 2 einen wesentlichen Einfluss auf das Presence-Empfinden hat, führte das InnoTeam eine within-subject Studie durch, in der drei verschiedene Avatardarstellung miteinander, hinsichtlich des Gesamtpresenceempfindens verglichen wurden. Die Ergebnisse dieser Erhebung wurden in der Veröffentlichung „Impact of first person avatar representation in assembly simulations on perceived presence and acceptance“ auf der Konferenz GRAPP 2020 (15th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications) erfolgreich eingereicht. Die Studie und deren Ergebnisse wurden am 27.−29.02.2020 in Valletta präsentiert.


arrow_forwardVeröffentlichung



InnoTeam Presence auf der VAR² 2019

04. bis 05. Dezember 2019

Neben der Veröffentlichung von Projektergebnissen auf internationalen Konferenzen, ist es dem Konsortium ebenso ein besonderes Anliegen das InnoTeam Presence und dessen Projektergebnisse auch der „heimischen“ VR/AR-Community zu präsentierten. Hierzu wurden die Projektinhalte und Hintergründe, sowie erste Ergebnisse auf der VAR² 2019 Konferenz im Dezember 2019 in Chemnitz vorgestellt.

arrow_forwardVeröffentlichung



Projekttreffen in Zwickau

22 Oktober 2019

Am 22.Oktober 2019 trafen sich die Projektpartner zum Projekttreffen bei der Sikom Software GmbH in Zwickau. Zu diesem Projekttreffen wurde die weitere Vorgehensweise bezüglich der akustischen Ausgestaltung der Szenarien besprochen, sowie die im August 2019 durchgeführten Soundtests in der 5-Seiten CAVE ausgewertet und wesentliche Fortschritte bezüglich der Gestaltung von Use Case 1 vorgestellt. Gemeinsam erarbeiteten die Projektpartner neben der Menüstruktur der AR-Anwendung für Use Case 1, vor allem wesentliche Funktionen in Hinblick auf die verschiedenen Interaktionsformen, die im Szenario zur Verfügung stehen sollen. Des Weiteren wurde der Ausstieg der Sikom Software GmbH aus dem Projekt diskutiert. Aufgrund firmeninterner Umstrukturierungen musste die Sikom Software GmbH zum 01.November 2019 das InnoTeam Presence Konsortium verlassen. Aufgrund der weit voran geschrittenen Arbeitspakete der Sikom Software GmbH konnten jedoch die übrigen Arbeitsaufgaben von den Projektpartnern übernommen werden.


Do I look at what I'm saying?

02.10. - 04.10.2019

Um die Entwicklung der Interaktionstechniken und deren Kombination im AR-Szenario für Use Case 1 weiter zu konzipieren und umzusetzen, wurde im Konsortium die Frage diskutiert, inwiefern Blickbewegungen die Auswertung uneindeutiger Sprachbefehle unterstützen könnten. Konkret stellte sich das InnoTeam die Frage, ob der Nutzer das Objekt, welches er mittels Sprache auswählen möchte, auch gleichzeitig mit den Augen fokussiert. Hierzu untersuchte das InnoTeam im Mai 2019 das Blickverhalten von Probanden, wenn sie sprachlich ein Objekt auswählen mussten und diese Eingabe vom System nicht verstanden wurde. Die Probanden wurden instruiert eines von 3 bis 6 Objekten, die auf dem Bildschirm präsentiert wurden, sprachlich auszuwählen, während ein EyeFollower die Blickbewegungen auf dem Bildschirm aufzeichnete. Die Ergebnisse dieser Evaluation wurden in der Veröffentlichung „Do I look at what I'm saying?“ auf der Konferenz The Human Factors and Ergonomics Society in Nantes im Oktober 2019 vorgestellt.

arrow_forwardVeröffentlichung

Workshop

28 bis 29 August 2019

Um konkret an den Funktionsdemonstratoren für Use Case 1 und 3 arbeiten zu können, trafen sich die beteiligten Mitglieder des InnoTeams am 28. und 29. August 2019 erneut in Chemnitz. Am 28. August arbeiteten die Mitglieder intensiv an den konkreten Umsetzungen innerhalb von Use Case 1 und definierten die notwenigen virtuellen Modelle und Aktionen. Diese Festlegungen wurden am 29.August in der gewählten Maschinenhalle an der TU Chemnitz nochmals vor Ort überprüft. Zudem führte die TU Chemnitz einen Unity Workshop durch, um die bevorstehenden Programmierarbeiten für alle Projektpartner zu erleichtern. Am Nachmittag erfolgten dann Soundtest in der 5-Seiten CAVE mit der TU Dresden um die Geräuschpegel des Fahrrades und des Windsimulationssystems zu erheben. Zudem wurde der Fahrraddemonstrator vermessen, um die Soundquellen noch präziser gestalten zu können.

Workshop

15 August 2019

Am 15. August veranstaltete die Professur für Werkzeugmaschinenkonstruktion und Umformtechnik einen Workshop zur neusten VR/AR-Technik mit dem Youtuber Sebastian Ang (MRTV- Mixed Reality TV). Dieser Workshop ermöglichte es den InnoTeam Presence Mitgliedern die aktuellste VR/AR-Hardware zu testen und die Vor- und Nachteile der Systeme live zu erleben. Hierzu stellte Sebastian Ang sein Equipment zur Verfügung und teilte seine Erfahrungen mit den Teilnehmern. Dieser Workshop bot den Mitgliedern die einmalige Gelegenheit verschiedene VR/AR-Hardware zu testen und deren Einfluss auf das Presence-Empfinden sowie ergonomische Aspekte zu bewerten.

Projekttreffen & Workshop Use Case 1

29 Juni 2019

Knapp 1 Jahr nach Start des InnoTeam Presence Projektes traf sich das Konsortium erneut in Dresden, diesmal an der Technischen Universität. Neben der Besprechung allgemeiner Probleme und Aufgaben, wurde nochmals detailliert an Use Case 1 gearbeitet. Zudem durften die Mitglieder die Labore der Professur für Haptik und Akustik kennen lernen, in denen ihnen die Möglichkeiten der Untersuchung im Bereich der Akustik erläutert wurden.

Workshop Use Case 2 & 3

29 März 2019

Aufgrund des Erfolges des Workshops für Use Case 1 führen die an Use Case 2 & 3 beteiligten Mitglieder einen Workshop zu den anderen beiden Use Cases in Chemnitz durch. Dabei wurde der Einsatz der Haptikbänder definiert und die Inhalte von Use Case 3 spezifiziert.



Workshop Use Case 1

21 Februar 2019

Am 21.02.2019 führte das InnoTeam Presence einen Technikworkshop speziell zu Use Case 1 durch. Hierfür trafen sich die an Use Case 1 beteiligten Kernmitglieder in Dresden bei Interactive Minds. Innerhalb des Workshops erarbeitet das InnoTeam detailliert die Arbeitsschritte des Planers, welche bei der Überprüfung des Hallenlayouts vorgenommen werden. Zudem interagierten die Mitglieder mit dem Spracherkennungssystem von SIKOM, verschiedenen Augmented Reality Anwendungen und einem Eyetracking System als Interaktionswerkzeug und diskutieren deren Eignung für Use Case 1.

Projekttreffen

13 Dezember 2018

Nach einem knappen halben Jahr Projektlaufzeit trafen sich die InnoTeam Mitglieder erneut in Chemnitz, diesmal jedoch an der Professur Arbeitswissenschaft und Innovationsmanagement im Haus METEOR. Das Ziel dieses Treffens war die Vorstellung der bisherigen Ergebnisse und die Konkretisierung der Use Cases und Personas. Hierzu wurden Demonstratoren zu möglichen Kopplungslösungen der späteren Einzelentwicklungen sowie Interaktionstechniken vorgestellt und in kleineren Expertenrunden über Presenceerhebungsmethoden und die Storysboards der Use Cases gesprochen. Die Veranstaltung wurde durch die Besichtigung des VRCP abgerundet.

Kick-Off

24. Juli 2018

Im Rahmen des Kickoff-Meetings am 24.07.2018 fiel der Startschuss für die Arbeiten des InnoTeam Presence. Dazu trafen sich die Projektpartner und Beteiligten im eniPROD-Gebäude an der Technischen Universität Chemnitz und legten die Bearbeitungsschritte für den ersten Bearbeitungszeitraum fest. Nach einer Begrüßung sowie Vorstellung der Professur für Werkzeugmaschinenkonstruktion und Umformtechnik durch Frau Franziska Klimant, lernten sich die Kernteammitarbeiter kennen und besprachen allgemeine sowie spezifische Aufgaben der Mitglieder.