Cognitive Systems in Virtual Reality - Modeling and Simulation

In der Veranstaltung werden Konzepte zur Modellierung von kognitiven Systemen und ihrem Verhalten in 3D virtueller Realität vorgestellt und implementiert.

In this lecture, concepts for modeling cognitive systems and behavior in 3D virtual reality are introduced and implemented.

• Einleitung (Bedeutung von Simulationssystemen. Was kann simuliert werden? Werkzeuge für die Simulation und Datenvisualisierung. Anwendungen.)
• Modellierung von kontinuierlichen Prozessen (gewöhnliche Differentialgleichungen, Verhalten von Differentialgleichungen, Anfangswertprobleme, Bilanzgleichungen, Fallstudien)
• Modellierung von diskreten Prozessen (Systeme, Entitäten, Attribute, Zustandsvariable, Ereignisse, Aktivitäten, Verzögerungen, Timing, verallgemeinerter Simulationsalgorithmus, Zufallsvariablen, Verifikation, Validierung)
• 3D-Form-Modellierung und Visualisierung von Daten (3D Primitive, Splines und Bézier-Oberflächen, Erkennung von sichtbaren Oberflächen, hierarchische Darstellung und Speicherung von 3D-Objekten, Visualisierung von Daten in 3D, 3D-Formbeschreibungen mit verfügbarer Software (3D Studio), Laden und Anzeigen von 3D-Modellen (OpenGL))
• Realistisches Szenen-Rendering (Lichtquellen- und Beleuchtungsmodelle, Reflexion, diffuse, Leuchtdichte, Ray Tracing, Polygon-Rendering-Methoden, Texturen, die Anwendung realistischer Effekte mit Progammierung (OpenGL))
• Benutzeroberflächen für virtuelle Realität (Eingabegeräte, Eingabe-Funktionen, Benutzeraktionen zum Zeichnen und Betrachten, Implementierung von 3D-GUI (OpenGL))
• Simulation von Bewegung unter Berücksichtigung physikalischer Kräften (Konzepte von Computer-Animationen, kraftfreie und kraftabhängige Bewegung, Modellierung physikalischer Kräfte, Kollisionserkennung, Bewegungssimulation mit verfügbarer Software (3D Studio), Programmiermethoden für die Bewegungssimulation (OpenGL und Physik Engine))
• Wahrnehmung und Handlung in der virtuellen Realität (Aktionen auf Komponenten- und Systemebene, virtuelle Kameras, Simulation von Abstandssensoren, virtuelle Schallquellen, simuliertes Sound Sensing)

• Introduction (importance of simulation systems. What can be simulated? Tools for simulation and data visualization. Applications)
• Modeling of continuous processes (ordinary differential equations, behaviors of ODEs, initial value problems, balance equations, case studies)
• Modeling of discrete processes (systems, entities, attributes, state variables, events, activities, delays, timing, general simulation algorithm, random variables, verification, validation)
• 3D shape modeling and data visualization (3D primitives, splines and Bézier surfaces, visible surface detection methods, hierarchical representation and storage of 3D objects, visualization of data in 3D, 3D shape editing using available software (3D Studio), loading and displaying 3D models using programming (OpenGL))
• Realistic scene rendering (light sources and illumination models, reflection, diffuse, luminance, ray tracing, polygon rendering methods, texture mapping, creating realistic scenes using available software (3D Studio), applying realistic effects using programming (OpenGL))
• User interfaces for virtual reality (input devices, input functions, user actions for drawing and viewing, implementation of 3D GUI (OpenGL))
• Simulating motion under physical forces (concepts of computer animations, force free and force constrained motion, modeling physical forces, collision detection, motion simulation using available software (3D Studio), programming methods for motion simulation (OpenGL and Physics Engine))
• Perception and action in virtual reality (component and system level actions, virtual cameras, simulation of distance sensors, virtual sound sources, simulated sound sensing)

Fachkompetenz / Domain competence:

Die Studierenden

• sind in der Lage, 3D-Objekte mit ihren physikalischen Eigenschaften zu entwerfen und ihr Verhalten in einer virtuellen Umgebung zu simulieren und
• können Computerwerkzeuge für die Simulation von Sensoren, Aktoren und Systemen einsetzen und die Ergebnisse bewerten.

The students

• are able to design and implement 3D objects with physical properties and simulate their behavior in a virtual environment and
• are able to use computer tools to simulate sensors, actuators and systems and evaluate the results.

• Die theoretischen und methodischen Grundlagen werden in der Vorlesung eingeführt.
• Die vorgestellten Methoden werden in der Übung / im Laborteil vertieft.
• Zum Abschluß werden die Teilnehmer ein einfaches Simulationsprojekt durchführen und präsentieren.
• Die erforderlichen Programmierkenntnisse werden während der Übungen vermittelt. Dies ist ausdrücklich kein Programmierkurs.

• The theoretical and methodical fundamentals will be introduced during the lecture.
• The methods presented will be practiced during the subsequent exercise / lab part.
• Finally, the participants will implement and present a simple simulation project.
• The necessary programming skills will be taught during the practical, this is explicitly not considered a programming course.

• Vorkenntnisse in C++ oder Java
• Kenntnisse in Mathematik und Physik auf Abiturniveau
• Kenntnisse im Umgang mit Computer-Grafik-Software und Anwendungen im 3D-Bereich sind von Vorteil

• Prior knowledge of programming in C++ or Java will be required
• Knowledge of mathematics and physics at the level of the university entrance qualification
• Acquaintance with computer graphics software and applications of 3D graphics will be an advantage

Keine / None

Mündliche Prüfung / oral exam

Englisch / English

Bereitstellung eines Skripts; Hinweise auf Lehrbücher aus der Lehrbuchsammlung werden noch bekannt gegeben.

Allocation of lecture notes; information on textbooks stocked in the textbook collection will be announced later.

• Edward Angel and Dave Shreiner: Interactive Computer Graphics. Addison Wesley, 2012
• Mark Kilgard. The Official Guide to Learning OpenGL (www. glprogramming.com /red). 2012
• Franclin, Foping: Tutorials on Open Scene Graph (www.openscenegraph.org/projects/osg/ wiki/Support/Tutorials). 2012
• Averill M. Law: Simulation modeling and analysis. McGraw-Hill. 2007.
• Tayfur Altiok and Benjamin Melamed: Simulation Modeling and Analysis with ARENA. Elsevier. 2007.
• Donald Hearn and M. Pauline Baker: Computer graphics with OpenGL. Prentice Hall. 2004.
• Zaheer Aziz: Lecture notes on modeling and simulation in virtual reality (downloadable) .