Võ - Scene Grammar Lab
Das Scene Grammar Lab untersucht zahlreiche Facetten der visuellen Kognition, mit einem starken Fokus auf visuelle Aufmerksamkeit, Wahrnehmung und Gedächtnis im Kontext der Szenenwahrnehmung. Folglich umfassen die primären Forschungsbereiche des Labors die top-down Steuerung während der Szenensuche, die neuronale Repräsentation und Evolution des Szenenwissens sowie das Zusammenspiel von Handlung und Wahrnehmung in realen Situationen. Wir verwenden vielfältige Methoden in unserer Forschung, einschließlich Psychophysik, blickgesteuertes und reales Eye Tracking sowohl in 2D als auch in 3D, Pupillometrie, VR und EEG-Aufzeichnungen.
Szenen-Semantik und Syntax
Unsere visuelle Welt ist komplex und folgt typischerweise strengen Regeln, die als „Grammatik“ einer Szene oder Szenen-Semantik und -Syntax bekannt sind, die bei der Objekterkennung und Szenennavigation helfen. Steht diese „Szenen-Grammatik“ in Beziehung zur linguistischen Grammatik? Wie beeinflussen Verstöße bei der Objektplatzierung das Sehen? Können wir Objekt-Szenen-Inkonsistenzen peripher wahrnehmen? Wie beeinflussen diese die Augenbewegung vor und während der Fixation? Wir haben begonnen zu testen, ob das Gehirn Szenen-Syntax und -Semantik ähnlich wie linguistische Syntax und Semantik kodiert. Die Sprachverarbeitung zeigt, dass semantische und syntaktische Hinweise unterschiedliche Gehirnreaktionen hervorrufen: N400 zeigt semantische Verstöße an, während P600 inkonsistente Syntax signalisiert. Mit ereignisbezogenen Gehirnpotentialen (ERPs) fanden wir eine Dissociation in semantischen und syntaktischen Signalen: Semantische Inkonsistenzen verursachten negative Abweichungen im N300/N400-Fenster, während syntaktische Inkonsistenzen eine späte Positivität auslösten, ähnlich der P600, die bei Syntaxmanipulationen beobachtet wurde (Võ & Wolfe, 2013). Seitdem haben wir die N400-Hirnreaktion in verschiedenen Paradigmen und Altersgruppen als Indikator für die semantische Verarbeitung von Objekten und Szenen verwendet (vgl. die gesammelten Werke unseres ehemaligen Doktoranden Tim Lauer sowie Studien von Dejan Draschkow und Laura Maffongelli)..
Schnelles Verständnis von Szenen
Globale und lokale Szenenmerkmale sowie vorheriges Wissen über wahrscheinliche Objektstandorte helfen uns, unsere Suche während der Szenenbetrachtung schnell einzugrenzen. Welche anfänglichen Informationen leiten unsere Suche und wie sieht der Zeitrahmen für diese Szenenverarbeitung aus? Ich habe verschiedene experimentelle Methoden genutzt, um die „Szenenführung“ zu untersuchen. Ein Ansatz, das „Flash-Preview-Moving-Window“-Paradigma (Castelhano & Henderson, 2007; Võ & Henderson, 2010, 2011), kombiniert kurze Szenen-Vorschauen mit einem blickabhängigen beweglichen Fenster. Eine maskierte Szenen-Vorschau wird schnell gezeigt, gefolgt von einem Zielwort, und wenn die Szene wieder erscheint, wird sie durch ein kleines bewegliches Fenster betrachtet. Dies ermöglicht die Manipulation der Vorschauinformationen. Die Anpassung des Vorschauinhalts und der Dauer zeigt, dass selbst eine unvollständige Vorschau die Suche unterstützen kann, abhängig von der individuellen Verarbeitungsgeschwindigkeit (Võ & Schneider, 2010). Ein bloßer 50 ms Blick auf eine Szene kann die Suche leiten, solange genügend Zeit bleibt, um vorheriges Wissen mit visuellen Eingaben zu kombinieren (Võ & Henderson, 2010).
Szenenbezogene Interaktionen zwischen Aufmerksamkeit und Gedächtnis
Wenn wir Szenen wahrnehmen und mit ihnen interagieren, wird unsere Aufmerksamkeit stark durch das Gedächtnis geleitet. Semantisches Gedächtnis in Form von Wissen über die Bedeutung und Struktur unserer Umgebung ermöglicht es uns, neue Umgebungen relativ leicht zu navigieren und zu verstehen (Draschkow & Võ, 2017; Võ & Wolfe, 2013). Durch die Manipulation von Szenen auf verschiedene Weise können wir frühere Erwartungen untergraben, um die zugrunde liegenden Leitmechanismen der Aufmerksamkeit zu verstehen. Insbesondere haben wir gezeigt, dass einige Objekte – die wir Anker nennen – einen besonders starken prädiktiven Wert haben, der unsere Aufmerksamkeit auf wahrscheinliche Standorte anderer Objekte lenkt. Die Effizienz unserer Augen- und Körperbewegungen beruht auf dieser Führung (Boettcher et al., 2018; Helbing et al., 2022). Die Beziehung zwischen Gedächtnis und Aufmerksamkeit ist jedoch keine Einbahnstraße: Neue episodische Gedächtnisrepräsentationen werden ständig als Nebenprodukt natürlichen Verhaltens geschaffen und sind von hoher Verhaltensrelevanz. Tatsächlich kann die Suche nach einem Objekt sogar zu einer stärkeren Gedächtnisrepräsentation dieses Objekts führen als das absichtliche Einprägen – solange der Suchprozess im Kontext einer realen Szene stattfindet (Suchüberlegenheitseffekt; Draschkow et al., 2014; Helbing et al., 2020). In unserem Labor untersuchen wir diese szenenbezogenen Interaktionen zwischen Langzeitgedächtnis und Aufmerksamkeitslenkung, um ein umfassendes Bild der kognitiven Determinanten erfolgreichen adaptiven Verhaltens zu erhalten. Unser Verständnis der neuronalen Grundlagen sowohl der gedächtnisgesteuerten Aufmerksamkeit als auch der auf Aufmerksamkeit basierenden Gedächtnisbildung voranzutreiben, wird entscheidend für dieses Vorhaben sein.
Verwandte Veröffentlichungen
- Boettcher, S. E. P., Draschkow, D., Dienhart, E., & Võ, M. L.-H. (2018). Anchoring visual search in scenes: Assessing the role of anchor objects on eye movements during visual search. Journal of Vision, 18(13), Article 11. https://doi.org/10.1167/18.13.11 PDF
- Draschkow, D., Võ, M. L.-H. (2017). Scene grammar shapes the way we interact with objects, strengthens memories, and speeds search. Scientific Reports, 7(1), Article 16471. https://doi.org/10.1038/s41598-017-16739-x PDF
- Draschkow, D., Wolfe, J. M., & Võ, M. L.-H. (2014). Seek and you shall remember: Scene semantics interact with visual search to build better memories. Journal of Vision, 14(8), Article 10. https://doi.org/10.1167/14.8.10 PDF
- Helbing, J., Draschkow, D., & Võ, M. L.-H. (2020). Search superiority: Goal-directed attentional allocation creates more reliable incidental identity and location memory than explicit encoding in naturalistic virtual environments. Cognition, 196, Article 104147. https://doi.org/10.1016/j.cognition.2019.104147 PDF
- Helbing, J., Draschkow, D., & Võ, M. L.-H. (2022). Auxiliary scene-context information provided by anchor objects guides attention and locomotion in natural search behavior. Psychological Science, 33(9), 1463–1476. https://doi.org/10.1177/09567976221091838 PDF
- Võ, M. L.-H., & Wolfe, J. M. (2013). The interplay of episodic and semantic memory in guiding repeated search in scenes. Cognition, 126(2), 198–212. https://doi.org/10.1016/j.cognition.2012.09.017 PDF
Laborseite: Scene Grammar Lab
Schütz-Bosbach - Body Social Cognition & Action Lab
Wir leiten das Body Social Cognition and Action Lab. Unsere Forschung konzentriert sich auf die Beziehungen zwischen menschlicher Sensation, Kognition und Handlung sowohl innerhalb des Individuums als auch in sozialen Kontexten. Insbesondere zielen wir darauf ab, Fragen zur neuro-kognitiven Basis einer verkörperten Selbstrepräsentation zu adressieren, die manchmal als "körperliches Selbst" bezeichnet wird und aus sensorischen und motorischen Signalen entsteht, die nahezu jeder körperlichen Aktivität begleiten. Unsere Hauptinterpretation des körperlichen Selbst erfolgt in Bezug auf ein Gefühl von Handlungsmacht (die Erfahrung, freiwillig zu handeln und die Kontrolle über die Konsequenzen zu haben) und ein Gefühl von Eigentum (das Gefühl, selbst das Subjekt der Erfahrung zu sein). Darüber hinaus gehen wir davon aus, dass die körperliche Selbstrepräsentation besonders durch Interaktionen mit anderen Menschen, die uns umgeben, beeinflusst wird, beispielsweise durch einen Spiegelmechanismus. Methodologisch verwenden wir Techniken aus der experimentellen Psychologie (z. B. Reaktionszeiten, Schwellenwerte) und der Neurophysiologie, wie EEG, fMRI und TMS.
Interozeptive Inferenz
Die Idee des prädiktiven Codierens, nämlich dass Wahrnehmung die Kombination aus sensorischem Feedback und vorherigen Vorhersagen sensorischer Ergebnisse ist, wurde erst kürzlich auf die Interozeption angewendet. Neuere theoretische Modelle haben jedoch prädiktives Codieren auf Handlung und interozeptive Zustände angewendet. Wir sind derzeit damit beschäftigt, die Modellannahmen empirisch zu testen, um festzustellen, ob sie eine genaue Erklärung für die Konstruktion des inneren Bewusstseins bieten.
Sinn für Handlungsmacht und kognitive Kontrolle
Der Sinn für Handlungsmacht ist das Gefühl, die Kontrolle über die eigenen Handlungen zu haben. Es ist ein subtiler Eindruck, über den wir nicht sehr oft bewusst nachdenken. Dennoch könnte er von großer Bedeutung sein, um auf selbstbestimmte Weise mit der Welt in Kontakt zu treten. Zum Beispiel sind Menschen mit psychischen Störungen wie Schizophrenie nicht immer in der Lage zu erkennen, ob ihre Handlungen selbstkontrolliert sind. Wir untersuchen, welche Faktoren unseren Sinn für Handlungsmacht bestimmen könnten und wie er objektiv bewertet werden kann.
Geyer - MEMVIS Lab (MEMory in VIsual Search)
Wir verwenden visuelle Suche, ein zentrales und etabliertes Paradigma in den kognitiven Neurowissenschaften. Um dies zu veranschaulichen: in Suchparadigmen werden ökologische Situationen (z. B. das Finden eines zielrelevanten Objekts in einer überladenen, ressourcenlimitierten Umgebung, wie einer essbaren Beere unter ungenießbaren Blättern oder giftigen Beeren) im Labor nachgebildet, indem auf einem Computerbildschirm eine Reihe von Stimuli präsentiert wird, wobei ein Stimulus der „Zielreiz“ und die anderen „Nicht-Zielreize“ bzw. Ablenkungs-Elemente sind. Die Menge der möglichen Aktionen ist normalerweise auf das Drücken eines von mehreren alternativen Antworttasten beschränkt (z. B. um die Anwesenheit des Zielreizes anzuzeigen). Elemente, die sich in einem bestimmten Merkmal (bottom-up Stimulus-Salienz) von den umgebenden Elementen unterscheiden oder von unseren (gesunden) Probanden erwartet werden (top-down Lenkung), ziehen die Aufmerksamkeit an. Wichtig ist, dass die Suchleistung nicht „ahistorisch“ ist; vielmehr haben perzeptuelle, kognitive und motorische Ereignisse in der unmittelbaren Vergangenheit einen modulierenden Effekt auf die Leistung im aktuellen Suchdurchgang. Wir haben Beweise dafür, dass Information über die relationale Position des Ziels in einer wiederholten sensorischen Anordnung von Ablenkungselementen akkumuliert werden (sog. contextual-cueing Effekt) und anschließend die Such-Reaktionszeiten sowie Fixations- und Kopfbewegungsmuster beschleunigen, begleitet von einer Reihe von (bei wiederholten Anordnungen verstärkten) lateralisierten EEG-Signalen und fMRI sub-/kortikalen Netzwerken, einschließlich des Hippocampus, sowie dorsalen frontoparietalen und sensorischen Schaltkreisen.
In unserem Labor untersuchen wir, wie statistisches Lernen die visuelle Suche beeinflusst innerhalb einer verhaltensbezogenen, neuronalen und computationalen Perspektive. Wir verwenden Verhaltensmanipulationen und verfolgen deren Auswirkungen durch eine gesamte Reihe von Datenaufzeichnungs- und Visualisierungstechniken, die von z.B. Psychophysik über Augen- und Kopftracking bis hin zu peripheren physiologischen Aufzeichnungen und bildgebenden Verfahren des Gehirns – wie EEG und fMRI oder kombiniertes EEG-fMRI – reichen. Wir nutzen auch immersive virtuelle Realität (VR), um großflächige visuelle Suchumgebungen zu schaffen, die verschiedene (Augen-/Kopf-)Orientierungssysteme aktivieren, um statistisches Lernen unter ökologisch validen Suchbedingungen zu untersuchen. Darüber hinaus verwenden wir mathematische Modelle, um zu simulieren, wie sich Probanden Wissen über Regelmäßigkeiten der sensorischen Umwelt aneignen, um schnelle und effiziente Suchentscheidungen zu treffen. Ein weiterer Aspekt unserer Arbeit bezieht sich auf motivationalen Faktoren und wie diese lernbezogene Erwartungen formen. In den letzten Jahren haben wir begonnen, die Mechanismen erfahrungsbasierter multisensorischer, d.h. visueller, taktiler und auditiver Aufmerksamkeit zu untersuchen.
Team: Thomas Geyer, Artyom Zinchenko, Chengyu Fan, Daniel Weinert, Ananya Mandal, Werner Seitz
Shi - MSense Lab
Das MSense-Lab erforscht, wie das Gehirn Informationen aus verschiedenen sensorischen Eingaben, wie Berührung und Sehen, synthetisiert. Wir konzentrieren uns hauptsächlich auf die Auswirkungen multisensorischer Kontexte auf unsere Suchleistung und darauf, wie wir lernen, probabilistische Kontexte zu nutzen, um Ablenkungen zu reduzieren. Darüber hinaus untersuchen wir, wie verschiedene Arten von Kontext unsere Wahrnehmung von Zeit beeinflussen (siehe unsere Forschungsthemen und Publikationen für weitere Details). Um diese Fragen zu beantworten, verwenden wir eine Reihe von Methoden, einschließlich Verhaltensexperimenten, Gehirnbildgebung und computergestützter Modellierung.
Statistisches Lernen und Unterdrückung
Statistisches Lernen ermöglicht es Individuen, Umweltregularitäten implizit zu erkennen und zu nutzen, wie zum Beispiel das häufige Auftreten von Ablenkungen an bestimmten Orten während visueller Suchaufgaben. Diese Fähigkeit erlaubt es dem kognitiven System, potenzielle Ablenkungen vorherzusehen und zu unterdrücken, wodurch die Sucheffizienz erhöht wird. Jüngste Forschungen haben darüber debattiert, ob eine solche erlernte Unterdrückung proaktiv (vor dem Auftreten der Ablenkung), reaktiv (nach der Erkennung der Ablenkung) oder lediglich ein Gewöhnungseffekt ist. Unsere Forschung konzentriert sich darauf, diese Mechanismen in verschiedenen Szenarien zu unterscheiden, um die Dynamik der Aufmerksamkeitskontrolle besser zu verstehen.
Bayesian Inferenz in Wahrnehmung und Handlung
Die menschliche Wahrnehmung und Handlung werden von der Fähigkeit des Gehirns beeinflusst, sensorische Informationen im Kontext früherer Erfahrungen und umweltbedingter Regelmäßigkeiten zu interpretieren. Zwei bemerkenswerte Phänomene, die dies veranschaulichen, sind der zentrale Tendenzeffekt und die serielle Abhängigkeit, die beide durch die Linse der Bayesianischen Inferenz verstanden werden können. Unsere Forschung zu diesen Phänomenen durch Bayesianische Inferenz zielt darauf ab, Einblicke zu geben, wie das Gehirn frühere Erfahrungen mit sensorischen Beweisen integriert, um Wahrnehmung und Handlung zu steuern. Das Verständnis dieser Mechanismen erhellt nicht nur grundlegende kognitive Prozesse, sondern informiert auch die Entwicklung von Modellen, die das perceptuelle Verhalten in unsicheren Umgebungen vorhersagen.
Laborseite: MSense Lab
Soutschek - Motivierte Kognition und Entscheidungsfindung Labor
Von welcher Mahlzeit wir zum Mittagessen wählen bis hin zur Entscheidung, wie viel Aufwand wir für unsere Ziele investieren, erfordert unser tägliches Leben ständig, zwischen verschiedenen Handlungsoptionen zu entscheiden. Unsere Forschungsgruppe untersucht die psychologischen, neuronalen und rechnerischen Grundlagen von wertbasierten Entscheidungen in gesunden und klinischen Populationen. Ich interessiere mich besonders für die neuronalen Grundlagen der Impulskontrolle, Metakognition, Mentalisierung und mentalen Anstrengung sowie dafür, wie sie Entscheidungsprozesse beeinflussen. Zu diesem Zweck kombiniere ich rechnerische Modelle der Entscheidungsfindung mit experimentellen und neurowissenschaftlichen Methoden, einschließlich Neuroimaging (fMRI, Spektroskopie, EEG) und neuronalen Interventionen (TMS, tDCS, Psychopharmakologie).
Bahrami - Crowd Kognition Gruppe
Menschen interagieren miteinander – und bald auch mit KI – um Informationen auszutauschen und Entscheidungen zu treffen. Unser Labor untersucht die kognitiven und neurobiologischen Grundlagen interaktiver Entscheidungsfindung. Wir verwenden verhaltenspsychologische Tests, funktionelle und strukturelle Bildgebung des Gehirns sowie psychopharmakologische Techniken, um das interaktive Verhalten des Menschen zu verstehen.
Laborseite: Crowd Cogntion Group