Affekterkennung auf Basis von EEG-Signalen unter Verwendung künstlicher neuronaler Netze

Zusammenfassung

Die Beurteilung des Affekts erfolgt bei erhaltener Kommunikationsfähigkeit durch psychometrische Testverfahren bzw. im Rahmen einer strukturierten Anamnese, jedoch kann eine Objektivierung je nach Krankheitsbild eingeschränkt sein. In unserer Studie sollten daher Affekte mit Elektroenzephalografie (EEG) und KI (Künstliche Intelligenz)-gestützter Auswertung untersucht werden. 14 gesunde Probanden wurden nach Ableitung eines Ruhe-EEGs akustischen emotionalen Stimuli ausgesetzt und währenddessen ein EEG aufgezeichnet. Anschließend erfolgte eine emotionale Selbstauskunft mithilfe einer 5-stufigen Likert-Skala. Als emotionale Stimuli wurden jeweils drei Audioclips verwendet mit bis zu vier Valenzkategorien. Nachfolgend wurden die Veränderungen in den neurologischen EEG-Signalen in Zusammenhang mit der Selbstauskunft mithilfe von künstlichen, neuronalen Netzwerken bzw. hybriden neuronalen Netzwerken klassifiziert und mit einer Vorhersagewahrscheinlichkeit (Accuracy) bestätigt. Durch die Verwendung eines aktuellen, am Stand der Technik orientierten, CNN-Netzwerks konnten Affekte mit bis zu 90% Accuracy im EEG suffizient detektiert werden. Angesichts der hohen Erkennungsrate durch Auswertung künstlicher neuronaler Netzwerke und des einfachen Versuchsaufbaus eröffnet sich großes Potenzial für zukünftige klinische Anwendungen, die eine individuelle Analyse und Beurteilung des Affekts anhand von EEG-Daten bei Patienten ermöglichen.

Abstract

Affect is assessed, in the presence of intact communication abilities, through psychometric testing or within the framework of a structured anamnesis. However, objectification can be limited depending on the clinical conditions. Therefore, in our study, the aim was to investigate affect using electroencephalography (EEG) and AI (artificial intelligence)-supported analysis. Fourteen healthy subjects were exposed to acoustic emotional stimuli after a resting EEG was recorde; EEGs were recorded during the stimuli. Subsequently, emotional self-reports were collected using a 5-point Likert scale. Three audio clips were used as emotional stimuli, categorized into four valence categories. Subsequently, changes in the EEG signals were classified in relation to the self-reports using artificial neural networks or hybrid neural networks, and a prediction accuracy was calculated. By using state-of-the-art artificial neural networks, affect could be sufficiently detected in the EEG with approximately 90% accuracy. Given the high detection rate from the analysis using artificial neural networks and the simplicity of the experimental setup, this approach shows high potential for future clinical applications, enabling individual analysis and assessment of affect based on EEG data in patients.

Schlüsselwörter

Affekterkennung - Neuronale Netzwerke - EEG

Keywords

neural network - EEG - affect computing

Publication History

Article published online:
04 June 2025

• Literatur

• 1 Patel UK, Anwar A, Saleem S. et al. Artificial intelligence as an emerging technology in the current care of neurological disorders. J Neurol 2021; 268: 1623-1642
• 2 Haverkamp W, Göing O, Anker M. et al. Vorhofflimmerndiagnostik mittels EKG-fähiger Smartwatches. Nervenarzt. 2022; 93: 175-178
• 3 Okazaki EM, Yao R, Sirven JI. et al. Usage of EpiFinder clinical decision support in the assessment of epilepsy. Epilepsy Behav 2018; 82: 140-143
• 4 Sturm W, Herrmann M, Münte TF (eds). Lehrbuch der klinischen Neuropsychologie: Grundlagen, Methoden, Diagnostik, Therapie. Heidelberg: Springer; 2009
• 5 Menezes MLR, Samara A, Galway L. et al. Towards emotion recognition for virtual environments: an evaluation of eeg features on benchmark dataset. Pers Ubiquitous Comput 2017; 21: 1003-1013
• 6 Casaletto KB, Heaton RK. Neuropsychological assessment: Past and future. J Int Neuropsychol Soc 2017; 23: 778-790
• 7 Nilsson F, Kessing L, Sørensen T. et al. Affective disorders in neurological diseases: a case register-based study. Acta Psychiatr Scand 2003; 108: 41-50
• 8 da Silva RCR, de Carvalho RLS, Dourado MCN. Deficits in emotion processing in Alzheimer’s disease: a systematic review. Dement Neuropsychol 2021; 15: 314-330
• 9 Gothwal M, Arumugham SS, Yadav R. et al. Deficits in Emotion Perception and Cognition in Patients with Parkinson’s Disease: A Systematic Review. Ann Indian Acad Neurol 2022; 25: 367-375
• 10 Brown CL, Hua AY, De Coster L. et al. Comparing two facets of emotion perception across multiple neurodegenerative diseases. Soc Cogn Affect Neurosci 2020; 15: 511-522
• 11 Sakellaridis N, Petsanas A, Sakellaridi L. Emotions in patients in vegetative state. Sci ChroniclesEpistimonika Chron 2019; 24: 62-71
• 12 Koelstra S, Muhl C, Soleymani M. et al. Deap: A database for emotion analysis; using physiological signals. IEEE Trans Affect Comput 2011; 3: 18-31
• 13 Russell JA. A circumplex model of affect. J Pers Soc Psychol 1980; 39: 1161-1178
• 14 Morris JD. Observations: SAM: the Self-Assessment Manikin; an efficient cross-cultural measurement of emotional response. J Advert Res 1995; 35: 63-68
• 15 Savran A, Ciftci K, Chanel G. et al. Emotion detection in the loop from brain signals and facial images. In eINTERFACE’06-SIMILAR NoE Summer Workshop on Multimodal Interfaces. 2006
• 16 Liu Y, Sourina O. EEG Databases for Emotion Recognition. In: 2013 International Conference on Cyberworlds. IEEE; 2013.
• 17 Bradley M (eds). International Affective Digitized Sounds (IADS): Stimuli, Instruction Manual and Affective Ratings. NIMH Center for the Study of Emotion and Attention; 1999
• 18 Lang P, Bradley M. The International Affective Picture System (IAPS) in the study of emotion and attention. In Coan JA, Allen JJ (eds.) Handbook of Emotion Elicitation and Assessment. 2007. 29. 70-73
• 19 Zamani F, Wulansari R. Emotion classification using 1D-CNN and RNN based on deap dataset. Nat Lang Process 2021; 363-378
• 20 Hautzinger M, Bailer M, Worall H et al. (eds.). Beck-Depressions-Inventar (BDI). Bern, Göttingen: Huber; 1995
• 21 Zhang Y, Chen J, Tan JH. et al. An investigation of deep learning models for EEG-based emotion recognition. Front Neurosci 2020;
• 22 Emotiv [Internet]. 2024. Emotiv. Verfügbar unter https://www.emotiv.com/
• 23 Torres-Valencia CA, Garcia-Arias HF, Lopez MAA. et al. Comparative analysis of physiological signals and electroencephalogram (EEG) for multimodal emotion recognition using generative models. In: 2014 XIX Symposium on Image, Signal Processing and Artificial Vision. IEEE; 2014.
• 24 Stajić T, Jovanović J, Jovanović N. et al. Emotion recognition based on DEAP database physiological signals. In: 2021 29th telecommunications forum (^TELFOR). IEEE; 2021.
• 25 Yang H, Han J, Min K. A multi-column CNN model for emotion recognition from EEG signals. Sensors 2019;