近日，医学部生物医学工程学院梁臻老师课题组在情感计算领域顶级学术期刊《IEEE Transactions on Affective Computing》（影响因子11.2）上，发表了一篇题为“Unsupervised Time-Aware Sampling Network with Deep Reinforcement Learning for EEG-Based Emotion Recognition”的高质量论文。深圳大学医学部生物医学工程学院博士生张永涛为第一作者。深圳大学医学部生物医学工程学院梁臻副教授和哈尔滨工业大学（深圳）张治国教授为共同通讯作者。深圳大学为第一作者单位。
从复杂、多变、且非恒定的脑电（EEG）时间序列中识别人类情感对情感脑机接口至关重要。然而，在实际应用过程中，连续标记不断变化的情感状态是不切实际的。现有方法只能为在引发情感的连续试验中的所有EEG时间点分配固定标签，这导致了高度动态的情感状态和高度非恒定的EEG信号被忽视。
为了解决对固定标签的高度依赖和对时变信息的无视，本文提出了一种使用深度强化学习（DRL：Deep Reinforcement Learning）进行无监督情感识别的时间感知采样网络（TAS-Net: Time-Aware Sampling Network）（如图一所示）。该网络能够检测关键情感片段并忽略无关和误导性的部分。
图一：TAS-Net框架，包括深度特征提取、时间感知采样和无监督聚类三个模块。模型提取的关键情感片段由两部分构成：检测到的关键时刻（深紫色）以及根据人类情感中的"短期连续性"属性计算得出的情感偏移（浅紫色）。最终的关键情感片段由深紫色和浅紫色部分组合而成，然后输入到无监督聚类模型中以进行情感预测。
在本文中，我们将从EEG时间序列中挖掘关键情感片段的过程形式化为马尔可夫决策过程，并通过DRL训练生成一个时间感知代理，无需使用标签信息。首先，时间感知代理从特征提取器获取深度特征作为输入，并生成样本级的重要性分数，反映了每个样本包含的情感相关信息。然后，基于获得的样本级重要性分数，我们保留与情感高度相关的前X个连续EEG片段，同时丢弃其余部分。最后，我们将这些连续片段视为关键情感片段，并将它们输入到一个超图解码模型中，以进行无监督聚类。
我们在三个公共数据集（SEED、DEAP和MAHNOB-HCI）上进行了广泛的实验，采用被试留一交叉验证方法进行情感识别。实验结果表明，与现有无监督情感识别方法相比，本文所提出的TAS-Net表现出更出色的性能,具有在实现更实际和准确的动态和无标签情境下的情感脑机接口方面的巨大潜力。本文源代码可在https://github.com/infinite-tao/TAS-Net上获取。
研究成果链接：
https://ieeexplore.ieee.org/abstract/document/10264207
科研动态