近日，我校医学部生物医学工程学院梁臻老师课题组在情感计算领域顶级学术期刊《IEEE Transactions on Affective Computing》（影响因子11.2）上，发表了一篇题为“PR-PL: A Novel Prototypical Representation based Pairwise Learning Framework for Emotion Recognition Using EEG Signals”的高质量论文。深圳大学2018级本科生周如双同学（目前在香港城市大学生物医学工程学院攻读博士学位）和哈尔滨工业大学（深圳）张治国教授为共同第一作者，深圳大学梁臻副教授为独立通讯作者。深圳大学为第一作者单位和通讯单位。

基于脑电（EEG）的情绪脑机接口（aBCI）是情感计算领域的重要议题。然而，现有模型的实用性和泛化能力受到两个关键问题的严重制约：一是EEG信号中的个体差异性问题，二是个体主观情感反馈引发的噪声标注问题。为解决这两个关键问题，梁臻老师课题组提出了一种全新的迁移学习框架，即基于原型特征表示的配对学习（PR-PL）。该框架在跨被试、跨会话情绪识别任务中显著提升了aBCI的精确度，标志着情感识别研究迈出重要一步。

这一框架以学习泛化性强的EEG原型特征为核心，实现对多样情绪状态的有效表征，并将多情绪分类问题转变为配对学习任务，从而增强模型对标签噪声的抵抗能力。这里，PR-PL采用原型表示学习方法，用于探索蕴含在EEG数据中的情感相关语义结构。与此同时，该方法在考虑源域与目标域特征可分性的基础上，将不同个体的EEG特征映射到共同的特征空间，实现特征的对齐。在经过对齐的特征表示基础上，PR-PL引入一种自适应伪标签的配对学习方法，以编码样本之间的相似关系，并减轻标签噪声对模型建模的影响。

PR-PL的模型架构设计如图一所示。（1）结合原型特征学习（Prototypical Learning）和DANN网络，寻找普适、共享、信噪比高的情绪原型特征。通过双线性变换揭示样本特征与原型特征之间的关系，并将其映射到分类空间，实现情绪分类。这种方法在减少脑电信号个体差异的同时，也有效减轻了DANN网络容易受到噪声干扰的问题。（2）发展配对学习方法，利用配对标签来评估两个脑电信号是否属于相同类别。因此，配对学习的训练过程无需依赖精确的标签信息，却能达到与样本分类学习相媲美甚至更优的性能。对于有标签信息的源域数据，团队提出有监督配对学习（Supervised Pairwise Learning）来取代传统的样本分类学习。这个方法有效缓解了DANN网络对于源域精确标签依赖性和易受标签噪声干扰的问题。（3）对于无标签信息的目标域数据，团队提出无监督配对学习（Unsupervised Pairwise Learning）和动态置信度阈值算法，以解决DANN网络仅关注源域数据可分性而导致过拟合的问题。由于目标域缺乏标签信息，团队提出利用动态变化的阈值来筛选置信度高的配对样本,并赋予伪标签（Pseudo Label）用于训练。通过无监督配对学习，推动模型关注目标域数据的可分性，提升其在目标域的泛化性能。

图一：PR-PL的模型架构设计

研究团队通过在情感脑机接口数据库上进行广泛的对比实验，对模型在跨被试和跨会话情绪识别任务中的可靠性和稳定性进行了验证。这一验证涵盖了四种不同的交叉验证方法，包括被试内跨会话、被试内会话内、跨被试会话内以及跨被试跨会话。广泛的实验结果表明，相对于现有的领先方法（SOTA），本文提出的PR-PL在所有四种交叉验证范式下都取得了显著优越的表现（如图二和图三所示）。此外，团队还全面验证了该模型在多样实验设置下的稳定性和泛化能力。实验结果明确显示（如图四所示），所提出的PR-PL在应对情感脑机接口中的个体差异和噪声标注问题方面具备明显优势。

图二：四种交叉验证方法的实验结果

图三：不同模型的混淆矩阵

图四：PR-PL模型的特征可视化分析

全文链接：

https://ieeexplore.ieee.org/document/10160130