近日，电子科技年夜学生命科学与技能学院陈华富团队于《信息交三木SEO-融》发表了年夜脑视觉信息解码研究结果。
将图象及文本等多模态语义特性交融以加强视觉神经暗示，于年夜脑视觉解码中已经被证实有用。为了降服先前研究中未解决的对于齐歧义问题，研究团队提出了多模态交融对于齐神经暗示模子（MFA-NRM）。该模子经由过程变分自编码器（VAE）及自留意力机制，将图象及文本特性整合到同一的潜于空间，促成与神经勾当的稳健对于齐，并引入提醒技能晋升了跨个别的泛化能力。
MFA-NRM模子由五个模块构成，包括图象编码器、文本编码器、提醒编码器、多模态交融模块及年夜脑编码器。图象编码器提取视觉特性，文本编码器提取文本特性，提醒编码器提取被试的先验提醒特性。多模态交融模块将图象及文本特性交融，为解码历程提供更富厚的语义输入。
试验成果注解，MFA-NRM于辨认及分类使命中均体现优秀，特别于多模态对于齐方面显著优在单模态要领及其他多模态对于齐要领，可以或许从年夜脑对于多模态视觉刺激的反映中提取更富厚的语义，为视觉神经解码提供了新的思绪。
该表征事情的价值表现于多个方面。其加强视觉神经解码，经由过程多模态交融要领，晋升了视觉神经解码的正确性。同时举行了跨模态信息整合，有用交融图象及文本等模态数据，晋升神经暗示的语义富厚性。研究提高了脑机接口机能，为脑机接口提供更切确的神经暗示，改善智能辅助装备的节制能力。此外，研究优化神经暗示进修要领，帮忙深切理解年夜脑信息处置惩罚机制。
相干论文信息：https://doi.org/10.1016/j.inffus.2025.103717
版权声明：凡本网注明“来历：中国科学报、科学网、科学新闻杂志”的所有作品，网站转载，请于正文上方注明来历及作者，且不患上对于内容作本色性改动；微信公家号、头条号等新媒体平台，转载请接洽授权。邮箱：shouquan@stimes.cn。-三木SEO-
