哈尔滨工业大学（深圳）学术讲座

演讲人Speaker：夏伟浩；吴迪

题目Title: 脑机智能系列讲座一：神经解码通用模型与表征学习

时间Date：2024年 12月 20日      Time：上午10：00~12：00

地点Venue：L栋 0203室  

讲座一：统一多模态大脑解码方案

内容摘要Abstract：

大脑解码技术能够将神经信号转化为多种形式，如文本、图像或视频，从而揭示人类的意图，这一过程加深我们对大脑的理解，因为大脑的神经活动通常是人类无法直接感知的。然而，该领域的研究仍面临一些挑战。首先，将大脑信号解码为单一模态可能导致信息的丢失。其次，视觉刺激产生的大脑信号在解码为文本等中间结果时，往往无法保留物体的独特外观或空间位置。为了解决这些问题，我们提出了一种名为UMBRAE的统一多模态大脑解码方案。这种方法能够从大脑信号中提取多模态信息，揭示隐藏在大脑信号“阴影”中的编码信息，并实现不同粒度的解码。具体而言，我们引入了一种通用的脑信号编码器，以实现多模态对齐，从而利用多模态大语言模型从脑信号中恢复语义概念和空间细节。为了应对不同个体之间独特的大脑模式，我们采用了一种新颖的跨被试者训练策略，使得来自多个受试者的大脑信号可以在同一模型中进行训练，并能够实现弱监督少量数据适应到新受试者，从而以数据高效的方式训练新受试者的模型。为了评估这一方法，我们构建了BrainHub，一个大脑理解基准，以推动未来的研究进展。

个人简介(About the speaker):

夏伟浩目前在伦敦大学学院和剑桥大学攻读博士学位，专注于神经人工智能的研究，旨在开发能够通过多感官数据提升人类感知与创造力的智能系统。在过去三年中，他发表超过15篇SCI论文，被引用次数1,500余次，含第一作者10篇（包括两篇ECI高被引论文），期刊出版物影响因子总计63.1。曾赴法国国家信息与自动化研究所和英国牛津大学工程系访问。在IJCAI等CCF-A类国际会议上作关于大脑编解码的前沿技术讲习班报告。担任TPAMI、CVPR、ICLR等领域主要国际议审稿人。研究获英国EPSRC、Google和Imminent Research的资助和支持。在此之前，他获得了清华大学自动化系控制工程硕士学位和中山大学自动化学士学位。

讲座二：从数据异质性角度看神经表征学习

内容摘要Abstract：

神经信息的编解码是脑机接口（BCI）和脑科学研究的核心环节，旨在从大脑信号中解码认知过程、行为表现和疾病状态等关键信息。随着BCI技术在医疗、运动康复、娱乐和教育等领域的广泛应用，如何高效地解码神经信号成为一项重要课题。近年来，通用人工智能（AGI）依托大数据、大参数量和高算力，在计算机视觉（CV）和自然语言处理（NLP）等任务中取得了重大突破。然而，与CV和NLP数据相比，神经生物电信号具有更强的个体差异性、设备差异性和任务差异性等，数据的异质性已成为脑电表征学习的关键挑战和脑电大模型发展的主要瓶颈。本报告将从数据异质性的视角，介绍神经生物电信号建模中的现状、关键挑战和潜在解决方案。报告中，我将分享我在神经表征学习领域的研究进展，重点介绍应对数据异质性的方法与策略，并展示这些方法在实际场景中的应用效果。

个人简介(About the speaker):

吴迪，2016 年和 2018 年分别获哈尔滨工业大学工学学士和美国波士顿大学工学硕士学位，2018 年至 2021 年在波士顿一家独角兽脑机接口公司担任核心算法工程师，在职期间参与研发的智能前臂假肢荣获时代杂志评选的年度100项最佳发明，德国红点最佳设计奖以及世界消费者大会创新奖等。2021 年至今在浙江大学与西湖大学联合培养项目下攻读电子科学与技术博士学位，导师是 Mahamad Sawan 院士。主要研究领域包括脑机接口相关的深度学习以及应用，包括神经电信号自监督预训练、神经信号编解码、神经退行性疾病的诊断以及语言假体等, 现主持国自然青年基金(博士生)项1项，参与科技创新2030重点研究项目1项，浙江省重点研究项目2项。