讲座论坛
泛化性视角下的深度神经网络训练方法
发布时间:2024-03-12 13:43:25 795

哈尔滨工业大学(深圳)学术讲座

演讲人Speaker:黄晓霖 教授

题目Title: 泛化性视角下的深度神经网络训练方法

时间Date:2024年 3月 18日       Time:上午 9:00 ~ 10:00

地点Venue: T2 栋 T2410 室  

 

内容摘要Abstract:

进入深度学习时代,机器学习泛化性研究面临巨大的挑战。在训练方面,过参数化使得深度网络的很多局部解具有相近的训练误差,但各自的泛化性不同。这使得仅关注训练终态不足以分析泛化性,必须考虑训练的整个动态。本报告将以此为观点,汇报动态低维子空间理论(DLDR)及锐度敏感算法(SAM)的近期进展,并探讨泛化性分析在反向训练中的可能应用。

 

个人简介(About the speaker):

黄晓霖,上海交通大学教授,博士生导师。分别在西安交通大学、清华大学获得工学学士、工学博士学位。2012年至2015年,在比利时鲁汶大学电子工程系任博士后,2015年作为洪堡学者在德国埃尔朗根-纽伦堡大学计算机系开展工作并任研究组组长。2016年加入上海交通大学任副教授、2024年晋升教授,现任上海交通大学自动化系副主任。

面向深度学习泛化性,黄晓霖在函数空间、优化方法、对抗攻击等方面进行了持续研究,发表机器学习领域顶刊JMLR论文5篇;IEEE TPAMI论文8篇,在Nature Review Methods Premiers发表综述1篇,并多次在领域重要会议如NeurIPS, ICLR, CVPR, MICCAI 等做学术汇报。目前担任Machine Learning 的Action Editor、ICCV的Area Chair、AAAI的Senior TPC member等;承担科技部重点研发课题、自然基金面上项目、上海市科委人工智能专项等,并与华为、美敦力等公司进行了长期的合作。