HITSZ-NIE 邵睿 教授
报告生成时间:2026年8月20日
个人主页:邵睿
所属团队:哈尔滨工业大学(深圳)计算机科学与技术学院 / 智能媒体研究组
一、学者基本信息
| 项目 | 内容 |
|---|---|
| 姓名 | 邵睿(Rui Shao) |
| 现任职 | 哈尔滨工业大学(深圳)计算机科学与技术学院 教授、博士生导师 |
| 人才计划 | 入选国家级青年人才计划 |
| 兼任职务 | 深圳河套学院兼任教授、北京中关村学院兼任教授 |
| 本科毕业 | 电子科技大学,2015年获工学学士学位 |
| 博士毕业 | 香港浸会大学(HKSBU),2021年获计算机科学博士学位 |
| 博士导师 | 阮邦志教授(Pong C. Yuen),香港浸会大学首席教授、IAPR Fellow |
| 博士后 | 新加坡南洋理工大学(NTU)Multimedia Lab,2021–2023年 |
| 博士后合作导师 | 刘子纬教授(Ziwei Liu)、吕健勤教授(Chen Change Loy) |
| 访学经历 | 2020年赴美国约翰斯·霍普金斯大学(JHU)电气与计算机工程系访学,合作导师 Vishal M. Patel 教授 |
| 研究方向 | 多模态大模型、具身智能(from VLM to VLA) |
| 发表记录 | 以第一作者/通讯作者身份发表CCF-A类会议与IEEE/ACM汇刊论文近40篇,涵盖 TPAMI、IJCV、TIFS、TNNLS、CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR、ACL、AAAI、ACM MM 等 |
| 代表性荣誉 | ICCV 2025 Highlight |
| 个人主页 | https://faculty.hitsz.edu.cn/shaorui |
二、教育背景与职业履历
教育经历
| 时间 | 经历 | 机构 | 备注 |
|---|---|---|---|
| 2011.09–2015.06 | 本科 | 电子科技大学 | 工学学士学位 |
| 2015.09–2021.xx | 博士研究生 | 香港浸会大学(HKSBU)计算机科学系 | 导师:阮邦志教授(Pong C. Yuen) |
| 2020.xx | 访问学生 | 美国约翰斯·霍普金斯大学(JHU)电气与计算机工程系 | 合作导师:Vishal M. Patel 教授 |
职业经历
| 时间 | 职位 | 机构 | 备注 |
|---|---|---|---|
| 2021–2023 | 博士后研究员 | 新加坡南洋理工大学(NTU)Multimedia Lab | 合作导师:刘子纬教授(Ziwei Liu)、吕健勤教授(Chen Change Loy) |
| 2023–至今 | 教授、博士生导师 | 哈尔滨工业大学(深圳)计算机科学与技术学院 | 入选国家级青年人才计划 |
学术成长路径概述
邵睿的学术生涯跨越三地四校,形成了"香港博士培养—新加坡博士后锤炼—回国建组"的典型青年学者成长轨迹。本科毕业于电子科技大学后,他赴香港浸会大学攻读博士学位,师从生物特征识别与多媒体安全领域知名学者阮邦志教授(Pong C. Yuen),在人脸伪造检测、多媒体安全方向打下了坚实基础。博士期间(2020年)赴美国约翰斯·霍普金斯大学访问,与 Vishal M. Patel 教授合作,拓展了在深度伪造检测与计算机视觉安全方向的视野。博士毕业后,他赴新加坡南洋理工大学 Multimedia Lab 从事博士后研究,在刘子纬教授与吕健勤教授的联合指导下,将研究重心从多媒体安全逐步转向多模态学习与视觉-语言理解。2023年回国加入哈工大(深圳)计算机科学与技术学院,成为聂礼强教授团队多模态大模型方向的核心教师,研究方向聚焦多模态大模型与具身智能(VLM to VLA)。
三、学生培养情况
邵睿自2023年入职哈工大(深圳)后,与聂礼强教授紧密合作,共同指导多名研究生。以下根据公开发表的论文中标注的作者顺序及学生个人主页信息,整理其参与指导的学生情况。
在哈工大(深圳)参与指导的学生(与聂礼强联合指导)
| 学生姓名 | 类型 | 代表性成果 | 备注 |
|---|---|---|---|
| 沈乐洋(Leyang Shen) | 本科生(2025届毕业),现赴新加坡国立大学(NUS)攻读博士 | MoME: Mixture of Multimodal Experts(NeurIPS 2024,CCF-A);LION: Empowering MLLM with Dual-Level Visual Knowledge(CVPR 2024,CCF-A);LION-FS: Fast & Slow Video-Language Thinker(CVPR 2025,CCF-A) | 本科期间即在聂礼强与邵睿联合指导下发表3篇顶会论文,博士导师为NUS Chua Tat-Seng教授,学术发展路径优异 |
| 管伟立(Weili Guan) | 博士/硕士研究生 | MoME(NeurIPS 2024,CCF-A) | 多模态大模型方向,与沈乐洋、陈巩伟等为同组同学 |
| 陈巩伟(Gongwei Chen) | 博士/硕士研究生 | LION(CVPR 2024,CCF-A,第一作者);MoME(NeurIPS 2024) | LION论文提出双层级视觉知识增强MLLM,在VSR、TextCaps、RefCOCOg等基准上显著提升 |
| 李在京(Zaijing Li) | 博士研究生 | Optimus-1: Constructed Hybrid Multimodal Memory(NeurIPS 2024,CCF-A,第一作者) | 研究方向为开放世界智能体与多模态学习,该工作与鹏城实验室合作,提出结合结构化知识与多模态经验的Minecraft智能体框架 |
| 李纬(Wei Li) | 研究生 | LION-FS(CVPR 2025,CCF-A,第一作者) | 视频语言理解方向 |
| 胡冰(Bing Hu) | 研究生 | LION-FS(CVPR 2025,CCF-A) | 视频语言理解方向 |
学生培养特点
邵睿指导的学生呈现出以下鲜明特征:(1)本科生培养成效突出——沈乐洋在本科阶段即以共同/第一作者身份发表3篇CCF-A类顶会论文(NeurIPS 2024、CVPR 2024、CVPR 2025),毕业后赴NUS攻读博士,体现了高水平的本科生科研训练能力;(2)研究方向统一聚焦多模态大模型——从LION(视觉知识增强MLLM)到MoME(多模态专家混合)再到LION-FS(视频语言在线助手),形成了"静态图像理解→视频时序推理→实时在线交互"的递进式研究路线;(3)与聂礼强教授的紧密联合指导模式——几乎所有学生的论文均以"Rui Shao, Liqiang Nie"或"Liqiang Nie, Rui Shao"作为通讯作者组合出现,体现了典型的"资深教授+青年教师"双导师制。
四、学术合作网络
4.1 与聂礼强教授的核心合作关系
聂礼强教授是邵睿回国后最重要的学术合作者。聂礼强现任哈工大(深圳)计算机科学与技术学院教授、博士生导师,国家级领军人才,研究方向涵盖多模态学习、信息检索与自然语言处理,是多媒体分析与多模态大模型领域的知名学者。邵睿作为聂礼强团队中多模态大模型方向的核心教师,二人形成了紧密的"资深-青年"合作模式。
二人的合作具有以下特点:
-
联合指导学生:几乎所有邵睿参与指导的学生(沈乐洋、管伟立、陈巩伟、李在京、李纬等)的论文中,聂礼强均作为通讯或共同通讯作者出现,体现了"双导师"联合培养的深度合作模式。
-
代表性合作论文:
- LION(CVPR 2024):Gongwei Chen, Leyang Shen, Rui Shao, Xiang Deng, Liqiang Nie。提出双层级视觉知识增强多模态大语言模型,通过细粒度空间感知视觉知识与高层语义视觉证据的渐进式融合,在多个多模态基准上显著优于InstructBLIP等基线方法。
- MoME(NeurIPS 2024):Leyang Shen, Gongwei Chen, Rui Shao, Weili Guan, Liqiang Nie。提出多模态专家混合(Mixture of Multimodal Experts)框架,缓解多模态大语言模型中的任务干扰问题,构建通用型MLLM。
- LION-FS(CVPR 2025):Wei Li, Bing Hu, Rui Shao, Leyang Shen, Liqiang Nie。提出"快慢"视频语言思考器作为在线视频助手,实现实时、主动、时序精确的视频问答。
-
Optimus-1(NeurIPS 2024):Zaijing Li 等,来自聂礼强与邵睿团队,与鹏城实验室合作。提出混合多模态记忆模块驱动的开放世界智能体框架,在Minecraft 67个长序列任务上实现当前最优性能。
-
研究方向互补:聂礼强教授在多模态学习、信息检索与自然语言处理方面具有深厚积累,邵睿在计算机视觉、视觉-语言模型与多媒体安全方面具有扎实功底,二者形成了"语言+视觉"的天然互补关系,共同推动多模态大模型方向的发展。
4.2 博士与博士后阶段的师承网络
博士导师:阮邦志教授(Pong C. Yuen)
阮邦志(Pong C. Yuen)是香港浸会大学计算机科学系首席教授(Chair Professor)、IAPR Fellow。他于1993年加入香港浸会大学,曾担任计算机科学系系主任(2011–2017)和理学院副院长(2018–2024)。其研究兴趣涵盖视频监控、人脸识别、生物安全与隐私、以及医疗信息学。他曾担任多个国际重要会议的程序委员会联合主席,包括IEEE BTAS 2012、IEEE ISBA 2016等,并担任IEEE Transactions on Information Forensics and Security(TIFS)副主编(2014–2018, 2021–2022)。阮邦志教授是生物特征识别与多媒体安全领域的国际知名学者,邵睿在其指导下完成的博士研究聚焦于人脸伪造检测与多媒体安全方向,为其后续在多模态方向的研究奠定了视觉感知与安全分析的方法论基础。
博士后合作导师:刘子纬教授(Ziwei Liu)与吕健勤教授(Chen Change Loy)
邵睿在NTU Multimedia Lab的博士后阶段受到两位导师的联合指导,这段经历是其学术转向多模态学习与视觉-语言理解的关键期。
刘子纬(Ziwei Liu) 是南洋理工大学计算机科学与工程学院助理教授、南洋学者。研究兴趣为机器学习中的视觉感知与理解,发表国际顶级计算机视觉会议及期刊论文80余篇,总引用量超过12,000次,获得专利30余项。他领导搭建了CelebA、Deep Fashion、MMDetection和MMFashion等多个国际知名计算机视觉基准数据库和开源项目。刘子纬于2013–2017年在香港中文大学多媒体实验室(MMLab)攻读博士学位(师从汤晓鸥教授),2017–2018年在UC Berkeley从事博士后研究,2018–2020年任香港中文大学特聘研究员。曾获香港政府博士奖、ICCV青年学者奖、微软小学者奖等多个奖项。
吕健勤(Chen Change Loy) 是南洋理工大学计算机科学与工程学院教授,兼任S-Lab副主任和MMLab@NTU主任。他于2010年在伦敦玛丽女王大学获得计算机科学博士学位,2013–2018年曾在香港中文大学MMLab任研究助理教授。研究兴趣包括计算机视觉与深度学习,聚焦图像/视频复原、增强与内容生成。发表国际顶级期刊与会议论文120余篇,论文被引用超过35,000次。他担任IJCV、TPAMI和CVIU的副主编,以及CVPR、ICCV、ECCV、NeurIPS和ICLR等顶会的领域主席。其团队提出的SRCNN是图像超分辨率的标志性工作。2019年获颁南洋学者奖,入选2019和2020年度"人工智能全球2000位最具影响力学者榜"前100名。他是IEEE高级会员,被AMiner评为计算机视觉领域100位最具影响力学者之一。
在NTU Multimedia Lab期间,邵睿的研究重心从多媒体安全逐步向多模态视觉-语言学习转移,这段经历使其同时接触到视觉感知(刘子纬)与图像/视频生成(吕健勤)两个方向的学术资源,为其回国后聚焦多模态大模型研究提供了关键的方法论储备与国际视野。
访学合作导师:Vishal M. Patel 教授
Vishal M. Patel 是美国约翰斯·霍普金斯大学Whiting工学院电气与计算机工程系副教授。其研究方向涵盖人脸识别、深度伪造检测、模式识别与计算机视觉安全等。邵睿于2020年在JHU访学期间与其合作,进一步深化了在深度伪造检测与视觉安全方向的研究。Patel教授团队在FaceXBench等面部分析评测基准上具有持续影响力。
4.3 跨机构与团队内部合作
除上述核心师承关系外,邵睿的学术网络还涵盖以下机构和学者:
| 合作者 | 机构 | 合作情况 | 备注 |
|---|---|---|---|
| 鹏城实验室(Pengcheng Laboratory) | 深圳 | Optimus-1(NeurIPS 2024)合作研究 | 国家级新型研发机构,邵睿团队与鹏城实验室在智能体方向建立合作 |
| 余梓彤 | 大湾区大学(筹) | 2024年联合招收博士(CV/多模态方向) | 大湾区大学信息科学技术学院助理教授,博士毕业于芬兰奥卢大学,南洋理工大学ROSE实验室博士后 |
| 曾润浩 | 深圳北理莫斯科大学 | CSIG图像图形中国行青年学者同台报告 | 视频动作识别方向,广东省重大人才工程青年拔尖人才 |
| 费伦科 | — | CSIG图像图形中国行青年学者同台报告 | 青年学者 |
| 樊超 | — | CSIG图像图形中国行青年学者同台报告 | 青年学者 |
| Chua Tat-Seng 教授 | 新加坡国立大学(NUS) | 间接合作关系——其指导的学生沈乐洋赴NUS攻读博士 | NUS多媒体领域知名学者,邵睿培养的本科生沈乐洋被其录取为博士生 |
| HITsz-TMG 团队 | 哈工大(深圳) | GitHub组织HITsz-TMG,发布多模态推理模型综述等项目 | 哈工大深圳多模态研究组,邵睿为该团队核心成员 |
五、业界合作关系深度分析
5.1 鹏城实验室合作
邵睿团队与鹏城实验室(Pengcheng Laboratory)建立了合作关系。代表性成果为NeurIPS 2024论文Optimus-1,该工作由聂礼强、邵睿团队与鹏城实验室联合完成,第一作者李在京为哈工大(深圳)计算机学院博士生。鹏城实验室是位于深圳的国家级新型研发机构,聚焦网络通信、人工智能和网络安全等方向,是深圳乃至粤港澳大湾区重要的AI科研基础设施。这一合作体现了邵睿团队将学术研究与国家级科研平台对接的能力,也为团队在智能体与具身智能方向的研究提供了算力与工程支持。
5.2 学术组织与产业生态参与
邵睿积极参与学术社区服务与产业生态建设,具体体现在以下方面:
-
CSIG青年学者报告:2025年8月,邵睿受邀在中国图象图形学学会(CSIG)"图像图形中国行-大湾区大学站"上作青年学者报告,与赖剑煌教授、郑伟诗教授等资深学者同台,体现了其在多媒体与视觉安全领域的学术影响力获得同行认可。
-
河套学院与中关村学院兼任教授:邵睿兼任深圳河套学院教授与北京中关村学院教授。深圳河套深港科技创新合作区是粤港澳大湾区国际科技创新中心的重要载体,中关村则是北京乃至全国的科技创新高地。这两个兼任职务使其同时嵌入深圳与北京两大科技创新生态圈,为产学研对接提供了地理与制度优势。
-
团队开源贡献:邵睿所在的HITsz-TMG团队在GitHub上维护多个开源项目,包括"Awesome-Large-Multimodal-Reasoning-Models"综述仓库和多模态上下文调优(Multimodal-In-Context-Tuning)代码库等,体现了团队在多模态大模型方向的开源生态建设意识。
-
学生产业推荐网络:邵睿指导的学生在毕业后进入国内外顶级学术机构(如NUS)继续深造,同时其所在团队的学生培养环境也提供了与华为、腾讯等知名企业的实习与推荐渠道(哈工大深圳计算机学院的常规合作渠道)。
六、重要奖项与学术兼职
重要奖项与荣誉
| 年份 | 奖项/荣誉 | 级别 | 备注 |
|---|---|---|---|
| — | 国家级青年人才计划 | 国家级 | 具体计划名称及年份以官方公布为准 |
| 2025 | ICCV 2025 Highlight | 会议级 | ICCV为计算机视觉领域三大顶会之一,2025年录用率约24%,Highlight为更高认可级别 |
| — | 深圳河套学院兼任教授 | 区域级 | 深港科技创新合作区学术职务 |
| — | 北京中关村学院兼任教授 | 区域级 | 中关村科技创新生态学术职务 |
学术兼职
根据其教师主页与公开活动信息,邵睿的学术兼职包括:
- 深圳河套学院兼任教授
- 北京中关村学院兼任教授
- 受邀在CSIG等学术会议上作青年学者报告(2025年8月)
- 参与指导多模态大模型方向研究生的联合培养
(注:邵睿作为2023年入职的青年教授,其学术兼职体系尚在建设中,具体担任的期刊编委或会议领域主席等职务有待其个人主页进一步更新确认。)
七、Connection圈层总结
邵睿的学术关系网络可按圈层结构总结如下:
第一圈层(博士与博士后导师): - 阮邦志(Pong C. Yuen)(香港浸会大学,博士导师):首席教授、IAPR Fellow。阮邦志是生物特征识别与多媒体安全领域的国际知名学者,为邵睿提供了系统的博士训练与多媒体安全方向的研究根基。邵睿博士期间的发表涵盖TIFS等安全领域顶级期刊,均与阮邦志的学术脉络一脉相承。 - 刘子纬(Ziwei Liu)(南洋理工大学,博士后合作导师):助理教授、南洋学者。刘子纬是视觉感知与理解领域的活跃青年学者,CelebA、Deep Fashion等知名基准的创建者。他代表了邵睿从多媒体安全向视觉-语言理解转型的关键桥梁。 - 吕健勤(Chen Change Loy)(南洋理工大学,博士后合作导师):教授、MMLab@NTU主任。吕健勤是图像/视频复原与生成领域的顶级学者(35,000+引用),SRCNN的提出者。他的学术网络为邵睿提供了从CUHK MMLab到NTU S-Lab的视觉计算学术通道。
第二圈层(现单位核心合作者): - 聂礼强(哈工大深圳,核心合作者):邵睿回国后最重要的学术合作者。二人形成"资深教授+青年教师"的联合指导模式,共同推动多模态大模型方向,产出LION(CVPR 2024)、MoME(NeurIPS 2024)、LION-FS(CVPR 2025)、Optimus-1(NeurIPS 2024)等系列成果。邵睿是聂礼强团队多模态大模型方向的核心教师。
第三圈层(联合培养的学生群体): - 沈乐洋(Leyang Shen)、管伟立(Weili Guan)、陈巩伟(Gongwei Chen)、李在京(Zaijing Li)、李纬(Wei Li)、胡冰(Bing Hu) 等。这些学生在聂礼强与邵睿的联合指导下成长,论文发表于NeurIPS、CVPR等顶会,其中沈乐洋本科阶段即发表3篇CCF-A论文并赴NUS攻读博士,体现了团队高水平的人才培养能力。
第四圈层(跨机构与产业合作): - 鹏城实验室:通过Optimus-1等项目建立合作,将学术研究与国家级科研平台对接。 - Vishal M. Patel(约翰斯·霍普金斯大学):访学合作导师,为邵睿提供了JHU在视觉安全方向的学术网络。 - Chua Tat-Seng(新加坡国立大学):间接合作网络——邵睿培养的本科生沈乐洋被其录取为博士生,建立了从HITSZ到NUS的人才输送通道。 - NTU S-Lab / MMLab@NTU 网络:刘子纬与吕健勤所领导的实验室网络,覆盖视觉感知、图像生成、视频理解等方向,为邵睿提供了持续的国际学术资源。 - 余梓彤(大湾区大学):2024年联合招收博士(CV/多模态方向),体现了邵睿在大湾区学术圈内的跨校合作能力。
总体特征:
邵睿的学术网络呈现出"三地四校驱动、双导师转向、核心团队锚定"的鲜明特征。博士导师阮邦志提供了香港浸会大学在多媒体安全方向的学术根基,博士后导师刘子纬与吕健勤共同提供了南洋理工大学在视觉感知与内容生成方向的国际视野与转型契机,JHU访学的Vishal Patel则提供了视觉安全的跨校学术联系。三段海外经历(HKBU博士、JHU访学、NTU博士后)构成了其国际学术网络的三大支点。
回国后,邵睿以聂礼强教授团队为核心依托,在多模态大模型方向迅速建立了系统化的研究布局——从静态图像理解(LION)到多模态专家混合(MoME)再到视频在线推理(LION-FS)和开放世界智能体(Optimus-1),形成了覆盖"感知—理解—推理—行动"的完整研究链条,与具身智能(VLM to VLA)的研究方向高度契合。其ICCV 2025 Highlight的获得标志着研究成果已获得国际顶级会议的认可,未来作为国家级青年人才计划入选者与聂礼强团队多模态方向核心教师,学术影响力有望进一步提升。