北大智能学院 刘利斌 助理教授
报告生成时间:2026年9月15日
个人主页:Libin Liu(libliu.info)
所属团队:北京大学智能学院"智能图形与交互"学科方向骨干成员;智能学院可视计算与学习实验室(VCL)内"刘利斌研究团队"(PKU-MoCCA)负责人
一、学者基本信息
| 字段 | 内容 |
|---|---|
| 姓名 | 刘利斌(Libin Liu) |
| 职称 | 助理教授(北京大学智能学院,新体制教职;据智能学院官网师资页) |
| 所属单位 | 北京大学智能学院(2020 年全职回国加入北大,先入职前沿计算研究中心,后随机构调整转入智能学院) |
| 团队归属 | 智能学院"智能图形与交互"学科方向骨干成员(方向负责人为陈宝权);VCL 实验室内独立研究团队(PKU-MoCCA)负责人 |
| 邮箱 | libin.liu@pku.edu.cn |
| 研究方向 | 计算机图形学、数字人建模与动画、物理仿真与运动控制,及相关领域:优化控制、机器学习、强化学习、机器人 |
| 学术服务 | SIGGRAPH(North America/Asia)、Pacific Graphics、SCA 等图形学重要国际会议论文程序委员;图形学主要会议期刊审稿人;IEEE TVCG 编委(2024.1 起);ACM TOG 编委(2026.2 起) |
| 人才计划/科研项目 | 个人主持的国家级人才计划与科研项目,公开资料未披露(其所属"智能图形与交互"方向集体承担国家重点研发计划、国家自然科学基金重大/重点项目等) |
| 代表成果 | Rhythmic Gesticulator(SIGGRAPH Asia 2022 最佳论文奖)、GestureDiffuCLIP(SIGGRAPH 2023 荣誉提名)、Control VAE / MoConVQ(物理仿真运动控制系列)等 |
二、教育背景与职业履历
刘利斌的学术路径是典型的"名校本博—海外博后—产业首席科学家—回国建组"复合路线。据北京大学智能学院官网教师页:他 2009 年于清华大学获得数理基础科学专业学士学位,2014 年在清华大学获得计算机科学与技术专业博士学位;此后赴北美从事博士后研究——2015 年至 2017 年先后在加拿大不列颠哥伦比亚大学(UBC)及美国迪士尼研究院(Disney Research)任博士后研究员(时间区间据 CCF 全国计算机辅助设计与图形学学术会议官方讲者页),2017 年至 2020 年加入美国硅谷创业公司 DeepMotion Inc. 担任首席科学家,2020 年全职回国加入北京大学前沿计算研究中心(后转入智能学院)任助理教授。
其博士阶段的研究方向即已锁定"基于物理的角色运动控制":2010 年他与合作者发表的 Sampling-based Contact-rich Motion Control(ACM TOG / SIGGRAPH 2010)提出基于采样的富接触运动控制框架,是该方向的代表性早期工作;随后在 UBC/迪士尼博后期间继续深化采样控制与控制图学习(如 Guided Learning of Control Graphs for Physics-based Characters,ACM TOG 2016)。需要特别说明的是,其清华大学博士阶段的指导教师,北大官方页面与本人主页均未披露;网络传闻其师承胡事民院士,但未获任何官方来源证实,本报告按证据纪律记为"公开资料未披露"(其博士期间长期合作者包括尹康康(KangKang Yin)、郭百宁等物理仿真与图形学学者,仅可确认合作关系,不可据此推断师生关系)。
关于 UBC 博后阶段的合作导师,官方来源同样未明确记载;其该时期的代表性论文与 Michiel van de Panne 教授(UBC,物理仿真角色控制方向的领军学者之一)合著,"van de Panne 为其博后合作导师"的可能性较大,但本报告不作定论。
回国后,其研究从"物理仿真驱动的角色控制"逐步扩展为三条主线:其一是物理仿真与运动控制(Control VAE、MuscleVAE、MoConVQ 系列,让仿真角色从大规模非结构化数据中习得技能);其二是语音/文本驱动的数字人行为生成(Rhythmic Gesticulator、GestureDiffuCLIP、Semantic Gesticulator、Social Agent 等手势与对话行为合成系列);其三是 2024 年以来向具身智能与机器人的延伸(MoConVQ 接入大语言模型控制、DexHandover 双臂灵巧交接、WAM-TTT 世界动作模型等,多篇发表于 CoRL)。2020 年入职时官方口径为"在图形学顶级会议期刊发表论文 9 篇、引用 500 余次";至 2026 年,其团队年均在 SIGGRAPH/SIGGRAPH Asia、CVPR、ICCV、CoRL、Eurographics、ACM MM 等顶会稳定产出。
职业履历要点(时间线):
| 时间 | 事件 |
|---|---|
| 2009 | 清华大学数理基础科学专业学士 |
| 2009–2014 | 清华大学计算机科学与技术专业博士(导师公开资料未披露) |
| 2015–2017 | 加拿大 UBC、美国迪士尼研究院博士后 |
| 2017–2020 | 美国硅谷 DeepMotion Inc. 首席科学家 |
| 2020 | 全职回国,加入北京大学前沿计算研究中心(后转入智能学院),任助理教授 |
| 2022.12 | Rhythmic Gesticulator 获 SIGGRAPH Asia 2022 最佳论文奖 |
| 2024.1 | 出任 IEEE TVCG 编委 |
| 2025.3 | 受邀在 CVPR 2025 首届 Humanoid Agents Workshop 作报告 |
| 2026.2 | 出任 ACM TOG 编委 |
三、学生培养情况
刘利斌 2020 年建组,属青年 PI,其团队的公开学生信息以论文与学院官方报道为主,完整名单公开资料未披露。可确认的培养事实如下。
1. 敖腾隆(2020 级研究生,团队最早的代表性学生)
据北大智能学院 VCL 官方新闻与媒体公开报道,SIGGRAPH Asia 2022 最佳论文 Rhythmic Gesticulator 由"刘利斌研究团队历时一年半完成",第一作者即 2020 级研究生敖腾隆——这是北大智能学院在 SIGGRAPH Asia 上斩获最佳论文的标志性成果。此后敖腾隆持续作为一作/共同一作产出 GestureDiffuCLIP(SIGGRAPH 2023 荣誉提名)、Semantic Gesticulator(SIGGRAPH 2024)等工作,并参与 Social Agent(SIGGRAPH Asia 2025)等后续手势生成系列,是团队"语音驱动手势合成"路线的开创性学生作者。其毕业去向公开资料未披露。
2. 姚贺源(计算机学院 2021 级直博生,导师刘利斌——官方口径明确)
据北京大学计算机学院官方栏目"学旅漫谈"介绍,姚贺源为计算机学院 2021 级直博生,指导老师为刘利斌助理教授,研究方向为角色动画、刚体仿真与控制算法。他是团队"物理仿真运动控制"主线的核心学生作者:Control VAE(SIGGRAPH Asia 2022)与 MoConVQ(SIGGRAPH 2024)均由其担任第一作者。MoConVQ 提出统一的基于物理的运动控制离散表征,可支持动捕恢复、文生动作,乃至让大语言模型直接驱动仿真角色,是团队近年最受关注的代表作之一,代码已在 GitHub 开源。
3. 娄宇珂(2019 级本科生,本科生科研代表)
据 VCL 官方新闻,2019 级本科生娄宇珂作为合作者参与了 SIGGRAPH Asia 2022 最佳论文工作,是刘利斌吸纳本科生进入顶会科研的典型案例。
4. 高庆哲(访问博士,联合培养/合作学生)
据 VCL 官方新闻,高庆哲为 VCL 实验室访问博士,是 SIGGRAPH Asia 2022 最佳论文合作者;其后的 Neural Novel Actor(IEEE TVCG 2023,与德国马克斯·普朗克信息学研究所 Christian Theobalt、宾夕法尼亚大学 Lingjie Liu 合作)中亦为核心作者,体现了团队与国际顶尖动画/数字化身团队的联合培养通道。
5. 团队近年一作学生群体
其主页项目列表显示,近年来团队论文的一作学生还包括 Yusen Feng(MuscleVAE,SIGGRAPH Asia 2023)、Zeyi Zhang(GestureDiffuCLIP、Semantic Gesticulator、Social Agent、ProAct 等手势/对话行为系列)、Hanyang Cao(SRBTrack,SIGGRAPH Asia 2025,与韩国汉阳大学 Taesoo Kwon 合作)等;2026 年还有 DexterCap(Eurographics 2026,低成本手物交互动捕系统与 DexterHand 数据集)等以学生为主体的系统与数据集工作。上述学生的完整学籍信息与毕业去向,公开资料未逐一披露。
总体而言,其培养特色是:以 SIGGRAPH/SIGGRAPH Asia 系列为战绩主阵地,建组三年内即产出最佳论文级成果;强调"算法—系统—数据集—开源"的完整闭环(MoConVQ、MuscleVAE、Semantic Gesticulator 等均开源代码,DexterHand 数据集在 HuggingFace 发布);并通过与陈宝权、王益洲、王鹤等北大同事的合作为学生提供交叉课题出口。
四、学术合作网络
4.1 学院/实验室内部合作(VCL 与智能学院)
- 陈宝权(智能学院教授、副院长,VCL 负责人):刘利斌所在"智能图形与交互"方向的负责人与 VCL 实验室负责人,二人多次联合署名(Control VAE、Semantic Gesticulator、Rhythmic Gesticulator、电影摄影机扩散模型等)。需要强调并保持与本库陈宝权报告一致的是:刘利斌是陈宝权招募进入 VCL 平台的青年同事(PI),并非其学生,二者是"平台 + 青年团队"的合作关系。媒体将北大智能图形团队概括为"形与力"的二重奏:陈宝权主攻"形"(几何与三维建模),王滨与刘利斌主攻"力"(物理仿真与运动控制),刘利斌正是该方向"力"一侧的学术担当。
- 王益洲(前沿计算研究中心教授):合作 MotionBERT(ICCV 2023,人体运动统一表征)与 OpenDance(CVPR 2026 Oral,多模态可控三维舞蹈生成),是其在人体运动表征方向最紧密的院内合作者。
- 王鹤(助理教授)、张智政等:在具身智能方向合作 WAM-TTT(CoRL 2026)等工作;此外 Social Agent 与詹晓航(Xiaohang Zhan)合作。
- 楚梦渝、王滨:同为 VCL/智能图形方向物理仿真侧的青年同事与核心研究者(据陈宝权报告与本方向公开报道)。
4.2 国内合作
- 清华大学 / 微软亚洲研究院:清华是其本博母校;博士及前后时期与郭百宁(微软亚洲研究院/清华)合作采样控制方向工作(Improving Sampling-based Motion Control,CGF 2015),构成其学术起点圈。
- 浙江大学(CAD&CG 国家重点实验室):合作脉络延续十余年——2010 年 SIGGRAPH 论文即与浙大邵天甲、徐伟炜合作;2024 年的 CPoser(ACM TOG / SIGGRAPH Asia 2024)又与浙大任重、邵天甲、周昆团队合作,是其国内最稳定的图形学合作网络之一。
- 国内视觉/图形共同体:通过 MotionBERT(与上海人工智能实验室体系学者 Wayne Wu 等)、China3DV/Chinagraph 等国内会议活动(曾为 CCF Chinagraph 2022 "SIGGRAPH之夜"讲者)融入国内三维视觉与图形学学术圈。
4.3 国际合作
- UBC(Michiel van de Panne 团队):博后所在地与其物理仿真角色控制学术谱系的重要源头,双方长期合著(Sampling-based Contact-rich Motion Control、Guided Learning of Control Graphs 等)。
- 迪士尼研究院(Disney Research):博后经历使其与影视/动画产业研发体系建立直接联系。
- 德国马克斯·普朗克信息学研究所(Christian Theobalt):合作 Neural Novel Actor(IEEE TVCG 2023)及 GENEA 社区驱动的手势生成评测基准(CVPR 2026 Findings,合作者含 KTH 的 Gustav Eje Henter 等欧洲手势生成社区核心学者)。
- 韩国汉阳大学(Taesoo Kwon):合作 SRBTrack(SIGGRAPH Asia 2025)地形自适应运动跟踪。
- 法国雷恩一大/IRISA(Marc Christie):合作电影摄影机扩散模型(Eurographics 2024,与陈宝权共同署名)。
- 学术兼职与社区服务:SIGGRAPH(北美/亚洲)、Pacific Graphics、SCA 程序委员;TVCG、TOG 编委;CVPR 2025 Humanoid Agents Workshop 邀请报告人。
五、业界合作关系深度分析
5.1 DeepMotion 经历:从学术到 SaaS 产品的完整产业闭环
刘利斌产业经历中最重要的一环是 2017–2020 年担任美国硅谷创业公司 DeepMotion Inc.(deepmotion.com)首席科学家。该公司专注于 AI 动作捕捉与人体追踪,核心产品 Animate 3D 将普通视频一键转化为 3D 角色动画,后推出 SayMotion(文本生成 3D 动画),定位为"让动作捕捉平民化"的云服务,其创始团队来自暴雪、皮克斯、迪士尼等行业资深人士。需特别澄清的是:中文媒体常将该公司与国内同名自动驾驶公司"深动科技"(DeepMotion,高精地图/自动驾驶方向,已被小米收购)混淆——刘利斌任职的是美国硅谷的数字人/动捕公司 DeepMotion Inc.,与本库陈宝权报告中"DeepMotion(刘利斌曾任首席科学家)等硅谷创业公司"的表述一致。这段经历意味着他完整经历了"物理仿真 + 运动控制"学术技术栈转化为消费级 SaaS 产品的过程,是北大智能学院教师中少有的"产业首席科学家"出身者。
5.2 回国后的产学研形态:开源、数据集与具身智能
- 开源生态:团队以 GitHub 为主要技术输出渠道(MoConVQ、MuscleVAE、Semantic Gesticulator、DexterCap 等),并在 HuggingFace 发布 DexterHand 细粒度手物交互数据集;MoConVQ 展示了"仿真角色接入大语言模型"的路径,直接面向游戏、数字人与具身智能产业的技术需求。
- 具身智能新赛道:2026 年团队两篇论文入选 CoRL(DexHandover 基于大规模合成数据的双臂灵巧交接、WAM-TTT 测试时以人类视频引导世界动作模型,后者与王鹤(He Wang)等北大具身智能团队联合),另参与开放世界通用智能体 Lumine 技术报告,显示其研究重心正从纯图形学向"图形学 + 机器人"融合,这与人形机器人产业的爆发高度同频。
- 人才与创业:据公开资料,未见其本人或学生注册创业公司、完成融资的记录;其产业影响力主要以"前产业首席科学家履历 + 开源成果 + 校企合作论文"形式存在,属于"深度理解产业但立足学术"的路线。
六、重要奖项与学术兼职
| 类别 | 名称/内容 |
|---|---|
| 会议论文奖 | SIGGRAPH Asia 2022 最佳论文奖(Rhythmic Gesticulator,团队第一项、北大智能图形方向标志性奖项之一) |
| 会议论文奖 | SIGGRAPH 2023 荣誉提名论文(Honorable Mention,GestureDiffuCLIP) |
| 期刊编委 | IEEE TVCG 编委(2024.1 起);ACM TOG 编委(2026.2 起) |
| 会议程序委员 | SIGGRAPH(North America/Asia)、Pacific Graphics、SCA 等图形学重要国际会议论文程序委员;图形学主要会议与期刊审稿人(Eurographics 等) |
| 邀请报告 | CVPR 2025 首届 Humanoid Agents Workshop 邀请报告;CCF Chinagraph 2022 "SIGGRAPH之夜"讲者 |
| 国家级人才/科技奖项 | 公开资料未披露 |
七、Connection 圈层总结
刘利斌的学术关系网络呈现"一平台、三主线、双外环"的青年 PI 结构:
- 核心圈(VCL 平台 + PKU-MoCCA 团队):他依托陈宝权领导的 VCL 平台与智能学院"智能图形与交互"方向建制,以独立 PI 身份运营 PKU-MoCCA 团队。与陈宝权是"青年同事而非师生"的互补关系——陈主"形"、刘主"力",二人联合署名产出最佳论文级成果;院内与王益洲(运动表征)、王鹤(具身智能)形成稳定的联合指导网络。核心学生圈以敖腾隆(手势生成线)、姚贺源(物理仿真控制线)为两大主线的一作担当。
- 学术外环(师承与合作谱系):向后追溯是清华本博(博士导师公开未披露)—UBC(van de Panne 团队谱系)—迪士尼研究院的物理仿真角色控制学术正统;向外辐射是浙大 CAD&CG(周昆、任重、邵天甲)、MPI 信息学研究所(Theobalt)、GENEA 欧洲手势生成社区、汉阳大学等长期合作节点。其网络特征是"合作密集、师承披露稀薄"——正式师生关系证据少,而合作合著网络横跨亚欧美。
- 产业外环(DeepMotion 经验 + 具身智能新方向):硅谷动捕公司首席科学家的三年经历,使其成为国内图形学界罕见的"学术—产业双栖"青年学者;回国后以开源代码、数据集和 CoRL 级别机器人成果承接游戏、数字人与具身智能产业需求。
总体而言,刘利斌是北大智能图形板块中"物理仿真与运动控制"一侧的青年支柱:建组六年即在 SIGGRAPH Asia 最佳论文、SIGGRAPH/CoRL 系列与 TOG/TVCG 编委任期上完成学术立身,其网络价值在于连接"学院派图形学传统(清华—UBC—Disney 谱系)"与"具身智能产业新周期",且与陈宝权、王益洲、王鹤等形成北大校内的交叉联合体。随着其 2026 年出任 ACM TOG 编委并持续向机器人方向扩展,这一圈层预计将进一步从图形学社区向具身智能社区延展。
主要资料来源
- 北京大学智能学院教师页:刘利斌(sai.pku.edu.cn/info/1362/2389.htm,职称、教育履历、研究方向、学术服务)
- 北京大学人工智能研究院/前沿计算研究中心教师页:刘利斌(ai.pku.edu.cn/info/1158/1952.htm,入职时间口径、2020 年研究成果统计)
- 刘利斌个人主页(libliu.info,获奖记录、编委任期、代表项目与近年论文列表)
- 北大智能学院 VCL 官方新闻:《VCL 实验室论文荣获 SIGGRAPH Asia 2022 最佳论文奖》(cis.pku.edu.cn/info/1088/2377.htm,团队归属、敖腾隆/高庆哲/娄宇珂/陈宝权署名信息)
- CCF 全国计算机辅助设计与图形学学术会议 2022"SIGGRAPH之夜"讲者页(tc.ccf.org.cn,博后与 DeepMotion 时间区间)
- 智能学院"智能图形与交互"学科方向页(cis.pku.edu.cn/info/1087/2308.htm,方向定位、科技冬奥与集体获奖信息)
- 北京大学计算机学院"学旅漫谈 2024":姚贺源的 SIGGRAPH 之旅(姚贺源导师为刘利斌、MoConVQ 介绍)
- DeepMotion Inc. 官网(deepmotion.com,Animate 3D / SayMotion 产品与公司定位)
- 机器之心等媒体对 SIGGRAPH Asia 2022 最佳论文的报道(baijiahao.baidu.com/s?id=1751521774969609542)
- 本库《北大智能学院 陈宝权 教授》报告(pku_sai_chenbaoquan_network.md,VCL 构成、"形与力"定位、刘利斌非陈宝权学生之澄清)