南京大学 姚遥
报告生成时间：2026年 个人主页：https://yoyo000.github.io 所属团队：南京大学智能科学与技术学院（苏州校区）/ NJU-PIL 物理智能实验室（原NJU-3DV 三维视觉实验室）
一、学者基本信息
| 项目 | 内容 |
|---|---|
| 姓名 | 姚遥（Yao Yao） |
| 现任职务 | 南京大学智能科学与技术学院（苏州校区）准聘副教授（Tenure-Track Associate Professor）、博士生导师 |
| 学院邮箱 | yaoyao@nju.edu.cn |
| 个人主页 | https://yoyo000.github.io |
| 研究方向 | 三维计算机视觉与图形学交叉——三维重建、可微渲染、三维内容生成（3D Content Creation）、世界模型（World Models）、物理智能（Physical Intelligence） |
| 代表性成果 | MVSNet 系列、BlendedMVS 数据集、NeILF 系列、Direct3D/Direct2.5 系列、Gaussian-Flow（CVPR 2024 Highlight）、SpatialVID 数据集、P3D-Bench |
| 人才计划 | 国家级青年人才计划青年项目（海外，2022 年）；（注："姑苏创新领军人才"仅见于部分介绍且公开来源未独立证实，以官方口径为准） |
| 主要奖项 | ICPR 2020 Best Student Paper Award |
| 行政角色 | 部分论坛/新闻稿中称为"院长助理"，以学院官网最新信息为准 |
| Google Scholar 引用 | 逾 4000 次（据 2024 年常州大学讲座口径） |
| DBLP 主页 | https://dblp.org/pid/131/3200.html |
重要区分说明： 姚遥隶属南京大学智能科学与技术学院（苏州校区），其实验室在其本人主页表述为 NJU-PIL 物理智能实验室（前身 NJU-3DV）。（注：第三方公开资料多作"NJU-3DV & Graphics"；"更名 NJU-PIL"系据本人主页引述，官方更名口径待核实。）与本目录中 nju_meta_faculty_network（计算机学院 META Graphics 组，郭延文、过洁、张岩、李元琪）不属同一团队。本报告所有分析均基于前者展开。
二、教育背景与职业履历
2.1 教育经历
| 时间段 | 学校与专业 | 学位 | 导师 |
|---|---|---|---|
| 2011–2015 | 南京大学 电子工程类（ECE） | 学士 | 曹汛（Xun Cao）教授 |
| 2015–2019 | 香港科技大学 计算机科学与工程系（CSE） | 博士 | 权龙（Long Quan）教授 |
- 本科导师曹汛：南京大学电子科学与工程学院教授，研究方向为计算摄像与三维视觉。姚遥在本科阶段即跟随曹汛从事三维视觉相关研究，为后续学术方向奠定基础。
- 博士导师权龙：香港科技大学 CSE 终身教授，计算机视觉与图形学领域世界级专家。在权龙指导下，姚遥完成了 MVSNet 系列等奠基性工作，并参与创办 Altizure，其学术轨迹与产业应用自此深度绑定。
2.2 职业履历
| 时间段 | 机构与职位 | 关键信息 |
|---|---|---|
| 2018–2020 | Altizure 创始团队核心成员 | HKUST 教授权龙在校创办的三维重建云平台，后被苹果收购 |
| 2020–2022 | Apple 高级研究员（Senior Researcher） | 随 Altizure 收购加入苹果，从事三维视觉研究；贡献包括 Apple Object Capture API |
| 2022–至今 | 南京大学智能科学与技术学院（苏州校区）准聘副教授、博导 | 2022 年国家级人才计划（海外）入选者；在苏州校区组建 NJU-3DV 实验室（后按其本人口径发展为 NJU-PIL） |
履历特点——"学术—创业—产业—教职"四段式路径：姚遥的职业路径在智科院青年教师中独树一帜——从学术起步（HKUST 博士），经创业（Altizure 创始核心成员），进入产业界（苹果高级研究员），最终回归高校任教。这一路径使其兼具学术前沿判断力与工业产品落地经验。
2.3 师承谱系
权龙（Long Quan，HKUST CSE 终身教授，计算机视觉与图形学世界级专家）
└─ 姚遥（博士 2019 届 HKUST；Altizure 创始核心成员→Apple 高级研究员→南大智科院准聘副教授）
└─ NJU-PIL 团队成员（朱昊、龙霄潇等共同指导博士生/硕士生/博士后）
姚遥的师承结构与智科院多数教师不同：其导师权龙并非南大体系出身，而是香港科技大学教授。这意味着姚遥在南大的学术网络属于"海归新建型"而非"本土谱系延伸型"，其同门网络以 HKUST 计算机视觉团队为核心。
三、学生培养情况
3.1 实验室建制
姚遥在南京大学智能科学与技术学院创立并共同领导 NJU-3DV 三维视觉实验室（NJU 3D Vision Lab），该实验室后更名为 NJU-PIL 物理智能实验室（Physical Intelligence Lab）。实验室由姚遥、朱昊（Zhu Hao）、龙霄潇（Long Xiaoxiao）三位教师共同指导。据公开第三方整理，NJU-3DV & Graphics 的实验室架构为： - 实验室负责人：姚遥（海优） - 主要成员：朱昊、龙霄潇
其中龙霄潇为 2024 年海外优青入选者（博士毕业于港大，2023 年），2025 年 WACI 云帆奖获得者，研究方向涵盖三维生成（SyncDreamer、Wonder3D、Craftsman3D 等）与世界模型。朱昊亦为南大智科院教师，在多篇 CVPR 2025 论文中与姚遥课题组密切合作（FATE、Mitigating Ambiguities in 3D Classification 等）。
3.2 招生与培养
姚遥个人主页明确开放博士后（PostDoc）和研究助理（RA）申请，并在多所高校讲座中介绍实验室研究方向与招生需求。其课题组覆盖以下六大方向： 1. 三维重建与 AI for Engineering 2. 三维内容生成（Direct3D 系列） 3. 可微渲染（NeILF 系列） 4. 世界模型（World Models） 5. 具身/物理智能（Physical Intelligence） 6. 空间智能与机器人感知
培养成果线索： - 2024–2025 年 CVPR 系列论文（Direct2.5、Gaussian-Flow、Matrix3D、FATE 等）中大量出现"学生一作"或"学生共同作者"，具体身份公开资料未逐人披露，报告不作推断。 - 据南大苏州校区官网新闻，姚遥指导的团队在 Direct2.5 与 Gaussian-Flow 等项目论文中以前者学生为第一作者形式发表。
注：学生具体名单（姓名、年级、毕业去向）及导师—学生对应关系因公开资料未完整披露，本报告不进行推断。以上信息以学术产出中第一作者/共同作者的论文贡献为间接线索。
四、学术合作网络
4.1 实验室内部 / 南大智科院合作
姚遥在 NJU-PIL（原 NJU-3DV）内部与朱昊、龙霄潇两位教师形成教学与科研协作关系。通过近年论文署名分析，以下合作模式可考：
| 合作对象 | 机构 | 主要合作载体 |
|---|---|---|
| 朱昊（Zhu Hao） | 南大智科院 NJU-PIL 共同指导 | FATE（CVPR 2025），多篇 3DGS/面部建模工作 |
| 龙霄潇（Long Xiaoxiao） | 南大智科院 NJU-PIL 共同指导 | 三维生成、世界模型方向（SyncDreamer 等前瞻），但 DBLP 直接合著尚不密集 |
| 曹汛（Xun Cao） | 南大电子学院（本科导师） | Flow Distillation Sampling（ICLR 2025）、FATE（CVPR 2025）、Matrix3D（CVPR 2025）等 |
| 其他学院同事 | 南大智科院/电子学院 | 部分三维视觉/图形学论文的合著，具体范围覆盖多篇 CVPR/ICLR 论文 |
姚遥与本科导师曹汛教授的深入合著关系是其南大校内网络中最稳定的一条线索。曹汛团队（计算成像技术实验室，CITE Lab）与姚遥团队在多篇 CVPR 2025 / ICLR 2025 论文中协同发表，说明两人虽分属不同学院（电子学院 vs. 智科院），但保持了持续的合作纽带。
4.2 跨机构 / 国际合作
4.2.1 博士导师核心网络（HKUST 系）
权龙教授在 HKUST 的长期积累意味着姚遥拥有一个以港科大为中心的学术同门网络。MVSNet 系列论文的作者群是其最稳定的合作单元：
| 合作者 | 合作内容 | 现机构/身份 |
|---|---|---|
| 骆子新（Zixin Luo） | MVSNet、R-MVSNet、BlendedMVS | 据公开资料曾在华为等企业从事三维视觉 |
| 李世伟（Shiwei Li） | MVSNet、R-MVSNet、BlendedMVS、Matrix3D（CVPR 2025） | 现参与 Matrix3D 项目，关联苹果三维视觉 |
| 方天（Tian Fang） | MVSNet 等 | Apple / 三维重建领域 |
| 张景阳（Jingyang Zhang） | BlendedMVS、Matrix3D（CVPR 2025） | NJU / Matrix3D 大摄影测量模型 |
| 沈天蔚（Tianwei Shen） | R-MVSNet（CVPR 2019） | 三维视觉 |
这一网络的特征是：大部分成员在姚遥博士毕业后仍保持合作，并在 2025 年仍有论文联合发表（如 Matrix3D, CVPR 2025），体现 HKUST 三维视觉团队"星散而不散"的长期协作关系。
4.2.2 南大—港科大三视觉集群
姚遥利用南大与港科大的地理与学术亲缘关系，构建了一个跨越"南大电子学院（曹汛）—南大智科院（姚遥团队）—港科大（权龙团队）"的三方合作集群。Matrix3D（CVPR 2025）论文的作者组合（Lu Y, Zhang J, Fang T, Nahmias J D, Tsin Y, Quan L, Cao X, Yao Y, Li S）即为这一集群的典型成果——集合了苹果研究团队、港科大权龙组、南大曹汛与姚遥组四方力量。
4.2.3 国际产业界合作
姚遥在苹果公司期间（2020–2022）深度参与了 Apple Object Capture API 的研发，并与苹果三维视觉研究团队（包括 Yang Tsin、Jonathan D. Nahmias 等）保持合作联系，后者亦在 Matrix3D（CVPR 2025）等论文中署名。
此外，据其个人主页的 Products 板块，姚遥参与创建了 Neural4D 品牌（https://www.neural4d.com/），这是一个三维内容生成与可微渲染技术的产业化出口。围绕 Neural4D 的 TEXTRIX、ComGS 等成果，可以推测其背后存在一个跨机构的技术转化合作网络，但具体合作者与运营细节公开资料未披露。
五、业界合作关系深度分析
5.1 Altizure 创业 — 从实验室到被苹果收购
姚遥学术生涯中最独特的产业经历，是作为 Altizure 创始团队核心成员参与了这家公司从 0 到 1 的创业全过程。Altizure 是权龙教授在港科大创立的公共三维重建云平台——用户通过手机或无人机拍摄照片并上传至平台，即可自动生成三维模型。2020 年，Altizure 被苹果公司收购，姚遥亦随收购加入苹果。
这一路径在学术报告人中的意义在于： - MVSNet 系列不仅是学术论文，更是 Altizure 产品的核心技术组件，实现了"论文→代码→产品"的完整闭环。 - 标准 CVPR/ECCV 发表经历了产业需求检验，证明其三维重建方法在实际场景中具有实用性。
5.2 Apple 高级研究员 — Object Capture API 与消费级三维视觉
姚遥在苹果公司任高级研究员期间，核心贡献之一是参与 Apple Object Capture API（WWDC 2021 发布）的研发。该 API 是苹果面向消费级市场推出的三维重建工具，允许用户通过 iPhone/iPad 拍摄照片序列自动生成可用于 AR/VR 的三维模型。它可被视作 Altizure 技术在苹果生态中的延续——从云端服务变为设备端 API，大幅降低了三维重建的使用门槛。
这一产学研路径的直接结果是：姚遥的研究（MVSNet 系列）最终进入数以亿计苹果设备的系统级功能，这是三维视觉领域罕见的学术成果直接落地消费级产品的案例。
5.3 Neural4D — 独立创业/技术品牌
姚遥的个人主页明确列出了 Neural4D（https://www.neural4d.com/）作为其参与的 Products 之一。根据其 Research 板块与 News 更新，Neural4D 同时承载了： - TEXTRIX（2025 年 12 月）：原生纹理生成工具 - ComGS（2025 年 9 月）：3DGS 组合/编辑工具 - 更多研究论文与技术的产业化出口
Neural4D 的商业结构、团队规模和运营数据公开资料未披露。
5.4 苹果 Object Capture 技术的学术根源与产业映射
| 时间线 | 形态 | 关键事件 |
|---|---|---|
| 2018 | 学术论文 | MVSNet（ECCV 2018）发表，基于深度学习的多视图立体匹配 |
| 2019 | 产品 | Altizure 平台依托 MVSNet/R-MVSNet 技术运营 |
| 2020 | 收购 | Altizure 被苹果收购，姚遥加入苹果 |
| 2021 | 平台级产品 | Apple Object Capture API（WWDC 2021）发布 |
| 2022–至今 | 新实验室 | 南大 NJU-3DV / NJU-PIL 成立，继续推进 3D 内容生成 |
这构成了一条清晰的"学术论文 → 初创公司 → 技术收购 → 平台级产品 → 回归学术界"的完整闭环。在三维视觉领域，能完成这一链条的研究者极为稀少。
5.5 产业问题与技术路线的对应关系
| 产业/应用约束 | 姚遥团队相关技术议题 | 代表通道 |
|---|---|---|
| 三维重建成本高、人工介入多 | 端到端学习 MVS、无需主动扫描仪的多视图重建 | MVSNet / R-MVSNet / BlendedMVS |
| 三维内容生成速度慢、不可控 | 直接生成（非 SDS 优化）、2.5D 扩散、Latent DiT | Direct3D / Direct2.5（30 分钟→10 秒） |
| 渲染真实性不足，缺乏材质/光照 | 神经入射光场（NeILF）、可微渲染、重光照 3DGS | NeILF / NeILF++ / Relightable 3DGS |
| 动态场景重建效率低 | 双域时间运动模型（DDDM）、高频时空建模 | Gaussian-Flow（2 秒/帧→0.008 秒/帧） |
| 世界模型/具身智能空间感知 | 视频世界模型、流式 3D 感知、参数化 3D 评测 | LingBot-World / LingBot-Map / P3D-Bench |
六、重要奖项与学术兼职
| 类别 | 名称 | 年份 |
|---|---|---|
| 最佳论文奖 | ICPR 2020 Best Student Paper Award | 2020 |
| 人才计划 | 国家级人才计划青年项目（海外） | 2022 |
| 人才计划 | 江苏省姑苏创新领军人才 | 多个权威公开来源未明确提及此头衔，官方口径待核实 |
| 科研项目 | 国自然海外优青项目（负责人） | 2023– |
| 科研项目 | 国自然元宇宙专项项目（负责人） | 公开资料未披露 |
| 科研项目 | 科技部重点研发计划课题（参与/负责） | 公开资料未披露 |
注：姚遥担任的学术兼职（如期刊审稿人、会议程序委员等）公开资料未系统披露，此处仅列有明确出处的奖项与项目。
七、Connection 圈层总结
第一圈层——博士导师与同门网络。 权龙（Long Quan）是姚遥整个学术生涯的起点与核心引路人。博士期间与骆子新、李世伟、方天、沈天蔚等形成的合作单元延续至今（如 Matrix3D，CVPR 2025），是姚遥学术网络中最稳定、最长寿的圈层。该圈层的学术风格——三维重建以几何为核心、强调实际产品验证——也已成为姚遥团队的显著标志。
第二圈层——南大智科院新团队。 姚遥在苏州校区与朱昊、龙霄潇共同指导 NJU-PIL 实验室，组建了以"三维视觉 + 物理智能"为主线的年轻团队。与本科导师曹汛（南大电子学院）的持续合作（ICLR 2025、CVPR 2025 多篇）则将智科院与电子学院的研究力量打通，构成南大校内跨学科合作的重要通道。
第三圈层——产学研闭环（Altizure → Apple → NJU）。 这是姚遥区别于多数青年教师的独一无二圈层。MVSNet→Altizure→Apple Object Capture API 的完整链条，使其学术成果达到了消费级产品的直接影响力。这一经历带来的不仅是产业经验，更有苹果公司的研究资源网络（Yang Tsin 等合作者）。回国后 Neural4D 品牌的运营则表明其继续以独立技术品牌推动成果转化。
第四圈层——国际三维视觉学术社区。 以南大—港科大—苹果为三角节点，姚遥在基于学习的多视图立体（MVS）、可微渲染、三维内容生成等领域建立了覆盖 CVPR/ICCV/ECCV/ICLR 等顶会的发表网络。其 2024–2025 年的高产期（Gaussian-Flow Highlight、Direct2.5、Matrix3D、Flow Distillation Sampling 等）表明网络正快速扩张。
第五圈层——前沿拓展：世界模型与物理智能。 2025–2026 年姚遥实验室密集发布了 SpatailVID 数据集、P3D-Bench、LingBot-World、LingBot-Map、Procedura 等工作，标志着研究方向从三维重建/生成向视频世界模型、流式感知、Agentic 三维建模等前沿领域延伸。这一拓展与其实验室更名（NJU-3DV → NJU-PIL）同步，显示其对物理智能方向的中长期布局。
数据来源与局限性说明
本报告信息主要来源于以下公开渠道： 1. 南京大学智能科学与技术学院官方教师页面（njusz.nju.edu.cn） 2. 姚遥个人主页（yoyo000.github.io，含研究兴趣、News、Products 等板块） 3. 南大苏州校区官方新闻（Direct2.5、Gaussian-Flow 报道） 4. 南大计算成像技术实验室（CITE）论文页面 5. 清华大学 AIR 学术报告资料（2024 年 11 月） 6. 常州大学学术讲座简介（2024 年 12 月） 7. 智科院官网关于 8 位大厂精英引进的新闻报道 8. 知乎等第三方南大 CS 学科分析文章（NJU-CV 师资团队构成，用于交叉验证实验室归属） 9. DBLP 作者页面及多条论文元数据 10. 百家号"Z世代归来@苏州之约"人物深度报道
局限性说明：
- 引用量与发表统计的精度： 姚遥的 Google Scholar 引用量截至 2024 年底讲座介绍为"逾四千次"，学院官方页面为"逾两千次"（可能为较早快照），本报告取较新数据源的引用数字；具体的 DBLP pid（131/3200）因 DBLP 反爬机制未能完成实时抓取解析，发表总数及合作者频次统计未能在本报告中系统展示。
- 团队成员身份： NJU-PIL 学生的具体身份（姓名、学年、研究方向）公开渠道未逐一披露，报告未作推断。实验室成员的论文第一作者身份可反向指引培养关系。
- 行政角色： "院长助理"头衔出现在部分论坛稿与新闻报道中，但学院官方教师页面未列明该角色。本报告在基本信息栏提及但注明口径。
- 产业信息边界： Neural4D 的公司运营细节、Altizure 与苹果收购的商务条款、具体企业合作名单均未公开披露。
- 重名问题： 姚遥为常见中文姓名（存在歌手、创业者等多位同名者），本报告已确保全部内容对准三维视觉学者姚遥，交叉验证基于 alma mater、专业方向、获奖与发表记录等唯一标识信息。
- 与 META Graphics 组的区分： 本报告所涉及的所有分析均以智能科学与技术学院（苏州校区）NJU-PIL 实验室为边界，与计算机学院 nju_meta_faculty_network（郭延文、过洁、张岩、李元琪组）无交叉引用关系。