01 / 超级智能
迈向
超级智能。
研究具备跨模态理解、推理与创造能力的高效基础模型，探索通往超级智能的路径。
Weijian (William) Luo · 博士
Weijian (William) Luo - PhD
更高效的智能
才能推动更广泛的落地。
小红书 hi-lab 高级研究科学家。探索下一代高效，智能的基础模型范式。
研究科学家hi-lab · 小红书
中国 · 北京
关于我
数学物理背景，
大模型研发。
Weijian 现任小红书（RedNote） Humane Intelligence（hi）实验室的 RedStar 高级研究科学家。目前，他在 hi-lab 带领大规模生成式理解基础模型研究团队。他于北京大学数学科学学院获得统计学与生成建模方向博士学位，此前亦在北京大学数学科学学院获得应用统计学硕士学位，并于中国科学技术大学（USTC）获得数学学士学位。
博士
北京大学
统计学与生成建模
理学硕士
北京大学
应用统计学
理学学士
中国科学技术大学
数学
研究方向
超级智能，向前一步。
以更少计算，释放更强智能，让超级智能触手可及。
迈向
02 / 生成
从扩散模型，
到一步生成。
探索高效的一步文生图与视频生成，用千倍的效率普及超级智能。
03 / 对齐
以人类偏好
为出发点。
通过强化学习与反馈，让生成式模型更好地对齐环境回报。
更多研究介绍
Weijian 的早期工作为现代一步文生图模型的理论与实践奠定了基础。目前，他在 hi-lab 带领大规模生成式理解模型研究团队，致力于开发高效的生成式理解模型，使其具备推理能力、理解人类意图，并实时生成视觉与音频响应。他也负责下一代生成式模型的研究方向，包括大规模一步文生图与视频生成模型。
代表性论文
让想法，成为成果。
ICML 2026
TDM-R1：利用不可微奖励强化少步扩散模型
TDM-R1: Reinforcing Few-Step Diffusion Models with Non-Differentiable Reward
面向少步生成模型的强化学习。
阅读论文
Transactions on Machine Learning Research (TMLR)，2024
Diff-Instruct++：将一步文生图模型与人类偏好对齐
Diff-Instruct++: Training One-step Text-to-image Generator Model to Align with Human Preferences
让一步图像生成更好地对齐人类偏好。
阅读论文
NeurIPS，2023
Diff-Instruct：从预训练扩散模型迁移知识的通用方法
Diff-instruct: A Universal Approach for Transferring Knowledge from Pre-trained Diffusion Models
将扩散模型的知识迁移到一步生成器。
阅读论文
NeurIPS，2024
通过得分隐式匹配实现一步扩散蒸馏
One-Step Diffusion Distillation through Score Implicit Matching
通过隐式得分散度梯度，实现无需训练图像的一步扩散蒸馏。
阅读论文
ICLR 2026
通过离散扩散散度指导实现超快速语言生成
Ultra-Fast Language Generation via Discrete Diffusion Divergence Instruct
通过积分 KL 匹配，将离散扩散语言模型蒸馏为少步生成器。
阅读论文
arXiv 预印本，arXiv:2304.04262，2023
扩散模型知识蒸馏综述
A Comprehensive Survey on Knowledge Distillation of Diffusion Models
系统梳理扩散蒸馏、隐式生成器与无需训练的加速采样方法。
阅读论文探索中的记录
最新动态。
- 论文获 NeurIPS 2026 接收。
Ultra Fast PDE Solving via Physics Guided Few-step Diffusion 了解更多 ↗ - 论文获 TPAMI 接收。
ZeroDiff++: Substantial Unseen Visual-semantic Correlation in Zero-shot Learning 了解更多 ↗ - 论文获 NeurIPS 2026 接收，并已在 arXiv 公开。
Diff-Instruct with Diffused Reward: Towards Principled One-step Generator RL 了解更多 ↗ - 论文已在 arXiv 公开。
Unbiased Diffusion Variational Inversion via Principled Posterior Matching 了解更多 ↗ - 论文已在 arXiv 公开。
Designing Transformers for Continuous Diffusion Language Models 了解更多 ↗ - 论文已在 arXiv 公开。
The Generative Gap Between Speculative Drafter and Continuous Diffusion Language Model 了解更多 ↗
往期动态 44 条动态 · 2023–2026
- 论文已发布至Arxiv.
Taming the Entropy Cliff: Variable Codebook Size Quantization for Autoregressive Visual Generation (Zheng et al., 2026)。
首次研究自回归视觉生成模型中的熵崖现象。 - 论文获接收：ICML 2026（韩国首尔）
TDM-R1: Reinforcing Few-Step Diffusion Models with Non-Differentiable Reward (Luo et al., 2026)。
探索利用不可微奖励强化少步生成模型的方法，并训练了 6B 参数的四步生成模型。 - 论文获接收：ICML 2026（韩国首尔）
Let Language Constrain Geometry: Vision-Language Models as Semantic and Spatial Critics for 3D Generation (Bai et al., 2025)。
引入视觉语言模型奖励，同时支持基于 SDS 与前馈模型的三维生成。 - 论文获接收：TPAMI
One-step Diffusion and Flow Distillation through Implicit Generator Matching (Huang et al., 2026) .
一步扩散与流模型生成器匹配的理论与实践。 - 论文已发布至arXiv
TDM-R1: Reinforcing Few-Step Diffusion Models with Non-Differentiable Reward (Luo et al., 2026)。
探索利用不可微奖励强化少步生成模型的方法，并训练了 6B 参数的四步生成模型。 - 论文获接收：CVPR 2026
Masked Auto-Regressive Variational Acceleration: Fast Inference Makes Practical Reinforcement Learning (Gu et al., 2025)。
探索掩码自回归模型的加速与强化学习原理。 - 论文已发布至arXiv
ZeroDiff++: Substantial Unseen Visual-semantic Correlation in Zero-shot Learning (Ye et al., 2026)。
利用生成式扩散模型改进零样本学习（ZSL）。 - 论文已发布至arXiv
Ultra Fast PDE Solving via Physics Guided Few-step Diffusion (Cindy et al., 2026)。
在一秒以内求解偏微分方程（PDE）。 - 论文获接收：ICLR 2026
Ultra-Fast Language Generation via Discrete Diffusion Divergence Instruct (Zheng et al., 2025)。
在相同模型规模下，仅用 16 次函数评估（NFE）即可超越使用 1024 次评估的 GPT-2 和离散扩散语言模型。 - 论文获接收：Transactions on Machine Learning Research (TMLR)。
Dive3D: Diverse Distillation-based Text-to-3D Generation via Score Implicit Matching (Bai et al., 2025) Dive3D 将 Score-implicit Matching 方法引入文生三维任务，显著提升生成的多样性与质量。 - 论文已发布至arXiv
Masked Auto-Regressive Variational Acceleration: Fast Inference Makes Practical Reinforcement Learning (Gu et al., 2025)。
提出掩码自回归模型蒸馏与强化学习的基础方法。 - 论文已发布至arXiv
Let Language Constrain Geometry: Vision-Language Models as Semantic and Spatial Critics for 3D Generation (Bai et al., 2025)。
引入视觉语言模型奖励，同时支持基于 SDS 与前馈模型的三维生成。 - 论文已发布至arXiv
Ultra-Fast Language Generation via Discrete Diffusion Divergence Instruct (Zheng et al., 2025)。
提出 DiDi-Instruct 少步语言模型，在相同模型规模下，仅用 16 次函数评估即可超越使用 1024 次评估的 GPT-2 和离散扩散语言模型。 - 论文获接收：NeurIPS 2025（美国圣迭戈、墨西哥城）。
Reward-Instruct: A Reward-Centric Approach to Fast Photo-Realistic Image Generation (Luo et al., 2025)。
发现配合适当正则化的奖励最大化，可以有效训练大规模少步文生图模型。 - 论文获接收：NeurIPS 2025（美国圣迭戈、墨西哥城）。
Uni-Instruct: One-step Diffusion Model through Unified Diffusion Divergence Instruction (Wang et al., 2025) Uni-Instruct 在理论上统一了十余种一步扩散蒸馏方法，并在 ImageNet64 生成基准上取得 1.02 的一步 FID。 - 论文获 IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）。
Self-Guidance: Boosting Flow and Diffusion Generation on Their Own (Li et al., 2024)。
祝贺指导的学生 Tiancheng 在博士一年级获得 TPAMI 论文接收。 - hi-lab 发布 dots.VLM1：基于 DeepSeek V3 语言模型架构与内部研发的 1.2B 参数 MoE 视觉编码器构建的大规模通用视觉语言模型。语言视觉模型与视觉编码器均从零训练，并在部分指标上达到领先模型的水平。
Technical report of the dots.vlm1. (hi-lab multimodal team) - 预印本已发布至arXiv。
Dive3D: Diverse Distillation-based Text-to-3D Generation via Score Implicit Matching (Bai et al., 2025) Dive3D 将 Score-implicit Matching 方法引入文生三维任务，显著提升生成的多样性与质量。 - 预印本已发布至arXiv。
Uni-Instruct: One-step Diffusion Model through Unified Diffusion Divergence Instruction (Wang et al., 2025) Uni-Instruct 在理论上统一了十余种一步扩散蒸馏方法，并在 ImageNet64 生成基准上取得 1.02 的一步 FID。 - 论文获接收：国际机器学习大会（ICML）2025。
Diff-Instruct*: Towards Human-Preferred One-step Text-to-image Generative Models (Luo et al., 2024) 提出基于得分的 PPO 算法，用于一步文生图模型的强化学习微调。开源的 0.6B 参数 DIstar-SDXL-1step model 在人类偏好评分上超越了 12B 参数的 FLUX-dev diffusion model。 - 预印本已发布至arXiv。
Rewards Are Enough for Fast Photo-Realistic Text-to-image Generation (Luo et al., 2025)。
发现配合适当正则化的奖励最大化，可以有效训练大规模少步文生图模型。 - 论文获接收：CVPR 2025。
Schedule On the Fly: Diffusion Time Prediction for Faster and Better Image Generation (Ye et al., 2024)。
探索利用强化学习训练扩散模型，构建具备自适应生成步数的模型。 - 预印本已发布至arXiv。
Self-Guidance: Boosting Flow and Diffusion Generation on Their Own (Li et al., 2024)。
Self-Guidance 能够改善扩散模型与流模型所生成图像中的手部和身体细节。 - 预印本已发布至arXiv。
Schedule On the Fly: Diffusion Time Prediction for Faster and Better Image Generation (Ye et al., 2024)。
提出通过强化学习训练可变时间调度扩散模型的方法。 - 一篇独立作者论文获 Transactions on Machine Learning Research（TMLR）。
Diff-Instruct++: Training One-step Text-to-image Generator Model to Align with Human Preferences (Luo, 2024)。
Diff-Instruct++ 研究一步文生图模型的人类偏好对齐，将偏好对齐与扩散、流模型蒸馏相结合。 - 受邀在 Google DeepMind 扩散模型读书会作报告：迈向符合人类偏好的一步文生图模型。报告幻灯片见 [Slides]。
- 受邀于 11 月 12 日为 Google DeepMind 研究团队作线上内部学术报告，主题为一步文生图模型：从扩散蒸馏到人类偏好对齐。报告将从人类反馈强化学习（RLHF）的角度，介绍提升一步与少步文生图模型人类偏好的研究进展。技术细节可参见 Diff-Insruct++ 与 Diff-Insruct*。
- 在北京大学 Dr. Sun 带领的生物医学工程实验室作受邀报告，主题为扩散模型蒸馏的近期进展。
- 访问位于杭州的西湖大学 Dr. Qi 带领的 MAPLE 实验室，并向实验室成员作高效生成式模型报告。
- 预印本已发布至arXiv。
One-step Flow Matching Generators (Huang et al., 2024)。
提出将基于流匹配的 Stable Diffusion 3 模型蒸馏为高性能一步生成器的方法。 - 预印本已发布至arXiv。
Diff-Instruct*: Towards Human-Preferred One-step Text-to-image Generative Models (Luo et al., 2024)。
提出 Diff-Instruct*，通过在线 RLHF 与通用得分约束，训练符合人类偏好的大规模一步文生图模型。所得 0.6B 参数 DiT-DI* 模型取得 28.70 的 HPSv2.0 评分。 - 预印本已发布至arXiv。
Diff-Instruct++: Training One-step Text-to-image Generator Model to Align with Human Preferences (Luo, 2024)。
提出 Diff-Instruct++，探索大规模一步文生图模型的人类偏好对齐。对齐后的 0.6B 参数 DiT-DI++ 模型取得 28.48 的 HPSv2.0 评分。 - 于 10 月 14 日在 Peking University 完成博士论文答辩。衷心感谢导师、家人与朋友们的帮助和支持。
- 论文获接收：NeurIPS 2024。
One-step Diffusion Distillation Through Score Implicit Matching (Luo et al., NeurIPS 2024)。
提出得分隐式匹配（Score Implicit Matching），用于一步扩散蒸馏与一步文生图。感谢 Zico Kolter 教授与 Guo-jun Qi 教授的支持。 - 论文获接收：ICML 2024。
Variational Schrödinger Diffusion Models (Deng et al., ICML 2024)。
提出高效、无需模拟的薛定谔扩散模型，可用于图像与时间序列生成。祝贺 Yixin 与 Deng 博士。 - 论文获接收：NeurIPS 2023。
Diff-instruct: A Universal Approach for Transferring Knowledge from Pre-trained Diffusion Models (Luo et al., NeurIPS 2023)。
Diff-Instruct 从分布匹配的角度实现一步扩散蒸馏，可用于文生三维与改进 GAN 生成器。 - 论文获接收：NeurIPS 2023。
Entropy-based Training Methods for Scalable Neural Implicit Samplers (Luo et al., NeurIPS 2023)。
提出用于神经隐式采样器的 KL 训练与 Fisher 训练两种方法。 - 论文获接收：NeurIPS 2023。
SA-Solver: Stochastic Adams Solver for Fast Sampling of Diffusion Models (Xue et al., NeurIPS 2023)。
基于随机 Adams 方法提出新型扩散采样器，并集成到 PixelArt-alpha 扩散模型中。 - 论文获接收：NeurIPS 2023。
Enhancing Adversarial Robustness via Score-based Optimization (Zhang et al., NeurIPS 2023)。
提出基于预训练扩散模型、通过优化实现对抗防御的方法。 - 论文已发布至arXiv。
A Comprehensive Survey on Knowledge Distillation of Diffusion Models (Luo, 2023)。
关于扩散蒸馏与扩散模型知识迁移的首篇综述。
交流与思考
让想法，彼此启发。
- 受 Google DeepMind Research 邀请，于 2024 年 11 月 12 日作一步跨模态生成模型报告。幻灯片：A Path to Human-preferred One-step Text-to-image Generative Models。
- 受 18th X-AGI && China-R Conference 邀请，于 2025 年 10 月 18 日在多模态分论坛作报告。报告主题：Multimodal Generation and Understanding: the Evolution of Data and Models。
- 2025 年 7 月 14 日，于温哥华国际机器学习大会期间参加 Few-step Diffusion Models Meetup 与 Diffusion Circle。
- 2025 年 1 月 3 日，Genmo AI 线上研究报告：文生图模型中的 RLHF 及进一步探索。
- 2024 年 10 月 25 日，北京大学生物医学工程实验室受邀报告：扩散蒸馏的近期进展。
- 2024 年 10 月 20 日，西湖大学 MAPLE 实验室受邀报告：高效生成式模型。
学术共同体
学术服务
Weijian 受邀担任多个学术期刊的审稿人，包括 Nature Communications （NC）、Journal of Machine Learning Research （JMLR）、IEEE Transactions on Pattern Analysis and Machine Intelligence （TPAMI）、IEEE Transactions on Image Processing （TIP）、IEEE Transactions on Neural Networks and Learning Systems （TNNLS），以及 Pattern Recognition （PR）。他也为 NeurIPS、ICML、ICLR、CVPR、ICCV、AISTATS、UAI、ACM-MM 等人工智能领域会议审稿。
合作伙伴与朋友 14 人
- J. Zico Kolter, 卡内基梅隆大学（CMU）教授、机器学习系主任。
- Guo-jun Qi, 西湖大学教授、IEEE Fellow、MAPLE 实验室主任。
- Guang Lin, Purdue University研究事务副院长，数学与机械工程 Moses Cobb Stevens 讲席教授。
- Kenji Kawaguchi, National University of Singapore计算机科学系校长青年教授。
- Zhenguo Li, Huawei Noah’s Ark Lab, Hongkong AI 理论实验室主任，Hong Kong University of Science and Technology计算机科学与工程系兼职教授。
- He Sun, 博士，Peking University预聘助理教授。
- Tianyang Hu, 博士，即将入职香港中文大学（深圳）CUHK-Shenzhen担任助理教授。
- Wenzheng Chen, 博士，Peking University预聘助理教授。
- Wei Deng, 博士，纽约摩根士丹利高级研究科学家。
- Ricky Tian Qi Chen, 博士，纽约 Meta Fundamental AI Research（FAIR）研究科学家。
- Zheyuan Hu, 新加坡国立大学博士，NeurIPS 2024 最佳论文奖获得者。
- Seth Forsgren, 普林斯顿大学学士，旧金山 producer.ai 的创始人兼 CEO。producer.ai 已被 Google DeepMind 收购。
- Hayk Martiros, 斯坦福大学硕士，producer.ai 联合创始人兼 CTO，Skydio 技术副总裁。
- Debing Zhang, 博士，RedNote（小红书）通用人工智能（AGI）团队负责人。
学生与指导经历 23 人
曾经指导、接待或共同开展研究的学生。
- Weimin Bai, 北京大学博士生，小红书 hi-lab ACE 实习生，与 He Sun 教授共同指导。
- Yujian Chen, 北京大学计算机科学本科生，与 Wenzheng Chen 教授共同指导。
- Suzhe Xu, 北京大学计算机科学本科访问学生，与 Wenzheng Chen 教授共同指导。
- Zhiyuan Yang, 北京大学计算机科学本科生，(Turing Top-Talent Class)。
- Hao Jiang, 即将入学伦敦帝国理工学院的博士生，与 Tianyang Hu 教授共同指导。
- Yihao Shen, 香港中文大学（深圳）本科生，与 Tianyang Hu 教授共同指导。
- Jiajun Zha, 香港科技大学（HKUST）博士生，与 Harry Yang 教授共同指导。
- Haoyang Zheng, 普渡大学博士生，与 Guang Lin 教授共同指导。
- Bowen Zheng, 香港中文大学（深圳）博士生，与 Tianyang Hu 教授共同指导。
- Cindy Xiangrui Kong, 卡内基梅隆大学（CMU）硕士，普渡大学博士生，与 Guang Lin 教授共同指导。
- Junyi Wu, 普渡大学博士生，与 Guang Lin 教授共同指导。
- Yongzhao Chao, 香港中文大学（深圳）硕士生，与 Tianyang Hu 教授共同指导。
- Yubo Li, 清华大学本科生，即将入学北京大学攻读博士，与 He Sun 教授共同指导。
- Yihong Luo, 香港科技大学（HKUST）博士生。
- Harry Liu, 普渡大学博士生，与 Guang Lin 教授共同指导。
- Yifei Wang, 北京大学本科生，即将入学位于休斯敦的莱斯大学攻读博士，与 He Sun 教授共同指导。
- Kaihang Pan, 浙江大学博士生，CPVR2025 最佳学生论文荣誉提名获得者。
- Le Zhuo, 即将入学香港中文大学 MMLab 攻读计算机科学博士。
- Zemin Huang, 浙江大学与西湖大学联合培养计算机科学博士生，与 Guo-jun Qi 教授共同指导。
- Tiancheng Li, 浙江大学与西湖大学联合培养计算机科学博士生，与 Guo-jun Qi 教授共同指导。
- Zilyu Ye, 华南理工大学计算机科学本科生、字节跳动 Top Seed 实习生，与 Guo-jun Qi 教授共同指导。
- Yuxuan Gu, 即将入学北京大学的硕士生，与 He Sun 教授共同指导。
- Chaowei Liu, 新加坡国立大学（NUS），与 Guo-jun Qi 教授共同指导。
开放思考，共创可能。
下一个想法，
从一次交流开始。
Weijian 在北京的团队正在招募有才华的研究科学家和工程师。欢迎拥有扎实研究积累、对下一代生成式理解模型充满好奇的候选人，申请 RedStar 研究科学家计划或 ACE 实习生计划。
“有什么重要的真相，是只有很少的人认同你的？”— 彼得·蒂尔