嗨，我是 Zekun Zhang 👋
Interested in DiT / Video Generation
这里放我的论文、随手写的 notes，以及一些我觉得酷的东西。 欢迎随便逛逛。
Papers
Selected publications
SparkDiffusion: Mitigating the High-Sparsity Trap --- A Unified Framework for up to 265× Single-GPU Acceleration of Visual Generation
提出统一加速框架应对高稀疏陷阱：结合短稀疏预热、少步轨迹混合蒸馏、FP8 量化与融合核，在 Wan2.1/2.2 和 T2V/I2V 任务上实现 97% 注意力稀疏度 + 强视觉质量，单 GPU 端到端加速高达 265×（CFG-free 3 步推理，Wan2.1-T2V-14B-720P，RTX-5090）。
RoLA: Rotary-Positioned Low-Rank Linear Attention for Efficient Diffusion Transformers
针对视频 DiT 中 RoPE 与低秩线性全局分支的兼容性问题，提出 RoLA：通过在非线性特征映射前应用 RoPE、重用截断的预训练旋转调度，实现线性时间复杂度的低秩全局分支 + 相对位置感知，90% 稀疏度下保持生成质量并获得 2.63× 端到端加速（Wan2.1-14B, 720P）。
CrossDistill: Balancing Quality and Diversity via Trajectory-Level Hybrid Few-Step Distillation
少步蒸馏需平衡多样性与保真度：轨迹蒸馏保留模态覆盖，分布匹配锐化样本。CrossDistill 提出轨迹级混合框架，在交叉点切分轨迹，高噪声区间用轨迹保持目标、低噪声区间用分布匹配目标，通过交叉耦合实现噪声级别调度策略；在 T2V 和 I2V 扩散模型上验证了质量-多样性前沿拓展。
Mixture of Distributions Matters: Dynamic Sparse Attention for Efficient Video Diffusion Transformers
提出 MoD-DiT：利用早期去噪步骤中的先验信息进行动态稀疏注意力，通过两阶段流程与分布式混合方法，在保持生成质量的同时大幅降低视频扩散 Transformer 的计算开销。
RoPeSLR: 3D RoPE-driven Sparse-LowRank Attention for Efficient Diffusion Transformers
针对稀疏注意力在极端稀疏下破坏 3D RoPE 相对位置结构的“RoPE 困境”，提出 3D RoPE 引导的稀疏-低秩注意力框架；在超长视频推理上实现最高 10× 更低 FLOPs 与约 2.9× 端到端加速，同时保持近乎无损的生成质量。
ReasFlow: Assisting Reasoning-Centric Scientific Discovery in Applied Mathematics via a Knowledge-Based Multi-Agent System
面向应用数学的推理密集型科学发现，构建知识驱动的多智能体系统：以可审计的理论推理、自动化知识检索与自我改进机制，在单一系统内完成从理论推导到实证验证的全流程。