智元开源 VideoDataset：基于 GPU 硬件解码的 VLM 训练加速利器

智元机器人团队正式开源 videodataset——一款面向真实 ai 训练场景深度优化的高性能视频数据加载库。

• 极致加速：将解码任务由传统 CPU 迁移至 GPU，全面释放硬件解码潜能，整体吞吐量提升达 4 倍。
• 精准随机访问：突破硬件解码普遍不支持随机寻帧（Random Seek）的技术瓶颈，专为 AI 训练定制高效随机采样能力。
• 开箱即用：原生兼容 PyTorch Dataset 接口，提供轻量级 Mixin 类，开发者仅需修改少量代码即可无缝嵌入现有训练流程。

为直观展现 VideoDataset 的实际性能优势，智元团队开展了与主流 CPU 软件解码方案的系统性对比测试，涵盖 OpenCV、Torchvision（PyAV）、Torchvision（VideoReader）及 TorchCodec 等典型实现。

实测表明，VideoDataset 在解码吞吐量上相较上述 CPU 方案提升 3–4 倍；同时显著降低 CPU 负载，近乎将解码任务从 CPU 完全卸载。该特性使其在大规模视频训练任务中，不仅大幅加快数据供给速度，更可充分释放 GPU 算力，全面提升端到端训练效率。

此外，得益于多解码器复用机制，在面对海量视频随机解码的实际训练场景时，VideoDataset 相比主流 GPU 硬件解码方案仍展现出显著吞吐优势。

标签： python go 编码 nvidia ai pytorch