智元机器人开源 VideoDataset：基于 GPU 硬件解码的 VLM 训练加速利器

智元机器人团队正式开源一款面向 gpu 硬件加速解码的高性能视频数据加载库——videodataset，旨在突破海量视频训练场景下长期存在的存储压力与计算资源瓶颈。

据悉，VideoDataset 是紧扣真实 AI 训练场景深度打磨而成的视频数据加载解决方案，具备以下核心优势：

• 极致解码性能： 将原本依赖 CPU 的解码流程迁移至 GPU，全面释放硬件编解码单元潜力，实测吞吐量相较传统方案提升达 4 倍；
• 精准随机访问： 突破硬件解码普遍缺乏随机寻帧（Random Seek）能力的技术限制，专为 AI 模型训练定制高效、低延迟的帧级随机采样机制；
• 开箱即用集成： 完全兼容 PyTorch Dataset 标准接口，并提供轻量级 Mixin 类封装，开发者仅需少量代码修改即可快速嵌入现有训练 pipeline。

相较于主流基于 CPU 的软件解码方案，VideoDataset 在单位时间内可处理的视频帧数提升 3–4 倍。同时，它显著降低对 CPU 的计算依赖，将解码负载近乎完全卸载至 GPU。该特性不仅大幅提升了视频数据预处理效率，更有效释放 CPU 资源用于其他关键任务，从而在大规模视频模型训练中实现端到端训练加速与 GPU 利用率优化。

一站式社群管理工具

GitHub 项目地址：https://www.php.cn/link/e8aec03ef0fa5b601d282d6209b8aa64

源码下载地址：点击下载