火山引擎通过与 NVIDIA 团队合作开发了 BMF（Babit Media Framework）多媒体处理框架，提供丰富的 GPU 即用模块、低门槛的扩展方式、多语言接口以及各类主流框架 SDK 的简单接入，方便用户快速打造高效的全 GPU 视频处理流水线，有效解决开发效率低、链路缺乏整体优化的问题，使得 GPU 能够充分发挥其强大的并行计算能力，应用于各类视频 AI 场景。

视频成为企业数字化增长新动力

在当今人们的生活中，视频化场景已经渗透到了方方面面。数据显示，截至 2023 年 5 月，中国移动视频行业整体用户规模达到 10.76 亿，月人均时长达到 64.2 小时。目前中国用户量排名前 100 的 APP 中，有 69% 搭载了视频类功能，视频应用正在从内容、娱乐行业拓展至泛互联网和大量传统行业。

然而，与图文内容相比，企业自建视频应用对技术积累和资金成本要求较高。为此，火山引擎与 NVIDIA 团队合作，开源了 BMF 多媒体处理框架。该框架是视频化部署的“底座”，可为企业提供从视频生产到消费的全链路场景支持，并帮助开发者低成本构建视频应用。

从 GPU 加速图像处理，到 GPU 上部署生成式 AI 业务

从图像处理到视频内容生成，需要应对日益复杂的处理环节。理想情况下，开发者应当充分利用 GPU 各种硬件单元，减少 GPU 和 CPU 之间的拷贝，让视频和图片存留在 GPU；如果涉及跨节点通信，还需结合 GPU Direct RDMA 简化通信链路，大幅降低延迟、提升吞吐。

但实际上，火山引擎视频团队遇到了不同模块之间通信不畅、整体性能不高等诸多问题。视频处理涉及的技术栈越来越多，包括编解码、图像处理、深度学习甚至图像渲染，用户对延迟的要求也从以前的长时间等待变为短视频的秒级延迟，甚至 VR/AR、云游戏的毫秒级延迟。

NVIDIA 加速火山引擎为视频云提供更理想的处理框架：BMF

面对这些挑战，NVIDIA 和火山引擎紧密合作开发了 BMF，旨在帮助企业和开发者将各类视频的原子能力与方案做到优势互补、协同工作和快速落地。BMF 的整体架构分为 应用层、框架层、模块层和异构层 共 4 个部分：

• 应用层：为用户提供多语言的 API，包括 Python、Go、C++

• 框架层：包括框架对 graph/pipeline 的调度、跨数据类型跨设备的数据流转 backend、以及常用的跨设备 reformat、color space conversion、tensor 算子等 SDK

• 模块层：包含具备各种原子能力的模块，提供多种语言的模块开发机制

• 异构层：负责提供高效的视频处理算力，包括火山引擎自研的视频编解码芯片 ASIC

火山引擎通过与 NVIDIA 团队深入合作，针对 GPU 相关的框架层能力、处理能力进行了深度优化，从框架层和模块层对 BMF 都进行了深入改造，针对各种场景进行了开发和测试，并且贡献了多种应用层示例。

广泛的应用场景

通过 BMF 框架，在大型活动直播、电商直播间等场景中，通过“极致超清”技术能够有效提升画质体验；针对不同损伤情况的经典影片，通过“AI 修复”技术能够对损伤后的影片进行全面的画质提升；在 VR/AR 等复杂图像场景中，通过“VR 360 全景图像技术”帮助图像实现更加高清的效果。

火山引擎总裁谭待表示：“在营销、空间、商业和知识的交互体验都在发生变化的视频化时代，视频云技术因其从视频生产、处理、传输至消费的全链路技术能力被赋予了重要使命。随着 AIGC、XR 等技术的兴起，新技术与视频云的融合将带来更多创新和价值。”

字节跳动视频架构负责人、火山引擎视频云架构技术总监王悦表示：“BMF 框架是基于抖音多年实践打磨出来的，火山引擎又携手 NVIDIA 针对 GPU 相关能力进行了深度优化，使其能够发挥更强大的并行计算能力。”

目前，BMF 已经全面开源，包含 BMF 框架层整体开源、9 个开箱即用案例、20+ API 调用范例，旨在帮助开发者低成本地构建视频应用。