Pika开源H3 Flex:六步生成音视频

作者:和讯网 发布时间:2026-11-02 04:07:57 浏览:6
关键字:
Pika发布MiniMax H3衍生模型H3 Flex,开放适配器权重与推理代码,六步去噪即可联合生成画面与声音,并支持API高分辨率增强。

Pika近日发布基于MiniMax H3的衍生模型Pika H3 Flex,并开放适配器权重与推理代码。该模型通过六步去噪联合生成画面和声音,支持文本、首尾帧及多模态参考输入,可输出480P、768P、约5至15秒的视频与同步立体声音频。

本次发布包含两套LoRA适配器,分别用于文本及首尾帧条件生成、多模态参考生成,并提供ComfyUI工作流与Hugging Face Diffusers接入方式。本地生成之外,Pika API可提供1080P、2K、4K视频增强及音频分轨,将声音拆分为对白、配乐、音效、拟音和环境声五类独立音轨。

技术上,团队先在内部音视频数据集上对MiniMax H3进行监督微调,再用投影分布匹配蒸馏(PDMD)将教师模型的50步去噪压缩至6步,并通过奖励反馈学习与直接偏好优化训练LoRA适配器。托管推理服务也做了加速,8张NVIDIA B300 GPU生成5秒768P音视频的合计耗时从3.409秒降至2.129秒,约为原来的1.6倍。

评测显示,H3 Flex在五项视觉和音频质量指标上均取得最高分,并在DesignArena文生视频榜单排名第八,是榜单中排名最高的开源视频模型。自今年8月H3开源以来,社区已衍生出多款模型与创新玩法,一个月内下载量超过2400万次,产生超300个公开衍生模型。

阅读原文

本文由AI融业云采集并编辑,仅供学习使用!

本文来自m.toutiao.com,作者和讯网

关于AI融业云:一站式AI应用服务平台,了解创始人 | 联系我们

有问题,请联系客服!http://www.rongyeyun.com/kefu/