AI日报｜Pika开源H3 Flex：六步音视频联合生成新突破
Pika开源H3 Flex：六步音视频联合生成新突破
近日，Pika发布基于MiniMax H3的衍生模型Pika H3 Flex，并开放适配器权重与推理代码。该模型通过六步去噪联合生成画面和声音，支持文本、首尾帧和多模态参考输入，为创作者提供全新的视频生成解决方案。这一发布标志着开源视频模型在生成速度和质量上的双重突破，同时丰富了创作者的创作工具链。
六步生成：从技术到应用的跨越
Pika H3 Flex采用六步去噪联合生成技术，能够同时生成视频画面和立体声音频。这一技术源于Pika团队对MiniMax H3的深度优化：首先在内部音视频数据集上进行监督微调，然后采用投影分布匹配蒸馏(PDMD)将教师模型的50步去噪压缩至6步，最后通过奖励反馈学习和直接偏好优化训练LoRA适配器，以提升美学质量、清晰度和指令遵循能力。
在本地生成能力方面，Pika H3 Flex原生支持480P和768P输出，可生成约5至15秒的视频及同步立体声音频。模型提供两套LoRA适配器，分别用于文本及首尾帧条件生成、多模态参考生成场景。同时，Pika还提供了ComfyUI工作流和Hugging Face Diffusers接入方式，方便开发者将其整合到现有创作工具中。
值得注意的是，Pika对托管推理服务进行了显著加速。在保持模型权重和六步采样方案不变的情况下，使用8张NVIDIA B300 GPU生成一段5秒、768P音视频，条件编码、去噪和解码的合计耗时从3.409秒缩短至2.129秒，处理速度提升约1.6倍。
多级分辨率与音频分轨：专业工作流的支持
Pika H3 Flex在本地生成之外，还通过API提供更高分辨率的视频增强功能。创作者可以先以较低分辨率生成和筛选草稿，再对选定版本进行1080P、2K和4K的高分辨率处理。这种分层生成策略既保证了创作效率，又满足了最终输出的质量要求。
音频处理方面，Pika实现了突破性的音频分轨功能。同步生成的声音可拆分为对白、配乐、音效、拟音和环境声五类独立音轨，方便创作者在后期制作中分别调整各类音频元素。这一功能对于专业视频制作团队而言具有重要意义，大幅提升了后期制作的灵活性和效率。
开源生态与创新应用
作为MiniMax H3的衍生模型，Pika H3 Flex的发布进一步丰富了围绕H3的开源生态系统。自今年8月MiniMax H3开源以来，已经催生了多款衍生模型：与Running Hub合作打造的MiniMax H3 480P；与fal合作推出的面向实时生成的H3 Max 768P和H3 Max 480P；FastVideo通过稀疏化和硬件适配推出的FastH3；以及英伟达与MIT联合开发的StreamRender-H3、Open-H3-Regenerate-2K等。
这些衍生模型催生了多样化的创新应用，包括Twitch直播、24小时"AI电视台"和AI短视频直播软件等。数据显示，H3开源一个月内下载量已经超过2400万次，产生超过300个公开项目，显示出强大的社区活力和应用潜力。
在评测表现上，Pika H3 Flex在五项视觉和音频质量指标上均在参评模型中取得最高得分，并在DesignArena文生视频榜单上取得第八名成绩，是该榜单下排名最高的开源视频模型。
实操要点
分层创作流程：利用H3 Flex先以768P分辨率快速生成创意原型，再通过API提升至1080P或4K，平衡创作效率与最终质量。特别适合广告制作、短视频创作等需要多次迭代的场景。
音频后期优化：充分利用五轨音频分离功能，在后期制作中独立调整对白、配乐、音效等元素，提升作品专业度。注意音频分轨功能仅通过API提供，本地生成时为完整音频。
多模态输入融合：结合文本、首尾帧和多模态参考输入进行创作，可显著提升生成结果的一致性和可控性。首尾帧输入特别适合需要保持视觉连贯性的长视频创作。
本地部署与API服务结合：根据项目需求选择合适的部署方式。本地部署适合快速迭代和隐私敏感项目，API服务则适合高质量输出和复杂后期处理。
今日工具速览
Pika H3 Flex：基于MiniMax H3的开源音视频联合生成模型，支持六步去噪生成，提供LoRA适配器和本地推理工具。链接
拾趣(Magpie) v0.1.19：跨平台沉浸式自定义AI划词工具，更新后AI更智能，内容识别更精准，支持翻译、解释、总结等功能。链接
极氪9X：被外媒称为"最贵中国车"，在欧洲售价折合人民币超100万元，是首款在当地站稳百万级价位并实现规模化销售的中国车。链接
Cyber-Butler-Security (CBS)：Windows原生的ACL沙箱系统，为自托管LLM代理提供OS级安全层，通过双账户隔离和TOTP代理实现高风险操作拦截。链接
总结与观点
Pika H3 Flex的发布代表了开源视频生成技术的重要进步。通过六步去噪联合生成技术，模型在保持生成速度的同时显著提升了音视频质量，五项评测指标最高分和DesignArena第八名的成绩证明了其技术实力。
这一突破的意义不仅在于技术指标的提升，更在于它为创作者提供了更完整的创作工具链。从低分辨率快速原型到高分辨率最终输出，从完整音频到五轨分离，H3 Flex覆盖了视频创作的全流程需求。同时，丰富的开源生态和创新应用场景，展示了开源模型在推动行业创新方面的巨大潜力。
然而，我们也应看到，尽管H3 Flex在开源模型中表现优异，与闭源商业模型相比在生成时长和复杂度上仍有差距。未来，随着算力提升和算法优化，开源视频模型有望在更多应用场景中实现突破，进一步降低创作门槛，释放更多创意可能。