张吕敏开源视频生成模型 FramePack，性能如何？

敏神沉寂了一段时间以后出来就是王炸，开始进军 AI 视频生成领域了，基于混元视频模型训练并开源了通过预测下一帧画面来逐步生成视频的模型：FramePack。

FramePack 主要是通过将输入的视频帧进行编码和压缩，根据帧的重要性分配资源并预测生成下一帧画面，同时采用双向采样来防止画面质量下降，从而逐步生成视频。

简单来讲就是不仅可以根据前边生成的视频内容预测下一帧视频应该具备的动态，并且还会对之前的视频帧内容进行回顾来对接下来的视频帧进行动态调整，使视频生成更加符合常理，效果也更加稳定。

还有一个对低配置玩家很友好的点就是，FramePack 只需要最低 6G 显存就可以生成长达一分钟的视频。

先来看看效果，参考图就不发了，第一帧就是参考图，动作还是很稳定丝滑的，提示词的遵循也很强。

提示词：The woman in the video slowly puts her hands on her legs

重新播放

播放 (k)

00:05 / 00:06

倍速

2.0x1.5x1.25x1.0x0.75x0.5x

画中画 (p)

网页全屏 (t)

全屏 (f)

” />

KJ 大佬已经制作了 FramePack 的 comfyui 插件，所以我们可以直接在 comfyui 中进行体验。

项目地址：https://github.com/lllyasviel/FramePack
插件地址：https://github.com/kijai/ComfyUI-FramePackWrapper

工作流如下，默认是生成 640 分辨率的的视频，也是官方推荐分辨率，操作也很简单，上传一张图片，然后填写提示词点击生成就行。

工作流以及对应的模型，听雨会放在文末的网盘里，需要的小伙伴自取。这里的模型大多数使用的都是混元的模型，如果本地已经下载过了可以不用下载。

这里需要注意的几个点，FramePack 是支持 flash_attn 和 sageattn 加速的，不过可能会影响最终的生成效果，官方推荐使用 adpa。

继续来看下边这个采样器节点，看红框中的两个功能，第一个功能是视频加速生成技术 TeaCache，FramePack 也是支持 TeaCache 的，不过也可能会导致视频的生成效果，这个主要也是看生成什么样的视频，有的视频影响很小。这个大家自己尝试一下就知道了，最终效果不好就关掉这个加速试试。

第二个红框中的参数决定占用显存的大小，值越大，占用显存越小，设置 6 的话，大概要 20G 显存。6G 显存的话，这里的值需要设置 20 以上，这个每台机器可能都不太一样，需要自己尝试一下。

total_second_length 这个参数可以设置生成视频的时长。

这里生成视频是开了 TeaCache 加速的，可以看到视频也是很稳定的，而且动作也很流畅，动作幅度也很大，让她转身就转身。

提示词：The character in the video slowly turns around

00:06

再来看下这个视频开了 TeaCache 加速就有些不稳定了。生成 6 秒的视频耗时 388 秒，将近 7 分钟。

提示词：The girl dances gracefully, with clear movements, full of charm.

00:06

这个是没开 TeaCache 加速的效果，可以看到就稳定很多。生成 6 秒的视频耗时 769 秒，将近 13 分钟。

00:06

开 TeaCache 和不开的情况，生成速度将近相差一倍的样子，这个就看小伙伴们自己的需求了。

可以看到生成这么大幅度的跳舞动作的情况下，最终生成的视频的效果依旧保持稳定状态，这个应该是生成跳舞动作效果最好的模型了。当然不只是跳舞动作，大幅度的动作效果都很稳定。

好了，今天的分享就到这里了，感兴趣的小伙伴快去试试吧！

模型以及工作流放在网盘里了，需要的小伙伴自取：

https://pan.quark.cn/s/75041e4a8a8f

我是听雨AI绘画，专注于 AI 绘画以及 AI 工具分享，更多内容可以进我的听雨AI绘画查看，欢迎来一起交流。

如果觉得文章有帮助，请帮忙点赞收藏关注一下呦~