ComfyUI 上线 NVIDIA VFX 节点,支持视频超分、插帧与 SDR 转 HDR
Nvidia VFX Nodes for Video Upscaling, Frame Generation and SDR-to-HDR, for VFX Professionals
ComfyUI 将 NVIDIA RTX 视频效果做成自定义节点,模型随节点附带并在本地 RTX GPU 上运行。
ComfyUI 把 NVIDIA RTX 视频超分、插帧与 SDR 转 HDR 做成节点,读者可据此判断本地 VFX 流程的搭建方式。
Nvidia 的 RTX 视频效果现在以 自定义节点 的形式在 ComfyUI 中运行。这些模型速度快、体积小,随节点一同提供,并在你的 Nvidia RTX GPU 上本地运行。
节点与模型亮点
RTX Video Super Resolution 节点可将图像和视频帧放大至最高 4×,既可按倍数放大,也可放大到最高 8192 px 的目标尺寸。同一节点还能在不改变分辨率的情况下对源进行降噪或去模糊。
RTX Video Frame Generation 节点在相邻帧对之间生成新帧,用于帧率转换或慢动作。它支持 2× 到 16× 的倍率,也可在特定时间步生成。
RTX Video HDR 节点将 SDR 图像转换为 BT.2020 HDR 数据,输出 HLG 或 PQ。对比度、饱和度、中灰以及 400 到 2000 尼特的峰值亮度均可调节,且默认开启去色带处理。
借助 NVIDIA VFX Nodes,你现在可以端到端运行完整的专业级 VFX 流程。将节点按 Video Super Resolution → Frame Generation → Video HDR 串联,是快速简便地提升素材质量并为其后续 VFX 流程做好准备的方法。
RTX Video Super Resolution 节点是高效放大的绝佳选择,拥有 19 种模式,可处理不同类型的源素材。
标准模式用于放大典型的压缩素材。
高码率模式用于放大干净或无损源,而不会进行不必要的伪影抑制。
流媒体模式针对广播和网络摄像头流进行了调优。
降噪和去模糊模式可清理噪点、压缩伪影或模糊,并保持输入分辨率。
当你不需要 AI 处理时,也可使用普通的双三次模式。
大多数模式运行于 LOW 到 ULTRA,以速度换取细节。可选的 10 位编码可保留更多精度。帧数和帧率保持不变,这为工作流的下一步做好了准备。
RTX Video Frame Generation 节点提供两种在输入视频中生成新帧的方式。帧率倍数模式均匀填充每个间隙,从 2× 到 16×。若要保持原始时长,请以源帧率乘以倍数来编码输出。特定时间步模式在每对帧之间的任意位置插入一帧,适合下游工作流中的自定义时序。Quality 参数运行于 LOW, MEDIUM 和 HIGH。镜头切换会被自动检测,也可手动标记已知的剪辑点。与 RTX Video Super Resolution 一样,该节点提供可选的 10 位编码以获得更高精度。
在工作流的最后一步,使用 RTX Video HDR 节点将 SDR 图像以其原始尺寸转换为 BT.2020 HDR。你可以通过三个色调控制来调整转换。Contrast 和 saturation 参数的作用与任何调色中一样。Middle gray 设置中间调的参考水平,决定整体画面的亮度。Peak luminance 告诉节点最亮的高光应达到多亮。将其设置为与你调色所针对的显示器相匹配,范围从 400 到 2000 尼特。默认开启去色带处理,这有助于平滑当 SDR 素材被拉伸到更宽范围时,天空等渐变中可能出现的可见色阶。输出是标准的 ComfyUI 图像,不带色彩空间元数据,因此下游的 Create Video 节点需要被告知数据是 HDR 还是 HDR PQ。此版本中的色彩管理和 EXR 支持也能处理这一步。
最后,节点包的 example_workflows 文件夹中为每个节点都提供了一个入门工作流:图像放大、视频放大、帧生成和 HDR 转换,另外还有一个使用循环节点将较长视频转换为 HDR 的工作流。要查看这三个节点协同工作,请尝试下面的完整 VFX 管线。
为 VFX 管线提供更好的 EXR 支持
除了 Nvidia 的 VFX 节点外,我们还在改进对 EXR 文件格式的支持。EXR 是 VFX 管线中的标准格式,本次发布让它在 ComfyUI 中的使用变得容易得多。
Save Image (Advanced) 节点现在可以写入半浮点(16 位)EXR(现为默认),以及全浮点(32 位)EXR。
Load Image 节点经过改进,可确保图像保持完整。它现在可以读取半浮点和全浮点 EXR。高于 1.0 的超白值和负值会原样保留,而不会被静默裁剪,因此数据的完整范围得以保留。
色彩管理也得到了升级。Convert Image Color Space 节点可处理 sRGB、场景线性 Rec.709、HDR HLG 和 PQ(Rec.2020)、ARRI LogC3(EI 800)以及 ACEScct。
预览和下载 EXR
EXR 还获得了一项重大的体验改进:现在更易于查看和下载。由于网页浏览器无法显示 EXR 文件,我们新的资源管理系统会为每个 EXR 输出附加一个 JPEG 预览。该预览可在保存和加载节点、Assets 面板以及 Jobs 历史记录中看到。加载和保存节点中的小太阳按钮还会在 HDR Viewer 中打开 EXR 文件,以便更舒适地查看。
备注:仅当 ComfyUI 以命令行参数
--enable-asset启动时,预览才可用。自1.1.7版本起,Comfy Desktop 中默认设置该标志;自0.40.0起,ComfyUI 便携版中默认设置该标志。
最后,当保存节点输出一系列图像时,新的 Download images 操作可让你挑选帧,或点击“Download all”,将它们作为单个 zip 下载。
开始使用
将 ComfyUI 更新到最新版本。
从 ComfyUI Manager 安装 Nividia VFX 自定义节点。
从自定义节点模板中加载示例工作流,或在此处下载工作流。
在 Comfy Cloud 上试用,并告诉我们你创作了什么。一如既往,享受创作的乐趣!
来源:Comfy · blog.comfy.org