一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

数字永生
• 阅读 227

SVD技术介绍

Stable Video Diffusion(以下简称 SVD),是一个图像到视频模型模型,能够以每秒 3 到 30 帧的可自定义的帧率生成 14 帧和 25 帧的视频。去年 11 月,Stability.AI 发布了它的 1.0 版本。

而这个1.1版本的模型经过训练,可在 1024x576 的分辨率下生成 25 帧。总体上他是一个生成短视频,类似gif形式的一个模型,而这个也是目前来说开源并且在直接生成视频的模型效果比较好的一个了。

还有一点需要注意,这个 SVD 和我们常用的生成视频类的操作,比如它和 AnimateDiff 相比,这是不一样的技术。但他们也可以同时放在一起使用,比如我们先用 SVD 生成一个视频,hires提升分辨率后再用 AnimateDiff 重绘等等,这又是后话了。

资源领取

点击https://click.aliyun.com/m/1000391701/ 领取 PAI-EAS 免费试用 1 个月 A10/V100 资源。注意这个免费每日是有一定限额的,先到先得哦~

一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

等待开通完成,点击前往控制台

一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

如果免费额度用完了,可以购买 PAI-EAS 59元抵扣200元资源包 https://www.aliyun.com/activity/2024purchase/bigdata_ai?

一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

来到 PAI 控制台后,推荐大家在这里切换区域为 华北 2(北京),组合开通勾选OSS的选项,因为已经开通过所以默认勾上了。然后等待部署,部署完成后就可以前往默认工作空间
一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

找到左侧的 EAS 服务来部署一个实例。首次使用的时候我们需要先开通授权一下服务。

部署ComfyUI

点击部署服务,自定义部署。

一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

自定义输入实例名称,然后在镜像内找到comfyui,版本选择0.3。

一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

在下面选择资源信息,注意这里非常重要,需要选择试用活动的GPU,推荐大家选择A10的GPU,如果缺货也可以选择 V100、T4 等。

一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

选择完成,都配置好后,我们点击部署,等待部署完成。由于这个镜像预制好了很多节点,所以部署可能要等上几分钟到10分钟左右。如果觉得等了很久也可以点进去服务日志查看日志输出,部署情况。等到看到这行“运行中”,即为部署完成了,我们就可以直接进入ComfyUI了。

启动ComfyUI进行模型推理

  1. 单击目标服务的服务方式列下的查看Web应用。

一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

  1. 在WebUI页面进行模型推理验证。

我们前面提到了SVD是一个图片生成视频的模型,所以这里左侧是一个文生图的工作流,首先生成了一张图片。然后再把这张图片输入到右侧的SVD模型,进行视频生成。

根据需要,选择文生图的模型和图生视频的模型,本方案使用默认配置。然后在CLIP文本编码器中输入Prompts,修改长宽为16:9(例如384:216),单击提示词队列, 等待工作流运行完成即可获得AI生成的视频。

一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

  1. 请在【合并为视频】将视频改为GIF格式,视频生成后,右键单击生成的视频,选择 Save preview保存图像,即可将生成的GIF格式视频保存到本地,通过活动页【提交作品】参与活动!

一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

ComfyUI 参数讲解

左侧的文生图可以调节模型,分辨率。然后是正负prompt,采样时候的种子,采样器等等。都可以随意修改。

一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

然后来看SVD这边的参数。首先就是这个SVD 图像到视频的条件。设置宽、高,这个是视频的分辨率,不要调的太大。然后是帧数,就是一共生成多少帧。动态bucketid这个值越大,画面运动幅度越大。帧率就不用多说了。

一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

然后是这个线性CFG引导。这个摆的位置有些靠下,其实他是在模型和k采样器之间的。他的作用是在不同的帧之间,按线性来缩放CFG值,他会从这个最小CFG值随着帧数按线性增大到K采样器设置的值。比如我们这个节点设置了为1,那么实际上的CFG就是跟随帧数从1变化到2.5。

一键生成视频!用 PAI-EAS 部署 AI 视频生成模型 SVD 工作流

整体来说,这个工作流就是一个入门的文生视频工作流,如果我们有需要,也可以把生成图像部分换为自己的一个图像输入,就是最原本的SVD图生视频了。

那么后续还有没有更高级的玩法呢?当然有,这里采样器输出的是每一帧的图像,我们当然也可以为他接上高清修复的流程,让他能放大,再接个其他的重绘流程都是可以的。后续就留给大家任意发挥了~

常见问题

更多操作问题可参考:https://help.aliyun.com/zh/pai/use-cases/deploy-ai-video-gene...

原文链接

本文为阿里云原创内容,未经允许不得转载。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Easter79 Easter79
3年前
swap空间的增减方法
(1)增大swap空间去激活swap交换区:swapoff v /dev/vg00/lvswap扩展交换lv:lvextend L 10G /dev/vg00/lvswap重新生成swap交换区:mkswap /dev/vg00/lvswap激活新生成的交换区:swapon v /dev/vg00/lvswap
Stella981 Stella981
3年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
直播预告 | 大模型时代 “应用变了”:看大模型如何跑进零售电商应用
走进零售电商,大模型能做什么?今年11.11,应用大模型带来成效显著今天下午2:00,京东云视频号准时直播看京东零售如何破题新解法,大小模型协同大模型将走向多模态,走向具身智能
Python进阶者 Python进阶者
1年前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
美凌格栋栋酱 美凌格栋栋酱
4个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(