可生成高清视频的StableDiffusion来了!分辨率提升4倍,超分

2022-09-19 22:41:29 来源: IT之家 阅读量:8173   

经典人像丝滑切换还是4倍超分辨率级别,细节一亿点多一点,眉毛和发际线轮廓分明。

这就是最近在Twitter上火起来的稳定扩散视频2.0版本。

可以用Real—ESRGAN进行上采样,生成的画面可以达到4倍过分。

要知道,之前稳定扩散生成的图像,如果想要高清,还得手动提高分辨率。

现在是二合一,可以在Google Colab上运行!

食用指南

在Colab上的操作很简单,基本上就是傻瓜式的按照步骤来。

需要注意的是,在这个过程中,令牌登录应该是从个人拥抱脸帐户复制的。

在拉模型之前,记得在抱抱脸上授权,否则会出现403错误。

解决以上问题后,就可以使用稳定扩散生成高清视频了。

生成一个视频,需要给出两个提示,然后设置中间的步数,以及是否需要上采样。

中间步骤越多,生成时间越长,同样,上采样也会在一定程度上延长生成时间。

您也可以直接用代码运行它,并且可以通过修改几个简单的参数来修复它。

除了在线模式,模型还支持本地操作,项目已经在GitHub上开源。

注意Real—ESRGAN的附加安装。

来自腾讯的子算法

稳定扩散的原理是扩散模型利用去噪自编码器的连续应用,逐步生成图像。

一般来说,扩散意味着向图像中重复添加小的随机噪声扩散模型与这一过程相反——从噪声中生成高清晰度图像训练好的神经网络通常是U—net

但由于模型直接在像素空间运行,扩散模型的训练和计算成本非常昂贵。

基于这一背景,稳定扩散主要分两步进行。

首先,使用编码器将图像X压缩成低维潜在空间表示Z..

上下文y,即输入文本提示,用于指导x的去噪。

与时间步长T一起以简单连接和交叉两种方式注入到潜在的空间表征中。

然后在Z的基础上进行扩散和去噪..也就是说,模型不直接在图像上计算,从而减少了训练时间,取得了更好的效果。

再来看超分辨率部分。

采用的方法是腾讯ARC实验室开发的Real—ESRGAN,由ICCV 2021接收。

能有效消除低分辨率图像中的振铃和过冲伪影,

原则上,研究人员引入了更高阶的降解过程来模拟更真实和更全面的降解,其中包含许多重复的经典降解过程,每个过程都有不同的降解超参数:

采用二阶降质,分为模糊,降噪,resize和JPGE压缩。

在训练环节中,使用RRDBNet作为Real—ESRGAN的生成器,对原有的×4 ESRGAN架构进行扩展,以×2和×1的resize缩放因子进行超分辨率放大。

单独使用这种超除算法不是问题。

在GitHub上下载这个模型的可执行文件,可以在Windows/Linux/MacOS下使用,不需要CUDA或者PyTorch的支持。

之后,只需在终端执行以下命令即可使用它:

。/realesrgan—ncnn—vulkan . exe—I input.jpg—o output.png

值得一提的是,Real—ESRGAN的作品王,是图像/视频超分辨率领域的知名学者。

毕业于浙江大学,香港中文大学博士,现为腾讯ARC实验室研究员。

之前登上GitHub热榜榜首的项目GFPGAN也是他的代表作。

还有一点

前两天大谷老师也发布了一组稳定扩散生成的女生肖像,效果很好看。

对了,大家一起完成阅女无数的成就吧。

稳定扩散还能玩出什么新花样你不试试吗

Colab演示:

GitHub地址:

拥抱脸授权:

参考链接:

声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。

精选 导读

大摩:苹果产量或超预期增长,预计Q1业绩有“惊喜”

摩根士丹利分析师KatyHuberty指出,苹果本季度iPhone产量可能超预期增长,因为交货周期正在下降到“更正常的水平”。该分析师预计苹...

发布时间: 2021-12-23 17:04
行情   2021-12-23

中金:维持石四药集团跑赢行业评级目标价5.8港元

中金发布研究报告称,维持石四药集团“跑赢行业”评级,保持2021/22年归母净利润预测7.9/11.64亿元不变,目标价5.8港元。报告中称...

发布时间: 2021-12-23 17:03
行情   2021-12-23

实探中装建设元宇宙合作方鸿蒙时代:与华为无关已搬离注册地

12月22日,深交所对中装建设发布关注函,要求说明公司是否存在“楼宇智能大数据信息处理、AI可视化、元宇宙应用、智能建造系统、区块链等技术”...

发布时间: 2021-12-23 17:02
行情   2021-12-23

“疫”线女将:眼里有光心中有爱

“疫”线女将:眼里有光心中有爱题:“疫”线女将:眼里有光心中有爱曾灯光璀璨、游人如织的边陲小城因新冠疫情的再次暴发按下“暂停键”。内蒙古自治...

发布时间: 2021-12-23 16:48
要闻   2021-12-23

联通网络智能运维产品研发招标:华为、中软等11家企业入围

中国联通日前正式公布网络智能运维产品研发招标结果,华为、中软、软通动力、亚信科技等11家企业入围。传统网络故障的被动处理方式,从故障感知到信...

发布时间: 2021-12-23 16:35
酷玩   2021-12-23

热点 推荐

小米12Pro自研智能动态刷新率演示视频公布:支持新技能“滑动变速”,更

今日上午,小米手机官方表示,小米自研智能动态刷新率,是第二代低功耗2K屏幕的创新体验,第一次让小米12Pro拥有了滑动变速的新技能。小米表示...

发布时间: 2021-12-23 16:31
酷玩   2021-12-23

增速惊人!鸿蒙用户量半年突破2.2亿

C114讯12月23日下午消息在今日举办的华为动机旗舰新品发布会上,华为常务董事、消费者BGCEO、智能汽车解决方案BUCEO余承东公布了鸿...

发布时间: 2021-12-23 16:26
酷玩   2021-12-23

用户群聊从线上走到线下他趣成年轻群体社交困境破局者

伴随当下工作和生活节奏越来越紧凑,婚恋、交友等社交需求逐渐成为年轻人的刚性需求。为满足日益提升的社交需求,他趣用户从线上延伸到线下,通过组织...

发布时间: 2021-12-23 14:59
机器人   2021-12-23

京东会展云“云上服贸会”项目入选中国信通院“2021年数字孪生城市典型案

近日,2022中国信通院ICT+深度观察报告会隆重举办,京东会展云技术支持的中国国际服务贸易交易会数字平台项目入选“2021年数字孪生城市典...

发布时间: 2021-12-23 14:56
机器人   2021-12-23

华为Mate9手机推送鸿蒙HarmonyOS2.0.0.140:新增桌面

华为Mate9手机开始推送鸿蒙HarmonyOS2.0.0.140更新。更新包1优化了音量等基础体验,并新增了桌面图标放大功能。更新包2修复...

发布时间: 2021-12-23 14:41
机器人   2021-12-23
bd9