[交流讨论] AI如何把1896年的电影变成4K高清?

[复制链接]

3

主题

7

帖子

26

积分

新手上路

Rank: 1

积分
26
 楼主| 发表于 2020-4-17 08:31:31 | 显示全部楼层 |阅读模式
4K家园:

十三 发自 凹非寺
量子位 报道 | 公众号 QbitAI

古董级电影秒变4K高清,还能黑白变彩色。

由于技术原因,最早的影像资料都是较为模糊且卡顿的,这就让大大降低了我们的观感体验。

而最近,国外网友Denis Shiryaev利用一种增强程序(Gigapixel AI),将1896年的古董电影《火车进站》,转变成了4K 60fps高清“大电影”。
AI如何把1896年的电影变成4K高清?-1.jpg

可以看到画面中火车进站、人物走动、衣服摆动都非常流畅、逼真。

当然,看惯了高清电影的大家可能对此不以为然,那么请欣赏下1896年的原片。
AI如何把1896年的电影变成4K高清?-2.jpg

没有对比就没有伤害,这才是原始《火车进站》的效果,低清、卡顿,还有大量的噪点。

不仅如此,另一位网友还将这段高清视频进行了着色,可谓是赋予了古董电影新生命
AI如何把1896年的电影变成4K高清?-3.jpg

那么,这究竟怎么做到的呢?
AI插值,自动填充百万像素


据Shiryaev介绍,他采用的是一种叫做Gigapixel AI的商业图像编辑软件(付费)。这款软件由Topaz实验室创造,可以让图像的质量提升600%。
AI如何把1896年的电影变成4K高清?-4.jpg

Gigapixel AI


它利用一种专有的插值算法,对图像做分析、识别其细节和结构,最后将额外的“信息”填充到图像中。

这个工作量是什么概念?

普通的高清是1920×1080,总像素为2073600,而4K高清是3840x2160,总像素是8294400。

也就是说,光是要把普通高清提升到4K高清,就需要额外填充600万个像素。

不仅如此,还需要弄清楚如何显示这些额外的像素,这就是插值过程的用武之地。

插值估计每个新像素要显示什么内容,这个过程是基于它们周边的像素。对于这一点,有许多方法可以来衡量。

最近邻 (Nearest Neighbor)方法,会简单地用与其最近邻相同的颜色填充空白像素。它虽然简单而有效,但结果是一个锯齿状、明显像素化的图像。
AI如何把1896年的电影变成4K高清?-5.jpg

双线性插值 (Bilinear Interpolation)方法需要更多的处理能力,但它基于最近的两个像素来分析空白像素,并在它们之间生成一个梯度,这会让图像变得更加清晰。
AI如何把1896年的电影变成4K高清?-6.jpg

双三次插值 (Bicubic Interpolation)会对其16个最近邻像素进行了采样,这样就会让着色变得精确,但依旧存在图像模糊的问题。
AI如何把1896年的电影变成4K高清?-7.jpg

通过结合双线性插值和双三次插值,就可以生成光学质量损失最小的放大图像。

而这一过程,Gigapixel AI利用深度卷积神经网络来完成。正如产品页面介绍的那样:

神经网络分析成千上万对照片,了解图像细节是如何丢失的。算法会根据所学知识在新图像中填充信息,有效地为照片添加新细节。

解决了像素低的问题,还需要解决视频卡顿问题

Gigapixel AI在关键帧之间进行“想像”之后,把这些想像出来的帧插进去。

而它插入的帧数多到可以让视频速率提高到60 FPS

这就是古董电影也能变得如此清晰、流畅的原因。
黑白变彩色


虽然Shiryaev的视频中,只是提高了老电影的清晰度和流畅度,但也有网友在此基础上做了进一步的工作——着色

同样是利用神经网络,从一堆彩色照片开始,将它们转换成黑色和白色,然后再重建彩色原图。

网友就把Shiryaev的视频放到了这样的安卓程序中,给这个黑白电影着色。

可以看到,AI正确的判断出了树木是绿色,砂石是棕色,以及路人衣服的颜色。

当然,这位网友也表示,希望看到更好的着色技术让这部经典的古董电影焕发新生命。

那么,你想试试吗?
博主简介

AI如何把1896年的电影变成4K高清?-9.jpg

Denis Shiryaev


Denis Shiryaev出生于1988年6月28日,俄罗斯人。

曾在Комитет公司和Futurico公司担任产品经理,也在Merck KGaA和Bellerage Vostok两家商店担任系统管理员。
传送门


博客:https://arstechnica.com/science/2020/02/someone-used-neural-networks-to-upscale-a-famous-1896-video-to-4k-quality/

https://www.engadget.com/2020/02/04/how-ai-helped-upscale-an-antique-1896-film-to-4k/

视频地址:https://www.youtube.com/watch?v=3RYNThid23g&feature=emb_logo




— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

上一篇:全球首款!圆顶科技发布4K/HDR、240FPS游戏采集盒
下一篇:牛气!小米电视刷新中国电视工业纪录!雷军:拿下全球第一稳了
回复

使用道具 举报

0

主题

3

帖子

22

积分

新手上路

Rank: 1

积分
22
发表于 2020-4-17 08:32:07 | 显示全部楼层
俄罗斯玩算法有一套,很多解码芯片破解角度都有俄罗斯人的身影,从计算模式讲,水平很高。
但是视频不仅仅是计算,还有原值的取样解码转换运算再编码,中间存在按bit的台和01的计算传输态的转换,原始数据的有效性非常重要,计算转换设备的时序和谐性也密切相关,不仅仅是运算那么简单,另外,采样点的能量是物体点直射和众多周边反射的集合,自然界不同场景时段都有差异,算法的参考取值非常难,不是简单运算能够完整涵盖,也就是个有想法的插值仿真而已,真实性待商榷
回复 支持 反对

使用道具 举报

2

主题

9

帖子

44

积分

新手上路

Rank: 1

积分
44
发表于 2020-4-17 08:32:55 | 显示全部楼层
这是AI.?不就是个插入的算法嘛?
回复 支持 反对

使用道具 举报

1

主题

7

帖子

26

积分

新手上路

Rank: 1

积分
26
发表于 2020-4-17 08:33:16 | 显示全部楼层
翻译成 人话 就是 ai脑补一个比较合理的颜色信息填充到画面上 本来没捕捉到的画面信息怎么可能后期补上啊 除非重新拍过
回复 支持 反对

使用道具 举报

0

主题

5

帖子

28

积分

新手上路

Rank: 1

积分
28
发表于 2020-4-17 08:34:09 | 显示全部楼层
加油,很多经典的电影原版看不下去
回复 支持 反对

使用道具 举报

1

主题

7

帖子

24

积分

新手上路

Rank: 1

积分
24
发表于 2020-4-17 08:34:36 | 显示全部楼层
厉害的俄罗斯小伙
回复 支持 反对

使用道具 举报

2

主题

6

帖子

39

积分

新手上路

Rank: 1

积分
39
发表于 2020-4-17 08:35:13 | 显示全部楼层
终结者早晚会来的
回复 支持 反对

使用道具 举报

1

主题

4

帖子

27

积分

新手上路

Rank: 1

积分
27
发表于 2020-4-17 08:35:45 | 显示全部楼层
俄罗斯年轻人处理老影片真棒
回复 支持 反对

使用道具 举报

1

主题

16

帖子

84

积分

新手上路

Rank: 1

积分
84
发表于 2020-4-17 08:36:30 | 显示全部楼层
软件哪里下载
回复 支持 反对

使用道具 举报

1

主题

2

帖子

14

积分

新手上路

Rank: 1

积分
14
发表于 2020-4-17 08:37:22 | 显示全部楼层
转发了
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

精彩图文
Archiver|手机版|TAG|Sitemap|新帖|专题|联系我们:邮箱: 4kjia.com@gmail.com   

4k家园   ©2019