[分享] 480P直接转4K?!! 这是什么黑科技?​

[复制链接]

2

主题

7

帖子

90

积分

4K家园VIP

Rank: 9Rank: 9Rank: 9

积分
90
 楼主| 发表于 2021-8-24 21:21:35 | 显示全部楼层 |阅读模式
4K家园:
伴随着影像分辨率的提高,4K、6K、8K成为了今天制作和放映的常态。与此同时,那些老的影片,想要匹配到新的放映分辨率标准,也变得更加困难。

但还好,AI技术的发展,让一切变得皆有可能。VideoGorillas研究人员使用人工智能技术,将大量的老片子重制到了4K分辨率。

480P直接转4K?!! 这是什么黑科技?​-1.jpg




一种名为Bigfoot super resolution的新型生产辅助AI技术,通过使用神经网络计算出低分辨率影片中缺失的像素,成功将电影从480p转换成了4K。

经典的影片,重置成高分辨后重新上映,这样的技术能够让观众在一个全新的视觉体验中,重温旧时的感动。

在传统的影片重置流程中,大量的工作都需要人力完成,这即花钱又费时。VideoGorillas公司开发的人工智能增强解决方案,能够用更低的成本实现超出预期的分辨率视觉感受。



480P直接转4K?!! 这是什么黑科技?​-2.jpg


一种新的解决方案: Bigfoot Frame Compare

总部位于洛杉矶的 VideoGorillas,是一家结合了机器学习、神经网络、视觉分析、对象识别和实时流媒体技术的先进媒体技术开发商,这家公司与与好莱坞各大电影制片厂合作紧密。

VideoGorillas在2018年9月宣布,其研发的Bigfoot Frame Compare系统,将重新定义电影、电视和后期制作公司管理资产、整理、重新布置和保存项目的方式。

Bigfoot通过在一系列图像中找到类似“兴趣点”的共同点,来自动执行手工劳动密集型的处理(将原始胶片帧与最终编辑的作品相匹配)和比较处理(将不同胶片剪切之间的独特或共同帧进行比较)。

2018年11月,VideoGorillas宣布Netflix公司将于2018年11月2日在影院和网上发布电影《风的另一面》,这是由著名导演奥逊·威尔斯执导的最后一部未完成的电影。

这部影片,使用了VideoGorillas公司的人工智能(AI)驱动的Bigfoot Frame Compare 框架对比技术。

480P直接转4K?!! 这是什么黑科技?​-3.jpg


每秒分析1200万帧

《风的另一面》对电影制作人和 VideoGorillas来说都是了一个挑战,因为它是一项混合了电影修复和全新介质发行的工作。这部拥有40年历史的影片,有100多个小时的素材。



制片人Filip Jan Rymsza说:“在完成《风的另一面》的时候,我们面临着一个非常重大的挑战。”

“我们收集了不同来源的3.5小时的参考剪辑,我们必须把它与100小时的胶片扫描相匹配,包括16毫米、35毫米的底片和35毫米的正片。

传统工作流程,助理剪辑需要对应参考完成剪辑,但有些画面会从16mm放大到35mm,或者放大并重新定位,或者折边,或者从彩色底片上用黑白打印出来,这使得人的肉眼很难做好匹配。

如果没有VideoGorilla的人工智能技术完成这些精确的匹配,我们的剪辑团队可能需要几个月的时间才能完成,而VideoGorilla在两周内完成了这项艰巨的任务。

通过扫描《风的另一面》的胶片片段,我们得到了900多万帧。由于Bigfoot 最初是基于cpu的软件,VideoGorillas又开发了一个实验性的gpu版本,这让洛杉矶办公室的一台机器,能够完成通常需要200-300台服务器的工作。

在摄取了视频两天之后,GPU只花了三天时间来分析这段视频,在峰值加载时, Bigfoot每秒要分析1200万帧。

480P直接转4K?!! 这是什么黑科技?​-4.jpg




Bigfoot super resolution(分辨率提升系统)

现在,VideoGorillas有了另一项技术,它融合了基于NVIDIA CUDA-X和Studio Stack的人工智能技术。通过集成gpu加速的深度学习和计算机视觉,允许制作公司在重置影片时,获得更高的视觉保真度。

这种技术通过使用神经网络来预测缺失的像素,从而将电影从480p转换为4K,这些像素质量高得令人难以置信,让原始内容几乎与4K电影一样出现。

“Bigfoot Super Resolution采用英伟达RTX技术,专注于解决提供目前传统方法,无法实现的视频质量和操作效率提升。

“我们非常高兴能将这个解决方案推向市场,并希望帮助我们的电影和电视合作伙伴,在他们的内容库中,找到重换生机的影片”。

如何在重置影片的同时,保留艺术创作意图?

有趣的是,AI在影片重置工作中,除了提高生成效率和减少时间成本以外,居然还能够发挥出创造性的作用

VideoGorillas的研究团队为每个项目训练了一个独特的递归神经网络(RNN),由NVIDIA gpu加速。机器会学习同一时代、同一类型、同一制作方法创作的作品的特点。然后保持了那个时代/流派的外观和感觉,从而保留了艺术意图。

“我们正在为基于人工智能技术的,电影和电视影像,创造一个新的视觉感受。我们训练AI去除各种干扰视觉的画面元素,同时了解正在重置影片的时代、流派和媒介。利用这些AI技术,我们可以提高影片质量,保持影片的原汁原味的视觉外观和感受。



generative adversarial networ(GAN)系统用于去除低分辨率区域中不需要的噪声和伪影,同时用新的图像合成和升级来替代它们。

这些AI都是使用Pytorch在CUDA和cuDNN中训练,由于每部影片有数百万张图像,处理量非常大,所以VideoGorilla集成了DALI (NVIDIA Data Loading Library))来加快训练时间。



480P直接转4K?!! 这是什么黑科技?​-5.jpg


Nvidia RTX驱动的人工智能技术

想要实现这种由AI完成的视觉新水平,只能通过NVIDIA RTX。该RTX的混合精度和分布式工作流的性能比CPU提高了200倍。VideoGorillas用RTX2080和Nvidia Quadro为更大规模的项目培训超分辨率AI。

Nvidia框架能够使 VideoGorilla将super-re超分辨率应用于HDR,高比特深度视频,以及高达8K分辨率,并实现更快的光流性能。

“纯粹使用CPU来计算,4K和8K视频的超分辨率真的不可行,速度太慢了。VideoGorillas首席技术官亚历克斯·朱可夫说:“Nvidia GPU确实是实现高分辨率、高图像质量的唯一选择。”

在Prem解决方案中,他们还可以使用Nvidia Kubernetes将工作负载扩展到云端,在本地数据中心以及Amazon Web服务和Google云平台中运行。从而实现更加强大的运算能力。

AI技术看似遥远,实际上已经在影视行业,已经得到了越来越多的应用。

就拿所谓的AI分辨率增强来说,类似的技术在很多后期软件中,也得到了应用,比如达芬奇16神经网络引擎实现的Super Scale素材分辨率上变换,也实现的类似的效果。

480P直接转4K?!! 这是什么黑科技?​-6.jpg


480P直接转4K?!! 这是什么黑科技?​-7.jpg


所以,伴随着这些科技公司,对于AI在影视领域的应用探索,在以前看来很多不可能实现的事情,现在都变得明朗起来。

与此同时,技术的进步也在为艺术的创作,带来许多的新的可能性。

480P直接转4K?!! 这是什么黑科技?​-8.jpg




好啦,就先分享到这里吧,还喜欢今天的内容吗?别忘了给我们留言啊!

本文转载自oh4k,作者:HOMEBOYColorTraining 1

上一篇:4K对齐过时了?1024K和2048K对齐又是什么?
下一篇:荣耀智慧屏:可能是唯一拥有两款遥控器的大屏
回复

使用道具 举报

1

主题

7

帖子

40

积分

新手上路

Rank: 1

积分
40
发表于 2021-8-24 21:21:47 | 显示全部楼层
不可能真正转换,有本事你转换480p密密麻麻的字,模糊的看不清什么字,你换成4k就能看清什么字了?
回复 支持 反对

使用道具 举报

2

主题

8

帖子

51

积分

新手上路

Rank: 1

积分
51
发表于 2021-8-24 21:22:08 | 显示全部楼层
能民用就更好了, 把自己珍藏多年的岛国片 全4K化[奸笑]
回复 支持 反对

使用道具 举报

2

主题

8

帖子

41

积分

新手上路

Rank: 1

积分
41
发表于 2021-8-24 21:23:00 | 显示全部楼层
不可能吧。。。这简直是无中生有一样了。反过来才正常吧[捂脸]
回复 支持 反对

使用道具 举报

1

主题

9

帖子

32

积分

新手上路

Rank: 1

积分
32
发表于 2021-8-24 21:23:39 | 显示全部楼层
youtube的4k真尼玛强
回复 支持 反对

使用道具 举报

1

主题

6

帖子

51

积分

新手上路

Rank: 1

积分
51
发表于 2021-8-24 21:24:08 | 显示全部楼层
这个我用过,转1分钟显示时间要花28小时,无奈放弃……电脑3700x
回复 支持 反对

使用道具 举报

2

主题

11

帖子

53

积分

新手上路

Rank: 1

积分
53
发表于 2021-8-24 21:24:45 | 显示全部楼层
去马赛克估计也快了
回复 支持 反对

使用道具 举报

0

主题

7

帖子

28

积分

新手上路

Rank: 1

积分
28
发表于 2021-8-24 21:24:58 | 显示全部楼层
其实人工智能可以做到这一点,未来甚至可以不用拍摄,完全靠人工智能生成影片
回复 支持 反对

使用道具 举报

0

主题

7

帖子

22

积分

新手上路

Rank: 1

积分
22
发表于 2021-8-24 21:25:07 | 显示全部楼层
难道这个也是这样转出来?93年的电影[what]
回复 支持 反对

使用道具 举报

1

主题

3

帖子

10

积分

新手上路

Rank: 1

积分
10
发表于 2021-8-24 21:25:58 | 显示全部楼层
理论上老电影的一帧35毫米胶片的分辨率可以放大到30k都没问题,也就是相当于六千万像素一帧,如果是把480p的数码摄像机拍的内容放大到4k那才叫黑科技
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

精彩图文
Archiver|手机版|TAG|Sitemap|新帖|专题|联系我们:邮箱: 4kjia.com@gmail.com   

4k家园   ©2019