jiadelimei1688 4月1日是张国荣逝世19周年纪念日。每年的这一天，全世界无数影迷、影迷都会以自己的方式缅怀“哥哥”张国荣。今年，在腾讯云多媒体实验室智能图像修复技术的支持下，腾讯音乐娱乐集团与环球音乐旗下宝丽金合作，并与腾讯云、微信视频号、腾讯视频等合作发布了《张国荣》 ”宣布。 2000年，全球首次发行《热·情》演唱会超高清还原版》。
4K修复音乐会预告片。
《热·情》 此次演唱会是张国荣的经典绝唱，由张国荣亲自担任艺术总监，服装由著名时装设计师Jean-Paul Gaultier设计。今年，借助数字修复技术，这个被尘封了21年多的“时代象征”首次被释放。本次《热·情》演唱会修复所使用的“超清沉浸式修复引擎”是基于腾讯云多媒体研究院多年的多媒体通信和处理研发经验，使用“超清沉浸式修复引擎”进行高分辨率修复“沉浸式修复引擎”使用图像智能分析。画质修复、画质增强、智能编码四大模块，解决长时间跨度带来的划痕、噪点等问题。但演唱会整体环境较暗，细节不够丰富，场景变化快，光照环境复杂，色彩丰富，给算法带来了挑战。在接受新京报专访时，腾讯云多媒体实验室主任李松南和腾讯云多媒体实验室专业研究员夏震介绍了多项技术难点，包括：作为达到最佳修复效果的算法。
修旧如旧：每个人心中都有标准
新京报：你是什么时候萌生出发布张国荣2000年《热·情》演唱会超高分辨率修复版的想法的？
夏震：我们偶然联系了环球音乐旗下的宝丽金唱片公司，了解到他们有张国荣《热·情》演唱会的母带，我们觉得非常适合我们的技术，达成了一个协议。合作意向。装修工作于3月初正式启动。
新京报：张国荣的众多演唱会中，为什么选择《热·情》？
由于《李松南：《热·情》是《兄弟》生前的最后一场演唱会，宝丽金唱片也想看看能否恢复张国荣之前的一些演唱会和片段。双方很快达成合作立场。
能够在4 月1 日这样一个特殊的日子里发布这个修订版，我感到非常荣幸。每年的这一天，大家都会通过电影等方式表达敬意，但这次我认为通过重新举办一场音乐会来表达敬意会特别有意义。
从对比图中可以看出修复前后图像质量的差异。
新京报：现场直播重构版演唱会是否涉及版权或其他相关问题？
李成楠先生：这次和宝丽金的合作是基于对张国荣老师的记忆，所以没有什么商业意义。另外，这场演唱会将会在多个平台进行直播，而这些直播频道此前都曾为著名艺人提供过打赏功能，但张国荣的直播已经结束了。
新京报：修复过程花了多长时间？哪个部分修复时间较长？
夏震：从算法上来说，整个智能修复过程并没有花太多时间，但它还在进行中，因为我们还是想“把演唱会修复成以前的样子”，保持整个演唱会的艺术效果，可以尝试一下。由于它使用了效果，所以需要花费很多时间才能达到正确的平衡。
新京报：您认为整个修复过程中最困难的部分是什么？
夏震：借助实验室的修复引擎等技术积累，可以最大程度地恢复演唱会视频的清晰度，但是演唱会视频的色彩和快速画面切换的问题还是作为低分辨率的视频素材“推陈出新”，为观众提供身临其境的体验是团队面临的一大挑战。
音乐会的恢复版本的范围可以从母带质量（上图）到经过去隔行、噪声和压缩失真消除、增强和超分辨率的恢复图像（下图）。
新京报：在演唱会修复领域，要达到什么标准才能让“老”和老一样？
李松南先生：“还原旧物如初”是我们还原过去的经典形象所要达到的目标。这个理解因人而异，业内也没有人提出一个标准。对于一场“老一样老”的音乐会来说，“老”正是我们想要表达的。
我们会尽力做一个大致的决定和计划，了解这场音乐会在艺术上如何契合我们当时想要整个舞台表达的情绪，然后朝这个方向调整算法，我会尽力的。修复完成后，我们会将其与旧版本进行比较，看看整体的艺术表现力和整体感觉是否能够达到当时的“老”感。确实，每个人对于“老”都有自己的看法。
技术亮点：6倍分辨率、场景降噪
新京报：相比电影电视剧，这次提到的“数据”较少，这个数据到底指的是什么，为什么说比较小？蚊子？
夏震：我们所说的“数据”就像电视剧修复中做《天下人家》 《康熙王朝》。相对而言，影视剧中的场景相对固定，镜头动作和整体绘画相对稳定，自始至终的艺术表现力取决于造型和整体色彩，风格相似。但音乐会不同。在音乐会上，灯光和图像经常变化。在以往的修复中，很少遇到如此复杂的场景。当我们说数据相对较小时，通常是指在进入该领域之前很少遇到。
音乐会上灯光的变化给修复带来了挑战。
新京报：这次修复后图像质量会提高多少？比如修复前后的分辨率是多少？有没有看到之前看不到的细节？
李松南：从整个画面的主观角度来看，修复后的图像会比以前更清晰、更真实。比如可以看到张国荣的面部轮廓、毛孔、胡须等清晰度非常高，比老版清晰很多。版权公司提供的母带分辨率此前很低，约为720480，但修复后分辨率接近4K，大约是分辨率的6倍，可以流畅播放。整体图像也得到了提升，并且在帧率方面也做了一些优化。
夏震：我做面部修复的时候，有一张很大的脸，整个演唱会的灯光设计恰好是红色的，当灯光打到张国荣的脸上时，他整个脸的颜色都变了，和我们一模一样正常的脸。不同的颜色会导致人脸模型和修复效果不佳，所以我们专门优化了这些问题。
新京报：从观看者的角度来看，高清修复重点是面部修复，但如何才能最大程度地发挥这种修复效果呢？
李松南：目前行业内基本上很难找到基于视频的面部重建。大多数面部重建都是基于一张照片或仅一张照片。如果你想使用视频，你会遇到更复杂的问题。例如，人脸有不同的角度，如侧脸、很小的脸、很大的脸等，算法需要处理各种角度和姿势的人脸来解决问题。
还原这场演唱会的难点之一是演唱会内部有很多灯光，当它们打到人们脸上时，整体颜色会变成红色、蓝色、绿色等。目前的算法存在一些处理和无法解决的问题，但也为以后的工作和优化提供了很多宝贵的经验。
新京报：修复时具体搭建了哪些场景？
Lee Sungnan：例如，对于人脸，我们修复特定场景，但对于大场景，我们使用GAN（生成对抗网络）技术。这是因为以前的母带有很多大场面，镜头拉近了。使用GAN技术，场景的清晰度和纹理变得特别清晰。另外，由于整个演唱会场景都有很多噪音，因此我们对每个场景使用不同的算法，例如在该场景中也使用降噪算法。
新京报：这项技术相对于传统的手工修复有哪些优势？
李松南：整个演唱会长达两个小时，传统的手工修复可能需要一到两个月，但从算法的角度来看，我们的算法处理速度很快。首先，智能分析模块利用各种智能评价算法对视频内容进行全面、多维度的分析。主要评估视频运动、纹理复杂度和压缩失真程度。图像修复模块在获得不同维度的分析结果后，利用各种智能算法，针对影响图像质量的各种关键因素，如划痕、竖线、雪花、噪声、压缩等，可以采用有针对性的方法进行修复。失真、抖动等问题。刮刮算法之类的算法基本上都是腾讯内部开发的，说实话，我在公共服务中从来没有见过。
夏震：划痕和雪花的面积和数量与观看体验成反比。面积越大，体验越差，反之亦然。另一方面，修复伤口也存在很多困难。虽然划痕修复是不可逆的且昂贵，但目前缺乏大型公共划痕数据库，算法难以调整，而且建设成本过高。为了实现这一目标，实验室专门设计了有针对性的多向数据增强方案。解决方案包括从头裁剪和合并、随机大小、随机模糊级别、局部和全局随机亮度调整、随机透明度调整等。
紧接着，图像质量增强模块选择最佳的视频增强算法，在多个维度上提升图像质量，在空间和时间上提高视频分辨率和帧率，在空间域上提高细节清晰度和色彩，提高财富。 CNN（卷积神经网络）和GAN（生成对抗网络）这两种智能算法需要更好的控制和平衡。
修复前后异同视频对比。
新京报：为了打造现场演唱会的“身临其境”效果，还有哪些技术尝试和努力？
夏震：实验室团队还对演唱会时张国荣眼睛的细节做了特殊的算法调整。舞台中央的张国荣的静态图像是从修复的视频中捕捉到的，当放大时，舞台折射图像的轮廓似乎通过他的眼睛可见。
新京报：这项技术未来会变得更加普及吗？
夏震：“超清沉浸式修复引擎”主要分为智能分析、画质修复、画质增强、智能编码四个部分，其中画质修复主要是用来修复这类老视频的。它。删除一些掉帧。图像质量增强旨在进一步提高现有视频的质量，例如提高分辨率、帧率、动态范围，以及向沉浸式方向和维度变换工作发展。我们合作过的很多媒体、娱乐行业、影视行业等公司都积累了大量的旧材料，所以目前提出修复请求的可能性很低。我不敢相信这是小的。还是有相当大的市场，尤其是电视台。
新京报：除了这些专业技巧之外，观众还应该关注哪些方面的感官体验？
李松南：“每个人的感受都有个体差异。整个演唱会我们不会比较修复前后的情况，所以如果我们想让观众感受到积极的效果，这就是演唱会。”大家能在一些小细节上感受到与本次演唱会的亲近感，比如“兄弟”的地位，那就算是符合期待了。
当时的母带质量比较低，所以在我们看来，修复的内容是清晰可见的，包括“哥哥”的脸、眼睛、表情，以及他在演唱会时戴的假长发等细节。能感觉到。定义比以前好多了。希望大家在观看这场演唱会的同时，能够通过现在的技术清晰地反思“兄弟”演唱会的整个过程。
新京报资深记者刘震
资深编辑田思妮校对刘军
微信扫一扫打赏
支付宝扫一扫打赏
