AI 研究所 | 奥运记录、经典老片鲜活重现!AI 如何为影像“上色” 焕新?

【导语】1952年,中国奥运代表团首次亮相赫尔辛基奥运会,这一历史时刻虽以黑白影像留存,却成为国人心中珍贵的记忆。随着AI技术的飞速发展,这一经典瞬间在“2024中国·AI盛典”上以彩色4K画质重现,栩栩如生。AI技术不仅让历史穿越时空,更在经典影视作(zuò)品(pǐn)修(xiū)复(fù)中(zhōng)展(zhǎn)现(xiàn)出(chū)巨(jù)大(dà)潜(qián)力(lì),助(zhù)力(lì)文化(huà)传(chuán)承(chéng)与(yǔ)发(fā)展(zhǎn)。本(běn)文将(jiāng)探(tàn)讨(tǎo)AI技(jì)术(shù)如(rú)何(hé)助(zhù)力(lì)经(jīng)典(diǎn)影(yǐng)像(xiàng)修(xiū)复(fù),以(yǐ)及(jí)面(miàn)临(lín)的(de)挑(tiāo)战(zhàn)与(yǔ)未(wèi)来(lái)展(zhǎn)望(wàng)。

AI 研究所 | 奥运记录、经典老片鲜活重现!AI 如何为影像“上色” 焕新?

1952年(nián),新中国成立不到三年之时,第一次受邀参加奥运会。当中国奥运代表团几经波折抵达赫尔辛基后,他们做的第一件事,便是在奥运村升起五星红旗。这一珍贵的历史时刻通过影像得以记录、保存,成了见证我国开启奥运之路的珍贵回忆。然而,囿于当时的技术条件,原始版本的影像只能以黑白形式留存。随着人工智能(AI)技术的快速发展,在“2024中国·AI盛典”上,我们得以看到这一珍贵时刻的彩色影像,栩栩如生、生动再现,每个动作、每张笑脸,仿佛一下把我们拉回到了当时的场(chǎng)景(jǐng)。

让(ràng)历(lì)史穿(chuān)越(yuè)时(shí)空(kōng)

在(zài)《1952奥(ào)运(yùn)》视(shì)频(pín)中(zhōng),当(dāng)鲜(xiān)艳(yàn)的(de)五(wǔ)星(xīng)红(hóng)旗(qí)高(gāo)高(gāo)扬(yáng)起(qǐ),当(dāng)年(nián)轻(qīng)的(de)笑(xiào)脸(liǎn)清(qīng)晰(xī)重(zhòng)现(xiàn),AI技(jì)术(shù)让(ràng)这(zhè)一(yī)振(zhèn)奋(fèn)人(rén)心(xīn)的(de)伟(wěi)大(dà)时(shí)刻(kè),穿(chuān)越(yuè)时(shí)空(kōng)再一次栩栩如生地展现在我们面前。

“很多珍贵经典影像受到当时拍摄条件、保存条件的限制,存在划痕、霉斑、分辨率不足等问题,不符合当前观影的质量要求。传统人工+工具的修复方(fāng)法一方面效率低下,另一方面质量达不到要求。”陶竹林表示。

AI技术的快速发展为这一问题提供了新的“解”。

通过深度学习与智能算法,AI技术为高质量、高效率的经典影像(xiàng)修(xiū)复(fù)提(tí)供(gōng)了(le)可(kě)能(néng)。结(jié)合(hé)画(huà)质(zhì)智(zhì)能(néng)增(zēng)强(qiáng)、色(sè)彩(cǎi)还(hái)原(yuán)、音(yīn)频(pín)同(tóng)步(bù)修(xiū)复(fù)等(děng)手(shǒu)段(duàn),AI技(jì)术(shù)能(néng)够(gòu)助(zhù)力(lì)经(jīng)典(diǎn)影(yǐng)像(xiàng)焕(huàn)然(rán)一(yī)新(xīn)。

在(zài)中(zhōng)央(yāng)广(guǎng)播(bō)电视总台音像资料馆主导推进的“智能影像修复任务”中,陶竹林团队与南京理工大学唐金辉团队合作参与了多项经典影像修复工作,《1952奥运》视频便是其中浓墨重彩的一笔。

“修复过程包括图像修复、图像上色、视频增强等阶段,最终实现了图像和视频质量的极大提升。”陶竹林的博士研究生翟艳介绍道。

具体而言,在图像修复阶段,针对老旧黑白图像中普遍存在的噪声(shēng)、划(huà)痕(hén)及(jí)脏(zàng)点(diǎn)问(wèn)题(tí),采用先进图像复原技术完成了图像的去噪、去划痕和脏点处理,有效提升了图像的清晰度和结构的完整性。

在图像上色阶段,基于图像修复基础,引入自动上色方法对图像进行初步着色,并通过人工优化,修复色彩不准确、边缘溢色等问题,最终实现真实感强、视觉效果自然的彩色图像生成。

在视频增强阶段,首先基于上色后的首尾帧图像,通过颜色传播方法实现整段视频的自动上色,确保颜色在时间维度上的连续性和一致性。随后采用深度学习方法完成视频的超分辨率重建,提升视频整体清晰度,从而实现完整视频的视觉增强。

“通过上述策略和方法,我们有效地在动态视频场景中实现了颜色的连续追踪与准确匹配,确保如旗帜飘动、人物行进等变化过程的色彩保持一致;同时,实现了特定区域的定向上色处理,满足对重要物体或场景的个性化修复需求,带来了更高的还原度与艺术表现力。”陶竹林介绍道。

让优秀文化鲜活留存

除再现重要历史时刻,AI技术还能助力经典影视作品活力焕新。“四大名著”是我国文学史中的经典作品,也是世界宝贵的文化遗产之一。根据“四大名著”改编的经典影视作品不胜枚举,从20世纪80年代一直跨越至今。

这些经典的影视作品成为一代又一代人的难忘记忆,也成为世界了解中国文化的重要窗口。然而,随着拍摄技术的不断精进,以及荧幕分辨率的逐渐提升,很多经典影像显得“格格不入”,无法满足当今高质量的观影要求。

如何让经典影像跟上时代的脚步,更好地实现文化传承与发展?AI技术给出了答案。

“AI助力经典影像修复的具体步骤包括总结分析、模型搭建、数据训练、实际修复等几个阶段”,翟艳介绍。

操作过程中,首先需要对(duì)影(yǐng)像(xiàng)中(zhōng)常(cháng)见(jiàn)的(de)退(tuì)化(huà)问(wèn)题(tí)进(jìn)行(xíng)系(xì)统(tǒng)性(xìng)总(zǒng)结(jié),包(bāo)括(kuò)图(tú)像(xiàng)噪(zào)声(shēng)、划(huà)痕(hén)、模(mó)糊(hu)和(hé)分(fēn)辨(biàn)率(lǜ)低(dī)等(děng)。接(jiē)着(zhe),基(jī)于(yú)这(zhè)些(xiē)分(fēn)析(xī)构(gòu)建(jiàn)模(mó)拟(nǐ)真(zhēn)实退化过程的退化模型,为后续训练提供有效的数据支撑。在此基础上,调研当前主流图像修复技术,优选基于扩散模型的图像生成方法,并结合所构建的退化数据,对模型进行有针对性的重新训练,从而更好地适应经典影像的修复需求。

“比如,图像修复环节主要采用扩散模型去除噪声和划痕,并结合超分辨率重建技术提升图像清晰度与细节表现力。在视频修复方面,则引入结合运动特征的扩散模型,有效处理视频中不同帧之间变化带来的时序不一致问题,同时实现去噪与划痕修复;在(zài)此基础上,根据修复目标,进一步集成上色算法与分辨率增强模型,实现视频在视觉效果与色彩层次上的整体提升。”陶竹林补充道。

团队正在参与开展的“四大名著”修复工作便为经典影像的清晰重现提供了解决方案。

以《西游记》为例,为实现影像整体视觉质量的提升,团队针对不同类型片段的结构特征,设计并实现了一套差异化的视频修复策略。

具体而言,将影像拆分成以背景场景为主和以人物面部细节为主的视频片段,采取差异化的修复策略,更好地满足不同的修复需求。

对于以背景场景为主的视频片段,重点关注帧间时序一致性,通过对连续帧之间的变化规律进行建模,实现画面在运动状态下的稳定还原,有效避免闪烁与结构漂移问题;而对于以人物面部细节为主的片段,则侧重于提升图像的纹理细节和真实感,使修复结果在视觉上更具表现力。

此外,“为了进一步改善整体修复效果,我们对视频内容进行分段处理,并结合片段拼接与融合技术,有效解决了统一模型难以(yǐ)兼顾不同片段特征的问题,确保整段视频在风格与质量上的一致性。”陶竹林补充道。

在AI大模型技术快速发展的背景下,团队还据此整理并建立了面向特定历史影视作品的近景图像数据集,为模型训练提供了极具代表性的训练样本。

让红色基因得以传承

经典影视作品还承载着传承优秀文化,赓续红色精神的重要使命,其中,20世纪60年代的经典电影作品《雷锋》便是这样一部激励一代又一代人成长的杰出作品。

原版影片以黑白方式呈现,而经过AI修复后的彩色4K版影片,更好地还原了当时的场景与人物细节,目前已经在多个地方点映。

在修复过程中,团队采取了简单镜头与复杂镜头差异化的修复方案。“在(zài)部分简单镜头的处理中,针对自然景物、读书看报等静态场景,采用常规图像上色算法即可实现较高质量的着色,实现边缘过渡自然、无明显色彩异常的稳定(dìng)效(xiào)果(guǒ)。”翟(dí)艳(yàn)介(jiè)绍(shào)道(dào),“而(ér)针(zhēn)对(duì)复(fù)杂(zá)镜(jìng)头(tóu),普(pǔ)通(tōng)上(shàng)色(sè)方(fāng)法(fǎ)却(què)容(róng)易(yì)出(chū)现(xiàn)颜(yán)色(sè)漂(piào)移(yí)、边(biān)界(jiè)溢(yì)色(sè)等(děng)问(wèn)题(tí)。”

对(duì)此(cǐ),对(duì)于(yú)光(guāng)线(xiàn)昏(hūn)暗(àn)、室(shì)内(nèi)结(jié)构(gòu)复(fù)杂(zá)、人(rén)物较多或场景发生渐变的镜头,团队创新提出对每一段片段提取关键帧进行精细化上色处理的方法,同时,结合帧间插值技术提升时序一致性,有效缓解了错上色与漏色现象,实现了整体视觉效果的显著提升。

修复过程中的另一个难点,则是如何处理人物快速运动或人物数量众多等高动态镜头。“我们在增加关键帧数量的基础上,引入了人工修复机制,对易被忽略的细节区域(如快速移动的人物轮廓、遮挡区域)进行手动精修,确保色彩还原的准确性与视觉自然度。”陶竹林介绍。

AI助力经典影像修复
仍存在诸多难点

“合理利用AI技术,不但可以让大家重温经典,接受爱国主义教育熏陶,还可以更好地传承中华优秀文化,增强文化自信。”陶竹(zhú)林(lín)表(biǎo)示(shì)。然而,尽管AI助力经典影像修复已经实现了显著发展,但仍面临诸多挑战。

比如模型的泛化能力不足。当前(qián)模(mó)型(xíng)大(dà)多(duō)依(yī)赖(lài)人(rén)工(gōng)设(shè)计(jì)或(huò)理(lǐ)想(xiǎng)化(huà)的(de)退(tuì)化(huà)模(mó)拟(nǐ),难(nán)以(yǐ)全面(miàn)覆(fù)盖(gài)经(jīng)典(diǎn)影(yǐng)像(xiàng)的(de)真(zhēn)实(shí)退(tuì)化(huà)情(qíng)况(kuàng),导(dǎo)致(zhì)在(zài)实(shí)际(jì)应(yīng)用(yòng)中(zhōng)泛(fàn)化(huà)能(néng)力(lì)不(bù)足(zú)。效(xiào)率和精度的平(píng)衡(héng)问(wèn)题(tí)同(tóng)样(yàng)凸(tū)显(xiǎn)。对(duì)于(yú)高(gāo)分(fēn)辨(biàn)率(lǜ)图(tú)像(xiàng)的(de)修(xiū)复(fù)需(xū)要(yào)处(chù)理(lǐ)大(dà)量(liàng)数(shù)据(jù),对(duì)计(jì)算(suàn)资(zī)源(yuán)提(tí)出(chū)了(le)很(hěn)高(gāo)的(de)要(yào)求(qiú)。此(cǐ)外,还面临AI大模型快速发展的通用问题,数据获取难度大。高质量的训练数据集对于基于深度学习的方法尤为重要,但获取大规模、标注精确的数据并非易事。

对此,陶竹林认为,影像修复领域未来将在作用机制、数据训练、技术融合等方面实现进一步发展。就作用机制而言,深度学习应与传统修复方法相结合,各自发挥优势;同时,针对不同用户需求和场景特点(diǎn)的(de)个(gè)性(xìng)化(huà)修(xiū)复(fù)解(jiě)决(jué)方(fāng)案(àn)也(yě)尤(yóu)为(wèi)重(zhòng)要(yào)。就(jiù)数(shù)据(jù)训(xun)练(liàn)而(ér)言(yán),应(yīng)引(yǐn)入(rù)大(dà)规(guī)模(mó)真(zhēn)实(shí)退(tuì)化影像数据,进一步提升AI模型对于复杂退化的适应性和泛化能力。就技术融合而言,借助大数据与云计算,能够更高效地处理大规模影像数据,从而实现修复效果的进一步提升。

采访专家:陶竹林(中国传媒大学人工智能系副教授)

撰文:记者 贾朔荣

编辑:段大卫

更多资讯内容!欢迎关注大数据官方微信()