天空（kōng）中翱翔的海鸥（ōu）凭空消失，沙漠中的背包客在行走中（zhōng）人间蒸发……这些原本需要电（diàn）影（yǐng）制作人员完（wán）成的视频（pín）特效又一次（cì）被人（rén）工（gōng）智能“学（xué）会了”。

近期，一项（xiàng）收（shōu）录于（yú）欧洲计算机视觉国际（jì）会议（ECCV）的研究开（kāi）发了（le）一种人工（gōng）智能视频处理算法，可以在（zài）视频画面里抹除（chú）运动（dòng）中的物体，同（tóng）时保持运动边界的清晰度。

这项研究题为《光流 - 边缘引导的视（shì）频补（bǔ）全》（Flow-edge Guided Video Completion），由美国弗（fú）吉尼（ní）亚理（lǐ）工（gōng）大学和Facebook合作（zuò）完成，第一作者（zhě）是美国弗（fú）吉尼亚理工大学（xué）计算机工程专业的博士生高谌。

高谌目（mù）前师从（cóng）弗吉尼亚（yà）理工（gōng）大（dà）学助（zhù）理教授（shòu）Jia-Bin Huang，研究领域是计（jì）算摄影和计算机视觉，研究集中在图像/视频操作和视觉场（chǎng）景理（lǐ）解。

正（zhèng）在骑马（mǎ）的运动员和（hé）马（mǎ）匹一（yī）起消失

在（zài）高湛及其同事展示的研究（jiū）成（chéng）果画面中，各类运动中（zhōng）的物体（tǐ），如摆动中（zhōng）的秋千、正在骑马的（de）运动员、海（hǎi）上行驶的帆（fān）船等，通通（tōng）在视（shì）频里“无痕”消失，肉眼看不出人为（wéi）的编辑（jí）痕迹（jì）。

这项（xiàng）研究的另一位作者Jia-Bin Huang在社交媒体中透露，该（gāi）算（suàn）法可（kě）以在随（suí）意拍摄的视频中无缝（féng）地移除对象、水印或扩大画（huà）面视野。这一算法还得（dé）到图灵（líng）奖得主、人工智能科学家Yann LeCun 的推荐。

高湛（zhàn）等人在论（lùn）文中介绍，这是一种基于光流的视频补全算法。视频补全（video completion）任务是用新合成（chéng）的内容填充给定的时空区域。它有许（xǔ）多应用，例（lì）如修复（去（qù）除划痕）、视频编辑、特（tè）效工作流（去除不需要的对（duì）象）、去水（shuǐ）印（yìn）和标志以及（jí）视频稳定。

对于视频补全任务（wù）而言（yán），难点是新生成的内（nèi）容需要无缝地嵌入（rù）到视频（pín）中，并（bìng）且更（gèng）改应尽可能不被察觉。几年前，业界通用的方法是基于（yú）补丁（dīng）的合（hé）成技术。但这些方法通常合成速度慢，合成（chéng）新（xīn）内（nèi）容的能力有限（xiàn），只能重新混（hún）合视频（pín）中已（yǐ）有的补丁。

后来出（chū）现了基于学习的（de）技术（shù），能够实现（xiàn）更合理的（de）合成效果，但是（shì）由于视频的高内存要求，存在分辨率问题。

作者（zhě）认为，目（mù）前（qián）最成（chéng）功的视频补全方法（fǎ）是基于光流的技术，其能够合成色彩和光流，沿着光流的（de）轨迹传递颜色，以提（tí）升视频的时间（jiān）连贯性（xìng），从而减轻内（nèi）存（cún）问题并实现高分辨率输出（chū）。

这项新研究也（yě）采用了基于（yú）光流的办法（fǎ）。作者表示，以往（wǎng）的（de）光流补全方法往往（wǎng）无法保持运动边（biān）界的清晰度（dù），而他（tā）们所开发的方法首先提取（qǔ）并补全运动物体的边缘，再以（yǐ）光流边缘（yuán）为引导补全（quán）光流。由于并（bìng）非所有（yǒu）视（shì）频中缺失的（de）区域都能（néng）通过这种方法补全，研究人员引入了非局部光（guāng）流，使得视频内容能够在（zài）运动（dòng）边界上（shàng）传播。

作者称，可视化和定量结（jié）果都表明，他们的方法（fǎ）与最新的算法相比具有（yǒu）更好（hǎo）的性能。他们同时指出，其方（fāng）法的运行速度为（wéi）0.12fps（frames Per Second，每秒传（chuán）输帧（zhēn）数），与其他基于（yú）光流（liú）的方法相当，运行速度稍慢是一（yī）大弱点。