Real-Time Character Swap vs Real-Time Face Swap:有什么区别?

预计阅读3分钟 ·

实时换脸(Real-Time Face Swap)和实时人物替换(Real-Time Character Swap,中文也常写作“实时角色替换”)都是在摄像头还在运行时改变画面中的人物,但传统定义并不完全一样。 前者主要围绕脸部身份变化,后者则可以进一步改变头发、服装、身体外观和完整角色风格。

随着生成式实时视频能力变强,这条界线正在变得越来越模糊。很多仍然被称为“实时换脸”的效果,实际已经不只是在换一张脸,而是在重新生成更完整的人物形象。

Real-Time Face Swap 是什么?

传统的实时换脸,核心是让脸部身份随着摄像头画面持续变化,同时尽量保留原本的身体、衣服、姿势和场景。

也就是说,人还是站在原来的位置,穿着原来的衣服,做着原来的动作,只是脸看起来变成了另一个人。

如果想进一步了解摄像头输入、参考图和实时输出之间的关系,可以先看什么是实时换脸。

实时人物替换会改变哪些部分?

实时人物替换的变化范围更大。

它不只处理脸,还可能一起改变:

  • 发型;
  • 服装;
  • 身体外观;
  • 人物材质和视觉风格;
  • 完整角色形象。

最直观的区别可以这样理解:

换脸改变“是谁的脸”,人物替换改变“画面里是谁”。

例如,同一个站在摄像头前的人,可以实时变成另一位真人,也可以变成穿着科幻装甲的人物、动漫角色、像素方块角色或其他完全不同的视觉形象。原来的动作仍然来自摄像头,但画面中的角色已经发生了更大范围的变化。

两者真正的区别,是改变人物的范围

Real-Time Face Swap 和 Real-Time Character Swap 都是实时处理,所以区别并不是“一个实时、一个不实时”。

真正不同的是:AI要改变画面中的多少内容。

对比项实时换脸实时人物替换
主要变化脸部身份完整人物外观
头发通常保留可以改变
服装通常保留可以改变
身体与角色风格通常保留可以明显重建
动作来源实时摄像头实时摄像头
是否实时输出是是

因此,如果画面只是把一张脸换成另一张脸,更接近传统换脸;如果连头发、衣服和角色风格都一起改变,就更接近人物替换。

为什么现在的实时换脸也越来越像人物替换?

早期实时换脸受模型能力、算力和延迟限制,通常更适合只处理脸部区域,因此“换脸”这个名字很贴切。

随着生成模型能力和实时推理速度提高,新的实时AI模型已经可以处理更大的画面范围。脸不再是唯一会变化的部分,头发、服装、人物材质甚至完整角色风格都可能一起改变。

所以现在一些仍被称为 Face Swap 的实时效果,实际上已经不只是在换脸,而是在改变更完整的人物外观,已经接近实时人物替换。

LiveFaceSwap AI 也是这种变化的一个例子。它仍然属于实时换脸工具,但目前的实时效果已经可以从单纯改变脸部身份,扩展到更完整的角色外观变化。

如果把实时换脸理解成一个更宽泛的说法,它也可以涵盖一部分已经接近人物替换的实时效果;而当头发、服装和完整人物外观都会一起变化时,用“实时人物替换(Real-Time Character Swap)”来描述会更准确。

人物替换视频和实时人物替换不是一回事

这里还容易混淆另一类内容:人物替换视频(Character Swap Video,也常被写作“角色替换视频”)。

现在很多人物替换工具从一段已经录好的视频开始。原视频提供动作、姿势、镜头和节奏,AI再把里面的人物重新生成成新的角色。

Hotel Lobby AI Character Swap 就属于这种工作流。

实时人物替换则没有一段提前准备好的动作视频。动作来自当前摄像头:转头、抬手、移动身体时,AI画面也要跟着连续变化。

简单区分就是:

人物替换视频在重新制作已经发生的视频;实时人物替换在改变正在发生的视频。

到底应该叫换脸,还是人物替换?

如果效果主要改变脸,换脸(Face Swap)仍然是最准确也最容易理解的说法。

如果头发、衣服、身体外观和整体角色风格都一起发生明显变化,人物替换(Character Swap,也常称“角色替换”)会更准确。

但实际使用中,这两个词不会完全分开。“换脸”仍然是更常见、也更容易让人马上理解的说法,所以即使效果已经包含更完整的人物变化,“实时换脸”这个名称仍然会继续被使用。

更实用的理解方式是:

实时换脸是更常见的叫法;当变化已经覆盖头发、服装和完整人物外观时,用“实时人物替换(Real-Time Character Swap)”来描述会更准确。