AI 短剧越来越逼真，为什么却越来越出戏？
画面逼真，不代表空间、物理和剧情关系同样合理。从观看 AI 短剧时遇到的违和感出发，结合物理常识、中文口型与长视频生成研究，讨论模型能力和制作流程分别影响了什么，以及为什么连续性比单个漂亮镜头更难。
文章目录
最近看了不少红果上的 AI 短剧，产生了一种很奇怪的感受。
单看画面，AI 的进步确实令人惊讶。人物的面容、服饰、建筑、光影，已经可以做到相当逼真。有些镜头甚至很难一眼判断是否由 AI 生成。
但随着剧情展开，各种违背常识的画面又会接连出现。
两个人正在交谈，却各自看着镜头，仿佛根本不知道对方站在哪里。
一支箭射出去，竟然是箭尾朝着飞行方向。
人物受到惊吓，本该表现紧张和冷汗，脸上却莫名其妙挂满了泪水。
更离谱的是，主角脸上的痣，一会儿在左边，一会儿跑到右边；前面明明断了左手，后面却变成了右手；剧情里早就搬进了砖房，十几集过去，人物却依然住在原来的泥土房里。
这些错误有时让人忍俊不禁，但也引出了一个值得思考的问题：
为什么 AI 已经能够生成如此逼真的画面，却仍然会犯下这些看起来十分低级的错误？
一、生成逼真的画面，不等于理解画面中的世界
我们先看一个简单的例子。
假设要求 AI 生成一段两个人面对面交谈的视频。
从视觉表现来看，这项任务似乎并不复杂。模型只需要生成两个人物，让他们张嘴说话，再配合适当的表情和镜头切换。
但真正的面对面交谈，包含着一系列空间约束。
两个人必须处在合理的相对位置，身体朝向需要符合场景关系，视线通常应该落在交谈对象身上。摄影机位置改变时，这些关系也必须保持一致。
对于人类而言，这些几乎不需要思考。
但视频生成模型并不一定会显式构建一个完整的三维场景，再根据人物的位置和朝向生成画面。
它可能从训练数据中学习到了大量「人物说话」的视觉特征，例如面部特写、嘴唇运动、眼神变化，却没有稳定地维持人物之间的空间关系。
于是，两个单独看起来都很正常的镜头，组合在一起却变得不合理。
弓箭的例子也是如此。
模型可能知道拉弓、松弦、箭飞行的画面通常是什么样子，但生成时却没有保证箭的朝向与运动方向保持合理关系。
这反映出一个重要区别：
画面在视觉上真实，与事件在物理和空间关系上合理，是两种不同的能力。
这一点并非只是观众的主观感受。
2025 年国际机器学习大会（ICML）发表的 PhyGenBench 研究，专门评估视频生成模型对物理常识的遵守程度。研究涵盖 27 种物理规律，发现当时的主流模型在复杂动态场景中仍然存在明显困难。参见 PhyGenBench 论文。
模型能够生成物体运动的画面，却不一定能够正确遵守运动背后的物理规律。
当然，这不代表 AI 完全没有学到物理知识。它可能已经具备一定的直觉物理能力，只是尚不足以保证生成结果始终正确。
二、声音和表情，同样存在「看起来对，实际上不对」的问题
除了空间与物理错误，我还发现一个很明显的现象：AI 人物说中文时，面部动作经常不自然。
明明只是在平静地说话，嘴巴却大幅张合，脸颊和嘴角也会出现夸张的运动。有时发音本身还会出错，甚至把普通的字念成另一个字。
这里涉及语音、口型与表情之间的协调问题。
人类说话时，嘴唇、下颌、舌头和面部肌肉的运动，并不是简单地跟随声音大小变化。
不同的音节需要不同的发音动作，语速、情绪和说话习惯也会影响面部表现。
如果 AI 没有充分掌握这些关系，就可能出现声音与嘴部运动大致同步，但动作明显不自然的情况。
还有一个可能的影响因素，是训练数据的语言分布。
早期一些常用的说话人脸研究数据集以英语视频为主。2025 年的 JoyGen 研究就专门构建了约 130 小时的中文说话人脸数据集，以改善中文场景下的音画同步效果。参见 JoyGen 论文。
不过，不能据此断言英语说话时面部运动一定比中文夸张，更不能仅凭成片表现，就认定某个商业模型主要使用英语素材训练。
真正的问题是：模型能否准确地把不同语言的发音特征，映射为自然、符合情境的人体动作。
图片和视频中的文字错误，也有类似的能力差异。
大语言模型直接生成文字时，输出的是可以交给字体系统显示的字符；而图像、视频模型如果直接生成画面中的文字，还需要准确绘制每个字的形状，并在运动过程中保持一致。
因此，AI 能正确写出一句话，不代表它一定能在图片或视频里正确画出这句话。
三、比单个镜头出错更严重的，是整个故事失去连续性
如果说箭尾朝前飞属于单个镜头中的物理错误，那么角色的痣不断改变位置、断手左右互换、砖房变回泥房，就涉及另一个层次的问题。
这类问题可以归纳为：状态一致性。
人类观看一部连续剧时，会在头脑中不断积累对故事世界的认识。
我们知道主角长什么样，住在哪里，受过什么伤，与其他人物是什么关系。
这些信息不会因为一个镜头结束而自动消失。
如果第六集主角失去了左手，那么这件事就应该影响后续的身体状态和动作表现。
如果第八集搬进了砖房，那么后续发生在新住所中的剧情，也应该延续这一变化。
换句话说，故事中已经发生的事件，必须对后续世界产生持续的影响。
但很多 AI 视频制作方式，是先将剧本拆成多个短片段，再分别生成、剪辑。
这种方式可以获得不错的局部画面，却不一定能保证跨镜头、跨场景甚至跨集的状态一致性。
于是，每个片段看起来都像是同一个故事，连接起来却可能出现自相矛盾的情况。
2026 年 9 月，Google Research 发布了一篇关于长视频生成的研究文章，介绍如何通过持续的视觉记忆、角色与场景状态管理，以及生成结果验证机制，改善长篇视频的连续性。参见 Google Research 研究介绍。
这说明，长视频生成的困难，并不只是把视频做得更长。
从生成一个画面，到生成一个连续变化的故事世界，系统需要维护的信息和约束已经发生了根本变化。
四、这些错误，究竟是模型的问题，还是制作方的问题？
讨论到这里，我们还需要避免另一个误区：把所有低质量 AI 视频都归咎于模型。
这并不公平，也不够准确。
复杂物体运动、精细人体动作、空间关系保持，确实可能受到模型底层能力的限制。
但角色的痣反复变化、伤口左右互换、场景设定前后矛盾，就不一定完全是模型问题。
传统影视制作同样存在穿帮风险，因此需要场记、服化道管理、分镜设计和后期审核。
即使是真人演员拍摄，工作人员也需要保证前后镜头中的衣着、道具、人物位置和场景状态一致。
AI 制作同样需要这些工作。
如果制作方没有角色设定表，没有统一的场景参考素材，也没有建立剧情状态记录和成片验证机制，那么视频生成模型即使能力很强，也难以独自保证整部作品的连续性。
更重要的是，模型生成错误，并不意味着错误就必须进入最终成片。
制作过程中本来就应该存在检查、修正和返工。
当然，完善的制作流程也不是万能的。有些物理动作错误，即使给出明确的要求，模型仍然可能反复生成失败。这时就需要更换生成方式，甚至结合传统动画或其他技术处理。
因此，评价 AI 短剧的质量，需要区分两件事：
模型能不能正确生成，以及制作方有没有能力发现并修正错误。
前者决定技术能力的边界，后者决定实际作品能够达到什么质量。
五、画质已经不是衡量 AI 视频的唯一标准
这两年，AI 视频的视觉表现进步很快。
但随着人物越来越逼真，一些过去被画质问题掩盖的缺陷，也开始变得更加明显。
观众看到的不再只是一组漂亮画面。
我们会下意识地判断人物为什么这样行动，物体为什么这样运动，前面发生的事情为什么没有产生应有的后果。
当这些关系不合理时，即使画面精美，观众仍然会感到明显的违和。
未来评价 AI 视频，也许需要更加重视几个问题：
人物与场景的空间关系是否合理？物体的运动是否符合物理常识？角色的外观与身体状态能否持续保持？已经发生的事件，是否会正确影响后续剧情？
这些能力比单纯提高分辨率、丰富镜头效果更加复杂。
也正因为如此，我认为当前 AI 视频的发展，正在逐渐面对一个新的挑战：
不仅要生成一个看起来真实的画面，还要让画面中的世界保持合理与自洽。
而对于那些明显的角色、场景和剧情连续性错误，我们或许不必完全等待下一代模型。
通过更专业的制作流程、上下文管理和质量验证，现有技术就有机会显著改善成片质量。
至于如何区分模型能力不足与制作流程缺陷，以及怎样建立一套更可靠的 AI 视频生产流程，可以继续阅读《AI 短剧的痣会乱跑：问题出在模型，还是使用者？》。
参考文献
[1] Meng, F., et al. (2025). Towards World Simulator: Crafting Physical Commonsense-Based Benchmark for Video Generation. Proceedings of the 42nd International Conference on Machine Learning (ICML 2025), PMLR 267, 43781–43806.
[2] Wang, Q., Wu, D., Xu, Z., Huang, J., & Lv, J. (2025). JoyGen: Audio-Driven 3D Depth-Aware Talking-Face Video Editing. arXiv:2501.01798.
论文链接：JoyGen · arXiv
项目主页：JoyGen 项目主页
[3] Song, Y., & Song, Y. (2026, September 24). Automating coherent long-form video generation. Google Research Blog.