LibTV 的这几个原创新功能要怎么用? 我们做了一手实测
AI 模型厂商在前端厮杀,LibTV 在后方用 Agent 抢夺长尾创作者。
AI 模型厂商在前端厮杀,LibTV 在后方用 Agent 抢夺长尾创作者。

👦🏻 作者: GaKi
🥷 编辑: Koji
🧑🎨 排版: NCon

7 月 31 日这一天,对于 AI 视频模型厂商来说有点拥挤。字节的 Seedance 2.5 正式发布,MiniMax 的 H3 也在同一天亮相。两条消息前后脚出来,AI 视频领域的时间线基本被这两个模型名占领了。
模型侧热闹起来之后,压力就传导到了应用侧。各家 AI 视频生成应用开始围绕着如何用好 Seedance 2.5 下了各种功夫。
这一轮里,LibTV 的动作算是比较快的。
Seedance 2.5 接入平台的同时,其把逐帧拉片、智能引用、片段重拍、素材混剪、5 分钟超长视频和 Blender 白模插件一起发布了,几乎每一项都是针对 Seedance 2.5 的某个新能力做的。
这种「卷」,在现实里其实已经看到了成果。近期,全网播放量破 2 亿的 AI 短剧《被裁掉的女孩》,凭借逼真的微表情和连贯的情节走红,虚拟女主「方桃子」甚至像真实明星一样接到了商业代言。而其背后的制作产品,用的正是 LibTV 。

🚥 我们十字路口团队第一时间围绕这些新功能做了实测,接下来分享体验。
实测
首先,体验入口在:
这回 LibTV 上线的功能里,比较有亮点的有几个:片段重拍、逐帧拉片、智能引用、素材混剪、超长视频,还有 3D 白模。这几个功能基本都是针对 Seedance 2.5 推出的,用到的是它的参考能力、续写能力和编辑能力。
3D 白模我们在之前的视频里用 Blender 搭配 Seedance 2.5 演示过,效果不错,这回就不再展示。
前面这几个功能,我们按照影视制作的真实需求,依次来看。
AI 短片的真实制作流程
前几天,诺兰的新片《奥德赛》开启了点映,不少影迷都第一时间走进影院体验了这部史诗大片。
这部电影最大的卖点,在于其极具质感的史诗风格,它采用 IMAX 65mm 胶片拍摄,画面保留了非常自然的颗粒感与色彩噪点,且没有经过过度的数字锐化和磨皮打磨,极力呈现出一种实景级别的实体特效质感。
于是,我也尝试借助 LibTV 的影视制作流程,复刻了这种独特的光影质感,并制作了一支效果不错的短片。
整体能看出来,它在电影感、胶片质感上的表现还是比较明显的。包括海水与人物碰撞时的物理效果,以及人物与独眼巨人缠斗、缠绕在独眼巨人身上,再被其带着飞出森林的整个过程,都比较自然,物理效果也做得不错。
那这种短片是如何制作的呢?下面分享下我的流程。
爆款拉片
首先,做一支好的故事短片,一开始就需要找一些有故事感、也比较成熟的短片来参考。镜头、故事叙述、人物站位这些角度,都需要一个好的参考。
先说主要思路。
这部《奥德赛》电影在 YouTube 上其实是有 2 分钟的片段的,大概是几个月之前的一个宣传片段:

但你也能看出来,这种片段如果只是作为参考,光靠创作者自己肉眼去学习其实是很难学会的,因为里面涉及太多镜头感、画面风格、动态参考等细节,很难真正掌握。
所以就需要 AI Agent 帮我把这些参考视频的风格、思路、摄影思路和音频提取出来,再做分析。这个任务现在可以直接在 LibTV 里完成。
先把这支短视频下载下来,上传到 LibTV,再用逐帧拉片功能把分镜、动态和音乐都提取出来。

LibTV 会把我上传的视频拆成几个分镜,另外还给出整体的动态动作参考和音乐参考片段,提取出来的内容不少。
其中一些分镜会作为视频的关键帧参考。

自己做短片的时候,不要把原视频里的内容整套照搬。如果只是替换人物,那就成了简单的人物替换。
要让 LibTV Agent 参考的是整体的拉片结构,比如参考片段里用了什么样的运镜结构,什么样的景别,大远景、中景、近景这些。参考完这些内容,再去做自己的故事短片。

智能引用
当 LibTV 通过逐帧拉片,把里面所有的镜头片段、动态参考、风格参考全部提取出来之后,我会发现整个画布里已经堆积了大量素材。而接下来我们还需要基于这些提取出来的片段进行二次创作,形成自己的风格,所以整张画布很容易被大量素材填满。
这个时候我发现 LibTV 上线了一个叫「智能引用」的功能。它的核心作用是,在生成视频时,你可以直接输入视频生成提示词,系统会智能识别你的提示词,并自动从当前画布中找到对应的素材作为参考。
比如说,我输入"一个戴着头盔的士兵",它会自动从画布中匹配对应的图片,并将其作为生成参考。再比如"独眼巨人"这样的角色,也可以通过同样的方式被自动识别并引用。

在 LibTV 的无限画布里,可以让它一口气把所有锚点图和分镜都生成出来。生成完之后如果要改,比如想改一个片段,因为里面有些内容不太 OK,人物有点问题,就需要从画布里找到一个正确的素材。但内容太多了,整个画布可能有上百个素材,就非常麻烦。
这时候可以直接点击这个视频,用 LibTV 的「智能引用」功能。
这样,创作节奏也不会被打乱,不用为了找一张素材,在几百张素材里一张一张地翻。
这样的智能引用功能,可以让我们非常高效地完成大量类似的片段创作。
比如士兵从洞口钻出来之后,画面需要完成一次光影变化,然后切换到独眼巨人缓缓站起的镜头。这类场景在实际制作过程中会比较复杂,因为它涉及摄影机运动、镜头穿梭以及不同主体之间的衔接。
这个时候,我们就可以直接利用智能引用,快速调用前面提取好的角色、风格和镜头参考,大幅提升生成效率。

当然,LibTV 的 AI Agent 也不可能靠一个提示词就把一整支短片做完,并且完全不用改任何片段。它第一次做完整体视频的时候,完整度还可以,但里面有一些片段我不太满意。
这个时候我们就可以用到片段重拍功能。
片段重拍
这功能的具体使用方法就是在在画布里点击这个视频之后,会有一个「片段重拍」的功能。
点击片段重拍之后,它会展示完整的视频。你可以在里面预览,直接勾选某一个片段,像在剪映里那样编辑。点击这个片段,就可以精准地重拍它。
重拍时它会根据上一个片段的尾帧和下一个片段的首帧来做衔接。
整体用下来,这个功能还不错。主要还是 Seedance 2.5 的模型能力比较到位,已经能撑住这种上下文的衔接。
其中一个片段,我就是利用这个功能重新生成了一次。这个片段是整个影片的开头部分,但原始版本里的人物设计存在一些问题,比如没有佩戴他的青铜科林斯头盔。
不过整体的光影效果和画面美感是保留住的,所以我只需要针对这一小段进行重新生成,而不用重新制作整个影片。

重拍后的效果还可以:

另外,剪辑最后那支完整视频的时候,有时还是得用本地的剪辑工具。这时候可能会把一支完整的视频分成几个片段。
如果你觉得这些片段之间不够衔接,效果或者剧情接不上,可以把它们导入到 LibTV 的无限画布里,在 Agent 的聊天界面引用这几个片段,它就会根据这些素材自己去剪辑。
里面有一个智能剪辑功能,还可以做素材混剪。只要上传视频、图片、音频、文稿,都可以进行素材混剪。跟 Agent 不用交代太多,它会自己分析你上传的内容。
5 分钟长片 当以上这些功能都完善之后,我们就可以尝试创作更加长篇的视频内容。比如现在 LibTV 已经支持将视频时长拉长到 300 秒,也就是一整支 5 分钟左右的长片。
这种能力非常适合制作一镜到底、剧情衔接紧密的长片内容。
这里有一个案例,就是利用 LibTV 生成了一段一个女孩穿梭冒险的超长视频。
在整个画面中,这个女孩不断穿梭于多个不同场景之间,比如像素风格、真实世界风格等,甚至还出现了她变换出《我的世界》中的像素剑,与怪兽进行战斗的场景。
这些场景转换都通过极具特效感的方式完成,对周围环境进行了持续性的改造。
这两个案例看完,这次 LibTV 升级的轮廓就比较清楚了。
实际测下来,Seedance 2.5 的抽卡成功率确实比 2.0 高了很多,大部分时候一次就能拿到有用的结果。再搭配上更易于创作的界面,以及门槛更低的 Harness 功能,创作会变得简单很多。
顺带提一句 LibTV 的活动,Seedance 2.5 的 720P 目前限时 5.8 折,含参考视频的生成从 46 积分每秒降到 27 积分每秒,折合下来低至 0.4 元每秒,最高赠送 60 条免费生成。
这种力度的降价,也算是 Seedance 2.5 之后,AI 视频生成平台之间的一场「争斗」。
所以现在我们能看到,围绕 AI 视频模型,模型和平台几乎在同时打两场仗。
模型这边,Seedance 2.5 这类模型把长叙事和多模态参考能力提升了一个比较大的幅度。
平台这边是另一场,需要把新模型的新能力翻译成创作者真的能上手的操作,把门槛降下来,才能拿到这一波的用户,也才能顺利地把模型分发出去。
这场围绕 AI 视频模型的大战,越来越好看了。
十字路口正在寻找独立撰稿人,撰写 AI 产品和模型评测。
如果你写过类似文章:《实测 PixVerse C1》、《实测 LibTV》,请联系 zeo0811@gmail.com ,邮件内容请包括:① 个人介绍、② 你写过的 AI 评测文章。
我们会提供有竞争力的稿酬。期待与你一起观察与记录 AI 时代 🎪