一场事先张扬的发布会让 Sora 成为 2024 开年顶流,字节跳动却在悄咪咪推进 AI 产品迭代。


近日,字节正式发布文生图模型 SDXL-Lightning。其官方信息称该模型采用了新的渐进式对抗蒸馏(Progressive Adversarial Distillation)技术,能将计算时间和成本降至此前的十分之一——通常情况下,文生图模型使用扩散式生成(diffusion)模型,单张图像处理时间大约需要 5 秒,还需多次(20~40 次)调用庞大的神经网络;但 SDXL-Lightning 能提速 10 倍在 2~4 步内生成高质量及分辨率的图像。


事实上,早于 2023 年 11 月,字节跳动已发表视频生成研究成果 PixelDance,提出基于文本指导 + 首尾帧图片指导的技术方法,能生成具有高度一致性和丰富动态性的视频;今年1月,字节又发布了视频生成模型 MagicVideo-V2,通过集成文本到图像模型、视频运动生成器、参考图像嵌入模块和插值模块,打造了一条视频生成流水线,效果超越 SVD-XT、Pika1.0、Runway的Gen-2 等同类模型。


尽管,字节在研发多模态模型方面已处于国内领先状态,但其与 OpenAI 仍有较大差距,好在字节愿意接入 OpenAI 的模型(字节海外有两款 AI 产品,Cici 和 Coze 都接入了 GPT 3.5/GPT 4 模型,两者 DAU 迅速攀升至百万级别),在一定程度上克服了模型能力的短板。

 

然而,横空出世的 Sora 加速了字节的焦虑:


  • 一方面,Sora 已经能生成 60 秒视频,这将直接改变抖音与 TikTok 的内容供给逻辑——巨量数据显示,以 60 秒视频为临界点,文生视频已经在颠覆短视频行业;

  • 另一方面,Sora 可以用于视频编辑、视频风格混合等多个领域,是一个集视频生成、图片生成、视频编辑等功能于一体的强大模型。

 

有鉴于此,Sora 这样的“新物种”从创作门槛、内容质感、创作持续性等方面都会降维打击大部分创作者,或将改变内容生产和编辑方式,从业者可能面临技能需求和工作流程的变化——此前 Runway 在《瞬息全宇宙》里已有所应用,但 4 秒到 15 秒发展了半年,15 秒到 1 分钟三个月,技术的发展速度如此惊人,随着文生视频效果越发精进,抖音及 TikTok 也将面临新技术带来的洗牌,这在一定程度上刺激字节更加积极推进 AI 技术投入。

 

深层次原因还在于:中国移动互联网业到了用户、流量趋于见顶的成熟期,监管会更侧重产业互联网的推进与建设,这意味着技术走到平台重构生态的关键时期。


尤其,在快速迭代的 AI 浪潮裹挟下,心有猛虎的公司都在寻找向上攀爬的入口——当通用人工智能时代呼啸而来,字节手握应用层及数据层的独特优势,抖音拥有丰富的数据素材和充足的算力资源,必须在快速发展时期进行果断投入(包括技术生态迭代、研发投入等),从而博一张未来的船票。

 

剪映成字节刺破AI的“针”

 

那些颠覆行业产品的诞生契机就是如此传奇:Sora 创始团队成立不足 1 年,由两名刚毕业的博士生带队,核心成员 15 人,其中甚至有 00 后(成员Will DePu 于 2003 年出生);而抖音前身 A.me 于 2016 年秋上线时,创始团队也只有 7 个年轻人。

 

虎嗅了解到,字节跳动的 AI 战略是各个市场做各自的产品;其中,剪映或将成为中国 AI 应用最先爆发的产品:截至 2021 年,剪映月活用户数已经突破 1 亿,是国内最大的移动视频编辑产品。

 

具体而言,字节跳动通过拆解明确每个部门的 OKR(例如抖音主要负责拉新,而字节专门负责 AI 产品的 Flow 部门负责开发及产品增长)实现了部门间互不干涉,解决了互联网公司迅速扩张所面临的组织协同问题,是国内逐梦 AI 浪潮互联网公司中战略最清晰的一个。


张楠在 2020 年抖音创作者大会发言


要知道,抖音 CEO 张楠卸任前一年(2023 年)绝大多数精力都倾斜在剪映相关业务上。据张楠自述,刺激她义无反顾投身AI 的原因之一便是希望帮助创作者对更好表达自己的想法,因为过去“几乎无法用一个产品完成所有的创作,要横跨几个产品之间,用复杂的编辑和交互流程,才能完成表达。”

 

但据字节内部人士透露,张楠亲自带队投身 AI 研究,很大程度上源于字节管理层预判文生图、文生视频将是下一个引领时代的赛点。


于张楠而言,就像她在朋友圈说的那样:“专注地从‘心’出发,用始终创业的状态,在未来的十年再折腾一些我热爱的事情。字节跳动是最好的平台,既有梦想,又务实的浪漫,我很期待和剪映的小伙伴们一起造梦,与这个 AI 的时代一起成长,共同绘制出脑海中的奇幻世界。”


而且,张楠在内部信中坦言,最近跟团队里的很多人聊天,有很多人还是满腔热血的,有很想做的事,这更让她觉得机不可失、时不再来。“我知道这会是一条很长的路,而且会有很多激烈的竞争,也会碰到技术不确定性带来的很多挑战和试错。但梦想还是应该有的,如果不极致地试一次,未来该多遗憾。”


于公司而言,字节在模型技术和数据两个方面同时具备优势,可以利用自身的数据资产为模型训练提供足够的数据源,进而在市场中获得更大的竞争力。

 

此前,《晚点 LatePost》曾在报道中指出,字节广告客户投放总成本里有 10%~20% 为视频制作成本;去年开始,字节已在开发一些相关产品帮广告客户压缩这部分投入。

 

接近字节人士向虎嗅表示,字节的核心 AI 业务中,剪映占据重要位置,集团希望它成为一个独立的工具产品。“从战略角度看,字节希望剪映变成一个类似于过去支付宝和淘宝关系的产品,它本身是一个工具,现在得慢慢地独立出来。”

 

不过,传统视频编辑工具,如剪映的技术路线是基于一些预测性和可复现的底层操作,包括传统图像学和视频编辑算法,以非常精确的方式编辑视频内容——这样的优势在于其操作粒度细且可控性强;缺点在于需要大量的人力投入,例如剪辑一段视频考验制作者能力和人力成本。

 

顺着这个逻辑所进化的工具,只能通过建立一套标准操作流程(SOP),将一些工具进行组合以形成多套模板,再通过这些模板来进行视频剪辑和生成;然而,这些模板基本上很同质化,导致产生的变化很相似,形成了固定范式,导致这类工具适用场景有限,创新性较低——而 Sora 在图像控制表达能力上结合了 DALL·E 和 GPT-4 的能力,其他厂商缺乏相应的图像和语言模型能力,人才、数据和算力才是技术复现的三大核心壁垒。

 

一位华人工程师向虎嗅表示,OpenAI 在技术层面领先的原因之一是选择了 Transformer 架构并创新推出 GPT 系列。“最早的 Transformer 论文是由谷歌的科学家编写,但在当时并未被视为主流架构;然而,OpenAI 首席科学家伊利将 Transformer 架构应用于 GPT-1 模型后,其展现出优于以往模型的能力。”

 

他进一步指出,相比谷歌这样的科技巨头,在新技术面前往往更重视社会影响及对现有业务的影响——字节何尝不是如此;而 OpenAI 作为一家创业公司,反而可以放开手脚,更注重创新与自我突破。


Sora只是亮个相,为何把你吓坏了?

 

“Sora 能够将真实世界映射到虚拟世界,无论内容真实性、视频质量(包括分辨率、码率、像素等)还是输出内容与用户需求的一致性都有显著提升,夸张点说是直接完成了 1 到 100 的跃迁。”一位 AI 创业者如此评价道。

 

上述论断并非危言耸听——与其他文生视频模型 (Runway、 Pika 等) 不同,当摄像机移动和旋转时 Sora 能输出保持人物和场景 3D 空间一致性、基本符合物理世界规律(不能完全保持,也会出错)的视频。


对此,OpenAI 透漏,Sora 的技术架构与传统视频技术路径有所不同:其先将不同视频和图片数据压缩在一个低维空间中,再分解成统一 Patch 作为训练大模型的基本单位,这一改进使得文生视频更加逼真、高质量。

 

Sora 输出能力有多出色呢?即使在人物、动物或物体被遮挡或离开画面时,仍然可以进行追踪,确保物体持续呈现;而且,相较于其他大模型在文本数据上理解和涌现,Sora 在 GPT(不少人猜测训练的或许是 GPT-4.5)的语义理解支撑下,能理解用户需求以及在预训练学习过程中理解学习的视频内容。


疑似周亚辉在朋友圈透漏 GPT4.5 发布时间


虽说,尚未对外开放测试的 Sora 仍处于世界模型研究应用的初期阶段;可 Sora 一旦上线,用户贡献的素材内容能丰富数据资源增加训练样本。


一位 AI 创业者乐观地表示,“相对现在某些类 GPT 产品插件,进化的大模型可能支持各种插件应用,解决生成内容中的各种问题,并对视频、游戏等内容产业产生商业层面的变革。”

 

所以,短期内 Sora 更多会应用于物理世界内容的延展,包括使用物理世界内容拼接创建新的创新内容,例如常规内容短片、电影等;中期,Sora 可作为视频编辑工具,应用在特效添加、背景更改、人物替换方面;后期,Sora 应用范围会涉及虚拟现实、增强现实、游戏开发等,潜在应用方向包括虚拟试衣、虚拟旅游等。


来源:Sora生成视频截取


当然,要实现真正的 AGI,需要具备强大的理解能力、记忆能力和决策能力,眼下的人工智能只是人类认知能力的一个延伸,其逻辑性仍不够强,还需要人类来表达内容的逻辑性和意义。

 

不过话说回来,即便 Sora 让整个互联网都为之躁动,但资本市场投资主线有两条:

 

  • 一是关注内容资产重估,文字是内容资产的最基础层,具有最大的上升空间,因此内容资产将在多模态技术演进中迎来重估;

  • 二是关注 AI 内容生成工具,AI 多模态技术将降低不同内容形式间转化的门槛,并提高 AI 工具在内容生成中的作用,这一进程可能会加速实现。

 

此外,Sora 也面临着新的困境。

 

Sora 第一个棘手问题是废弃问题,即可能产生大量的误导性信息,特别是对于虚假信息的识别比较困难,因为它们是设计来欺骗的,需要人工细致地进行审查;若处理不当,会对商业化产生较大影响。

 

目前,Sora 测试的重要一环便是红队测试(一种通过模拟攻击者的行为来评估系统安全性和弱点的测试方法),主要为了解决废弃和虚假信息等问题,以提升其可靠性和可用性。

 

Sora 第二个棘手问题是数据和版权问题,原生 AI 公司很难积累大量数据,即使 OpenAI 背靠微软也缺乏相应的原生数据,所以在学习过程中会面临数据安全、隐私侵犯等风险。

 

不过,关于 AI 生成内容是否具备版权,以及内容生成者、模型和运营平台之间的责权划分,首例 AIGC 版权案已经宣判,未来是否会向着这个方向发展,值得关注。


#我是虎嗅商业、消费与机动组副组长黄青春,关注文娱社交、游戏影音等多个领域,行业人士交流加微信:724051399,新闻线索亦可邮件至 [email protected]