OpenAl推出Sora模型 一句话生成1分钟视频效果炸裂

2024-02-18 12:02:10

熙熙攘攘的人群中,有人在舞龙,舞龙动作相当丝滑标准还有人举起手机拍摄,场景细节丰富、严谨。很难想象,这并不是真实场景,而是OpenAI的模型Sora以“中国龙年春节"为提示词生成的视频片段。

据OpenAI官网,OpenAI首个视频生成模型Sora发布。Sori建立在过去对DALL·E和GPT模型的研究之上。它使用DALL·E 3的重述提示词技术,为视觉训练数据生成高度描述性的标注,因此能够更忠实地遵循用户的文本指令。

图:OpenAI首个视频生成模型Sora以“中国龙年春节"为提示词生成的视频片段 显得非常真实

OpenAI表示,正在教AI理解和模拟运动中的物理世界,目标是训练模型来帮助人们解决需要现实世界交互的问题。根据文本提示生成视频,仅仅是整个计划其中的一步。

除了能够仅根据文本指令生成视频之外,该模型还能够获取现有的静态图像并从中生成视频,准确地让图像内容动起来并关注小细节。该模型还可以获取现有视频并对其进行扩展或填充缺失的帧。

该模型可以深度模拟真实物理世界,标志着人工智能在理解真实世界场景并与之互动的能力方面实现了重大飞跃。

OpenAI声称,Sora模型能够生成包含多个角色、特定类型运动和主体及背景精确细节的复杂场景。该模型不仅能理解用户在提示中所要求的内容,还能理解这些事物在现实世界中的存在方式。该模型对语言有深刻理解,能准确解读提示,并生成表达丰富情感的引人入胜的角色。Sora还能在单个生成的视频中创建多个镜头,使角色和视觉风格保持准确-致。对于任何需要制作视频的艺术家、电影制片人或学生来说,这都带来了无限可能。

Sora还可以在单个视频中创建多个镜头,并依靠对语言的深入理解准确地解释提示词,保留角色和视觉风格。在官方博客中,OpenAI提供了很多 Sora生成的视频示例,非常超现实。

OpenAI表示目前已交由Team Red(网络安全演习中扮演敌人或竞争对手角色的群体)测试 Sora,评估潜在的危害或风险。此外,OpenAI还邀请了一支专业的创意人士测试,用于反馈其在专业环境中的实用性。0penAI计划根据这些反馈意见改进 Sora,确保它能有效满足用户的需求。

Sora是能够理解和模拟现实世界的模型的基础,OpenAI相信这一功能将成为实现AGI的重要里程碑。但Sora当前也存在弱点,OpenAI表示,模型在准确模拟复杂场景的物理特性方面可能会遇到困难,也可能无法理解具体的因果关系实例。例如“五只灰狼幼崽在一条偏僻的碎石路上互相嬉戏、追逐”,狼的数量会变化,一些凭空出现或消失。

此外,模型还可能会混淆提示的空间细节,例如左右不分,并且在处理随时间发生的事件的精确描述方面也可能存在困难,比如跟踪特定的摄像机轨迹。

新技术的出现将重塑视频行业。制作一部专业电影需要大量的昂贵设备。这个模型将让普通人在社交媒体上制作出高质量的视频内容成为可能。

郑重声明:本文版权归原作者所有,转载文章仅为传播信息之目的,不构成任何投资建议,如有侵权行为,请第一时间联络我们修改或删除,多谢。

推荐文章

力挽狂澜?星巴克任命首位中国CGO 对抗瑞幸

在激烈竞争的中国咖啡市场,星巴克近日迎来了关键人事变动,宣布任命杨振出任首位首席增长官(CGO)。...

流动的沙
356 11个月前

市场等待美联储会议 道指八连跌 黄金上涨 特斯拉涨超6%

美股周一大多走高,纳指创下历史新高;道指下跌逾100点,录得日线八连跌,创下2018年以来最长连续...

币海独步者
329 11个月前

美联储或迎来“鹰派”降息 对美股来说意味着什么?

美联储会议将于明天开始。市场完全预期决策者将连续第三次在美联储会议上下调关键利率。11 月份的就业...

杜牧白
311 11个月前

比特币ETF吸金21.7亿美元 以太坊ETF创下周新高

美国比特币和以太坊现货 ETF 持续每周资金流入,分别为217亿美元和85.5亿美元。比特币和以太...

流动的沙
351 11个月前

朔尔茨信任投票失利:德国选民会如何选择未来?

周一(12月16日),德国总理朔尔茨未能获得多数议员支持,以207票对394票的票数落败,这标志着...

币海独步者
294 11个月前

向旧的经济秩序的挑战:CPTPP更需要中国

时隔六年,CPTPP(全面与进步跨太平洋伙伴关系协定)首次扩容,英国成为新成员。目前,该经济合作组...

流动的沙
329 11个月前