Sora究竟有多烧钱?Sora的推理与训练的计算成本被扒出来了
大数据文摘
共 4853字,需浏览 10分钟
·
2024-04-03 01:56
作者:Zicy
从DiT到Sora
Sora可以生成1分钟的视频,如果我们假设视频以24fps编码,则一个视频有1440帧(24fps * 60s)。Sora的像素到潜在映射似乎在空间和时间上都进行了压缩。如果我们假设与DiT论文(8x)的压缩率相同,我们最终在潜在空间中得到180帧(1440/8)。
所以我们估计Sora为20B是可行的,这需要DiT的30倍计算量。
假设Sora数据集比DiT使用的数据集大10倍到100倍,但DiT在相同数据上重复训练,若有更大数据集,则此方法并非最佳。因此将计算量增加4-10倍是合理的,取中值7倍作为估算。
所以,把上面的估算结果相乘,训练Sora的总浮点数计算量约为:
这相当于14739张H100运行一个月!
以当前H100市场价约3万美元算,14739张H100约需要4.4亿美元,老黄直接狂喜。
我们需要更多的显卡
盈亏平衡
推理成本比GPT4高出几个量级
未来可期
“尽管Sora在创造看似真实的东西方面很出色,但让我们兴奋的是它能够创造出完全超现实的东西”,“来自世界各地的人们已经准备好从他们的胸膛里迸发出故事,终于有机会向世界展示里面的东西”
“很长一段时间以来,我一直在制作增强现实混合生物,我认为这些生物在我的脑海中会是有趣的组合。现在,我有了一种更简单的方法”,“不受传统物理定律或思维惯例的束缚”,与Sora合作将他的注意力从“技术障碍转移到纯粹的创造力......开启一个即时可视化和快速原型制作的世界”
评论