央视频2024年10月12日发布:图片合成3D视频!开源的3D渲染视频模型问世!
⭐发布日期:2024年10月12日 | 来源:央视频
【新澳特料2024澳门结果查询】 |
【澳门六最新结果2024年今天】 |
【澳门天天彩结果风险分析图表】 | 【下载2020年澳门天天彩资料免费】 | 【澳彩六叔公网址是多少】 | 【正版资料免费大全2023】 | 【最新二四六天下彩天空彩票大全查询】 | 【2024澳门今晚开什么号码1】 | 【澳彩二四六天天结果查询表格图片大全】 | 【下载澳彩图库手机版最新版大全】 |
【澳门结果记录表2024】 | 【下载澳门直播结果查询】 | 【2021澳门天天开彩大全】 | 【2020澳门彩结果直播回放视频】 | 【下载澳门记录表】 | 【49图库港澳台图纸】 | 【4477777最快现场】 | 【澳门结果记录表最新消息】 |
Stable Diffusion官方又又又又上新了。
本次的下手对象是视频。
3月18日,Stability AI发布了用于渲染3D视频的生成式AI视频工具Stable Video 3D(SV3D)。
全新SVD的模型支持文本到视频、图像到视频生成。
只需输入几行描述性的文字,或放入一段静态图像,你就能获得一段生动的动态视频。
不光如此,它还支持物体从单一视角到多视角的转化。这意味着用户可以仅提供一个静态图像,SV3D就能够展示该对象从不同角度的样貌。并通过生成的多视角图像,进一步构建对象的3D网格模型,为用户提供一个完整的三维视觉体验。
这一全新的技术就像是给视频制作领域注入了一剂强心针,让内容创作者们激动不已。
甚至发问:
那么,SV3D是如何做出此番突破的呢?
研究人员披露:“这主要得益于大规模预训练生成模型,使其能够充分泛化到各个领域。”
Stable Video 3D基于去年末发布的Stable Video Diffusion模型,后者经过大型数据集如LAION和LVD的训练。随后,SV3D在“Objaverse”数据集的精炼版本上进行了进一步训练,该数据集包含了大量的3D物体。
这让他可轻松适应各种下游任务,包括通过对多视图数据集进行微调从单个图像进行多视图合成。
此外,SV3D还首次将视频扩散模型应用到了3D生成领域。利用视频模型的时间一致性来提高3D生成的一致性。
它有两个变体:
SV3D_u:此变体基于单图像输入生成360度环绕视频,无需相机条件。
SV3D_p:在SV3D_u的基础上扩展,能够处理单图像和轨道视图,允许沿特定相机路径创建特定视角3D视频。
不光如此,研究人员还改进了3D优化技术。
比如采用由粗到细的训练策略,优化NeRF和DMTet网格来生成3D对象。
比如设计了一种名为掩码得分蒸馏采样(SDS)的特殊损失函数,通过优化在训练数据中不直接可见的区域,来提高生成3D模型的质量和一致性。
比如引入了一个基于球面高斯的照明模型,用于分离光照效果和纹理,在保持纹理清晰度的同时有效减少了内置照明问题。
比如采用CFG(无分类器引导)来控制生成的清晰度,采用三角形CFG缩放来避免过度锐化。
形形色色,不一而足。
虽然目前只发布了基础模型,但Stability AI官方透露“正计划继续扩展,建立类似于Stable Diffusion的生态系统”。
Stable Video 3D也确实秉承了Stability AI一贯的开放传统,官方公布了两种图像到视频模型,可以以每秒3到30帧之间的自定义帧速率生成14(SVD)和25帧(SVD-XT)的视频。
美中不足的是,该模型最低的显卡运行要求为英伟达GeForce RTX 4090及以上。
此外,Stable Video 3D不可商用。想要商业使用的小伙伴,可能还得订阅一个Stability AI Professional的会员(每月20美元)。
在接受VentureBeat采访时,Stability AI首席研究员Varun Jampani表示,“Stable Video 3D是生成3D资源的宝贵工具,特别是在游戏行业内。此外,它还能制作360度环绕视频,这在电子商务中很有用,为购物提供了更具沉浸感和互动性的体验。”
或许在不久的将来,3D生成技术就会被用到游戏和视频项目中,让所有人大吃一惊。
官方网址:
https://stability.ai/news/introducing-stable-video-3d开源地址:
https://huggingface.co/stabilityai/sv3d【天天彩平台是合法的吗是真的吗吗】 【2022年香港正版资料免费大全卜】 |
【澳门结果+记录表香】 【澳门结果历史记录网查询表最新】 |
【澳门今晚结果2020记录查询】 【管家婆澳门免费公开】 |
【下载澳门天天彩结果最新预测】 【2024澳门结果出来36期】 |
【246期澳门彩结果是什么生肖呢】 【澳门码时间今天】 |
【澳门结果记录历史2024年11月】 【奥彩天天记录2022】 【澳门二四六天天直播视频】 |
发表评论
华莱士·福特
3秒前:随后,SV3D在“Objaverse”数据集的精炼版本上进行了进一步训练,该数据集包含了大量的3D物体。
IP:50.46.4.*
王青青
9秒前:此外,SV3D还首次将视频扩散模型应用到了3D生成领域。
IP:30.64.6.*
绍晶辉
2秒前:比如采用由粗到细的训练策略,优化NeRF和DMTet网格来生成3D对象。
IP:14.18.7.*