敬汉卿2024年10月11日日发布:Meta将Tranformer和Diffuion融合，语言图像模型大一统！

“Transfusion”是Meta研发的一种新机制,能够使用单一模型同时处理文字和图片这两种不同“模态”。传统来说,我们从前训练不同模型分别处理文字和图片,两者各自为战,难以整合。如今“Transfusion”利用智慧的方法,在模型里设定文字使用“语言建模”目标,图片则使用“扩散建模”目标,两者却能在同一个“大赛场”上一同训练,占用资源少,效率高,生成效果也很赞!

你可能会问,这到底有什么用?放眼天下,各种“模态”交织成网,比如一个视频里同时包含文字、图片、语音等各种元素。“Transfusion”就像一个“网中人”,一手掌握各种“球”,可以自如处理各种“模态”组合,给我们提供无限可能。比如它能自动为我们做视频字幕,帮助听障人士;或者我们只说几句话,它就能即席为我们制作PPT和视频,事半功倍。未来或许我们只要想像,它就能生成我们想看的任何内容!

研究人员通过大量实验展示,“Transfusion”在训练数量极少的情况下,生成效果已与目前领先模型持平。在基准测评上更表现出颜色,轻松“PK”对手。加之它同时掌握文字和图片,在研发效率和应用潜力均远超其他模型。有人称它为 AI 界的“全能型”,未来或将一统天下!

我们顺势而为,乐观一点看,“Transfusion”其实是在推进“人机合作”的新模式。它能识别我们意图,为我们减轻工作强度,给予最大限度的帮助。相比 solely machine 型,这种 model 与人更加亲和,给我们带来更多惊喜!

,“Transfusion”给AI mundo 带来新的可能。相信随着技术进步,它不仅能给我们创造无限业务价值,更重要的是助我们复杂工作,释放更多精力做更有意思的事情!在此期待它日渐成熟,与我们并肩同行,一起设计崭新的未来!

大家还记得之前火遍网络的人工智能技术DALL-E2和Stable Diffusion吗?它们能根据文字描述自动生成最逼真的图片,给人类科技带来无限想象空间。不过它们各自只专注一类模态,处理能力相对有限。而Metis的Transfusion就像超级英雄一样,集多能于一身,同时掌握文字和图片,他的潜在应用情景远超前人。

比如我们可以想象,未来只需要对Transfusion说出“给我生成一个与说明文相符的PPT”,它就能自动搜集信息,结合文字描述和图片元素,生成一个还原说明内容的PPT演示文稿。再比如,我们希望制作一个简短视频, Transfusion可以帮我们自动配音,添加字幕,将简单的构思变成视觉享受。这对于很多工作中视频需求很强的行业如教育、医疗等将产生革命性影响。

除此之外,Transfusion在游戏设计、文学创作、电商助手等领域也有巨大应用潜力。比如游戏作品中的场景、人物可以由Transfusion自动微调成各种样子,大幅提高玩家体验。文学作品的插画也可以由它自动完成,帮助作者表达更精妙的想象力。电商平台上,Transfusion也可以为商品自动生成各种 demo 影片和内容,替代以往依靠人工完成的重复工作。

还有,随着深度学习技术的发展,未来或许Transfusion不仅会掌握人类文字和图片这两大模态,还可能扩展到视频、音频以及三维模型等其他类型。一旦达成,它的应用将更趋全面化,给人类社会带来更深邃的变革。相信只要科技不断成熟,Transfusion这类AI助手将会成为每个人日常生活中不可或缺的助力,帮我们释放更多创意闲暇时间。