淘宝发布图生视频技术框架AtomoVideo
近日,淘天集团旗下阿里妈妈技术团队推出高保真图片生成视频框架——AtomoVideo(阿瞳木视频),可将图片素材自动化转换为高质量视频动效。目前,该技术已在阿里妈妈的万相实验室、广告投放平台等应用场景上线,所有商家都可以体验“图片一键变视频”的人工智能新技术,快速生成创意短视频。
记者在AtomoVideo的体验中发现,用户上传一张图,输入动作文字指令,静态的图片就能在各种场景中动起来。比如,上传一张玩偶图片后输入文字指令:穿红色衬衣的玩偶在街上散步。很快,一段短视频就生成了,玩偶迈开步伐行走,街景也跟着变化。
此外,静态的帆船也能在输入指令后在大海中扬帆起航,海报中的乐手也开始弹奏吉他演奏,场景还原和人物表情、动作,都接近专业动画师的水准。
以上视频生成功能已在阿里妈妈广告平台广泛应用,商家可以在阿里妈妈电商图片生成工具“万相实验室”中,一键将制作的商品图片转化为商品视频。同时,阿里妈妈的设计师也可以应用该技术,为商家客户量身定制视频创意并投放。
AtomoVideo应用了阿里妈妈技术团队自研的诸多新技术,包括优质数据集构建、多粒度图像注入、渐进性动作强度增加的多阶段训练等,目前可以支持任意像素的图片生成4秒视频动效,并兼容市面上各种文生图模型。
阿里妈妈一位受访技术人士称,当前技术还远未挖掘出视频生成的真正潜力,在视频画面稳定性、内容创造可控性以及视频时长等关键要素上,仍有非常广阔的探索空间。这位人士认为,当前的应用生成虽然只是起步,但随着技术模型不断迭代,视频生成的准确度和仿真度也会逐渐提高。
在创意生成领域,除了此次发布的AtomoVideo,阿里妈妈技术团队也研发出可扩展图片、视频的“尺寸魔方”等创意编辑工具,可以实现图片和视频的任意目标尺寸的拓展和补缺,同时保持素材的原生性。
一位服饰商家说,现在市面上已经有不少AI出图工具,但将图片变成视频的还很少,生成高质量视频的就更少了,很多商家认为图生、文生视频还只是个概念,甚至噱头。“虽然AtomoVideo生成的视频时长还不长,精度也有待提高,但是感觉苗头不错,是个趋势。”这位商家表示,很多商家在讨论AI电商,各界也在期待圈里能出现杀手级应用。
年初,淘宝基于AI大模型,升级智能客服机器人“店小蜜”,进一步提升“店小蜜”回答买家问题的准确度。最近,淘宝再次推出AI制图工具“绘蛙”,帮助商家生成各种风格的高品质图片,降低商家成本,该应用很快将结束内测并全量推广。