
每日AI快讯
AnyStory – 阿里通义推出的高保真个性化文本到图像生成框架
AnyStory是阿里巴巴通义实验室研发的创新文本到图像生成框架,旨在实现单个和多个主体的高保真个性化图像生成。通过“编码-路由”的方法来建模主体个性化问题。在编码阶段,AnyStory结合了强大的ReferenceNet和CLIP视觉编码器,对主体特征进行高保真度的编码,捕捉丰富的细节和语义信息。
SHMT – 阿里达摩院联合武汉理工等机构推出的自监督化妆转移技术
SHMT(Self-supervised Hierarchical Makeup Transfer)是阿里巴巴达摩院与武汉理工大学等机构联合研发的先进自监督化妆转移技术。技术通过潜在扩散模型实现,能在无需成对训练数据的情况下,将各种化妆风格自然地应用到目标面部图像上。
SmartEraser – 中科大与微软亚洲研究院推出的图像对象移除技术
SmartEraser是中国科学技术大学与微软亚洲研究院推出的图像编辑技术,专门用在从图像中移除用户指定的对象。SmartEraser基于创新的“掩码区域引导”(Masked-Region Guidance)范式,与传统的“掩码和修复”(mask-and-inpaint)方法不同,SmartEraser保留掩码区域作为移除过程的引导,能更准确地识别和移除目标对象,同时有效保留周围上下文。
Zerox – 开源的OCR工具,零样本识别多种格式文件
Zerox是开源的本地化高精度OCR工具,基于GPT-4o-mini模型,无需提前训练实现零样本识别。Zerox支持PDF、DOCX、图片等多种格式文件,擅长处理扫描版文档及复杂布局文件,如含表格、图表等。Zerox工作流程是将文件转换为图像后进行OCR识别,最终输出Markdown格式文档,方便用户编辑和使用。
Video Alchemist – AI视频生成模型,具备多主体开放集合个性化能力
Video Alchemist是Snap公司等推出的新型视频生成模型,具备多主体、开放集合个性化能力,能根据文本提示和参考图像生成视频,无需在测试时进行优化。模型基于Diffusion Transformer模块,通过双重交叉注意力层将参考图像嵌入和主体级文本提示融入视频生成过程。
PSHuman – 开源的单图像3D人像重建技术,仅需一张照片
PSHuman是先进的单图像3D人像重建技术。基于跨尺度多视图扩散模型,仅需一张照片,能生成高度逼真的3D人像模型,包括精细的面部表情和全身姿态。核心优势在于能同时建模全局形状和局部细节的联合概率分布,避免几何失真,还能保持不同视图下身体形状的一致性。
Wear-Any-Way – 阿里拍立淘团队推出自由定制的虚拟试穿框架
Wear-Any-Way是阿里巴巴拍立淘团队推出的创新的虚拟试穿框架。通过稀疏对应对齐机制,实现了高保真度且可定制的虚拟试穿效果。用户可以生成逼真的试穿图像,通过简单的点击和拖动操作,精准操控服装的穿着方式,如卷起袖子、调整大衣开合等,为虚拟试穿带来了全新的交互体验。
GameFactory – 香港大学和快手联合推出的可泛化游戏场景框架
GameFactory 是香港大学和快手科技联合提出的创新框架,旨在解决游戏视频生成中的场景泛化难题。框架基于预训练的视频扩散模型,结合开放域视频数据和小规模高质量的游戏数据集,通过多阶段训练策略,实现动作可控的游戏视频生成。
Step-2 mini – 阶跃星辰推出的轻量级极速大模型
Step-2 mini 是阶跃星辰推出的轻量级极速大模型,基于新一代自研 Attention 架构 MFA 开发。仅用 3% 的参数量就保留了 Step-2 超过 80% 的性能,显著提升了生成速度和性价比。
FramePainter – 哈工大联合华为诺亚推出的交互式图像编辑AI工具
FramePainter 是基于 AI 的交互式图像编辑工具,通过结合视频扩散模型和直观的草图控制,让用户能通过简单的绘制、点击或拖动操作来指示编辑意图,实现对图像的精确修改。