每日AI快讯
Show-o – 新加坡国立Show Lab联合字节推出的多模态理解与生成的统一模型
Show-o是集成了多模态理解和生成的统一Transformer模型。通过结合自回归和离散扩散建模，能灵活处理包括视觉问答、文本到图像生成、文本引导的修复和扩展，混合模态生成在内的广泛视觉语言任务。Show-o模型在多模态理解和生成基准测试中展现出与现有专门模型相当或更优的性能，能减少图像生成所需的采样步骤，提高效率。
MimicTalk – 字节联合浙大推出的开源3D数字人头项目
MimicTalk是浙江大学和字节跳动共同研发推出的，基于NeRF（神经辐射场）技术，能在极短的时间内，仅需15分钟训练出个性化和富有表现力的3D说话人脸模型。MimicTalk提高了训练效率，基于高效的微调策略和具有上下文学习能力的人脸动作生成模型，显著提升生成视频的质量。
Wonder Animation – 视频序列转换成3D动画场景的AI解决方案
Wonder Animation 是 Autodesk 旗下 Wonder Dynamics 推出的创新 AI 技术，Wonder Animation测试版现已上线Wonder Studio。Wonder Animation基于 Video to 3D Scene 技术将视频序列转换成 3D 动画场景，加速动画电影制作。
TimeSuite – 上海AI Lab推出的提升MLLMs在长视频理解处理的设计框架
TimeSuite是上海AI Lab推出的新型框架，能提升多模态大型语言模型（MLLMs）在长视频理解任务中的表现。基于引入高效的长视频处理框架、高质量的视频数据集TimePro用在定位调整，及名为Temporal Grounded Caption的指令调谐任务，明确地将定位监督纳入传统问答格式中。
EMMA – Waymo推出的端到端自动驾驶多模态模型
EMMA是Waymo基于Gemini模型推出的端到端自动驾驶多模态模型，能将原始相机传感器数据直接映射到驾驶特定输出，如规划轨迹、感知对象和道路图元素。EMMA将非传感器输入和输出表示为自然语言文本，用预训练大型语言模型的世界知识，在统一的语言空间中联合处理多种驾驶任务。
DreamVideo-2 – 复旦和阿里联合多机构推出的零样本视频定制生成框架
DreamVideo-2是创新的零样本视频定制框架，是复旦大学和阿里巴巴集团等机构联合推出。DreamVideo-2能根据单一图像和界定框序列生成具有特定主题和精确运动轨迹的视频，无需在测试时进行微调。框架用参考注意力机制学习主题外观，基于从界定框导出的二值掩码控制运动轨迹，实现精确的运动控制。
NotebookMLX – 将PDF文档转换成音频博客开源版的NotebookLM
NotebookMLX是开源版本的NotebookLM，集成NotebookLlama的功能，能将PDF文档转换成易于理解和分享的音频播客形式。项目基于MLX技术实现自然语言处理功能，包括PDF预处理、制作播客文本、文本重写及文本到语音转换，让内容的传播和消费更加便捷。
HOVER – 英伟达推出的通用人形机器人功能控制器1.5M小模型
HOVER是英伟达推出的1.5M小模型，全称为“Humanoid Versatile Controller”，即人形机器人的多功能全身神经通用控制器。模型用150万参数实现对机器人复杂动作的控制，能适应多样任务如导航、桌面操作和移动操作等，每种任务需要独特的控制模式。
Voice Changer – Cartesia推出转换声音同时保留原始情感的变声器模型
Voice Changer是Cartesia推出的新模型，能将任何音频剪辑的语音转换成其他音色，且保留原始音频的情感和表达。用户从Cartesia提供的多种高质量声音库中选择，或克隆自己的声音，且完全控制语音的细节，如发声、情感和韵律。
Oasis – Decart联合Etched推出首款AI实时生成的游戏系统
Oasis是世界上首款AI实时生成的游戏，由Decart和Etched联合推出。游戏能以每秒20帧的速度实时渲染交互式视频内容，无需游戏引擎，通过AI模型直接生成。玩家可以自由移动、跳跃、拾取物品，体验由AI实时塑造的游戏世界。