
AI教程
Sonic 腾讯联合浙大推出的音频驱动肖像动画框架
Sonic是腾讯和浙江大学推出的音频驱动肖像动画框架,基于全局音频感知生成逼真的面部表情和动作。Sonic基于上下文增强音频学习和运动解耦控制器,分别提取音频片段内的长期时间音频知识和独立控制头部与表情运动,增强局部音频感知能力。
StochSync AI图像生成技术,为360°全景图和3D网格纹理生成高质量图像
StochSync(Stochastic Diffusion Synchronization)是创新的图像生成技术,专门用于在复杂空间(如360°全景图或3D表面纹理)中生成高质量图像。结合了扩散同步(DS)和分数蒸馏采样(SDS)的优势,通过在扩散模型的逆生成过程中引入最大随机性,兼顾图像细节与连贯性。
DeepRant 鲸喷 专为游戏玩家设计的多语言快捷翻译开源工具
DeepRant(中文名:鲸喷)是专为游戏玩家设计的多语言快捷翻译工具。DeepRant能够帮助玩家在国际服务器中快速进行文字交流,消除语言障碍。玩家在游戏中选中文字后按下快捷键,翻译结果自动复制到剪贴板,方便在游戏中直接使用。
HMA MIT联合Meta等推出的机器人动作视频动态建模方法
HMA(Heterogeneous Masked Autoregression)是麻省理工学院、Meta和伊利诺伊大学香槟分校开源的,用在建模机器人动作视频动态的方法。HMA基于异构预训练,用不同机器人实体、领域和任务中的观测和动作序列,结合掩码自回归技术生成视频预测。
Hibiki Kyutai Labs 推出的实时语音翻译模型
Hibiki是Kyutai Labs开源的用在同时语音翻译的解码器模型,能实时将一种语言的语音翻译成另一种语言的语音或文本。Hibiki基于多流语言模型架构,同步处理源语音和目标语音,联合生成文本和音频标记,实现语音到语音(S2ST)和语音到文本(S2TT)的翻译功能。
EliGen 浙大联合阿里推出的新型实体级可控图像生成框架
EliGen是浙江大学和阿里巴巴集团联合开发的新型的实体级可控图像生成框架,通过引入区域注意力机制,无需额外参数即可将实体提示和任意形状的空间掩码无缝集成到扩散变换器中。EliGen包含50万高质量注释样本的数据集,用于训练模型以实现鲁棒且准确的实体级操控。
AlphaGeometry2 谷歌 DeepMind 推出解决复杂几何问题的AI系统
AlphaGeometry2 是谷歌 DeepMind 推出的先进的人工智能系统,专门用于解决国际数学奥林匹克竞赛(IMO)中的几何问题。结合了神经符号方法,将谷歌 Gemini 系列的语言模型与符号引擎协同工作,通过神经网络预测几何构造并由符号引擎进行逻辑推理。
Ola 清华联合腾讯等推出的全模态语言模型
Ola是清华大学、腾讯 Hunyuan 研究团队和新加坡国立大学 S-Lab 合作开发的全模态语言模型。通过渐进式模态对齐策略,逐步扩展语言模型支持的模态,从图像和文本开始,再引入语音和视频数据,实现对多种模态的理解。
Agno 用于构建多模态智能体的轻量级框架
Agno 是构建智能代理(Agents)的轻量级框架。Agno 支持多模态(文本、图像、音频、视频)和多代理协作,能快速创建代理,速度比 LangGraph 快 5000 倍,支持任何模型和提供商,无供应商锁定。Agno 提供内存管理和知识库支持,能将用户会话和代理状态存储在数据库中,基于向量数据库实现动态少样本学习。
Agentic Object Detection 吴恩达团队推出的Agent目标检测技术
Agentic Object Detection 是吴恩达团队开发的新型目标检测技术,通过智能代理(Agent)系统实现无需标注数据的目标检测。用户仅需输入文字提示,AI 基于推理能力识别图像中的目标,精准定位其位置和属性。