AI文章

Codex CLI:OpenAI推出的本地编码AI智能体

Codex CLI 是OpenAI推出的一个轻量级命令行工具,可以为终端用户提供类似 ChatGPT 的推理能力,并能够实际运行代码、操作文件并进行迭代,所有操作都在版本控制下完成。

Sonic – 腾讯联合浙大推出的音频驱动肖像动画框架

Sonic是腾讯和浙江大学推出的音频驱动肖像动画框架,基于全局音频感知生成逼真的面部表情和动作。Sonic基于上下文增强音频学习和运动解耦控制器,分别提取音频片段内的长期时间音频知识和独立控制头部与表情运动,增强局部音频感知能力。

FireRedASR – 小红书开源的自动语音识别模型

FireRedASR 是小红书开源的工业级自动语音识别(ASR)模型家族,支持普通话、中文方言和英语,在普通话 ASR 基准测试中达到了新的最佳水平(SOTA),在歌词识别方面表现出色。

MVoT – 微软联合剑桥和中科院推出的多模态推理可视化框架

MVoT(Multimodal Visualization-of-Thought)是微软研究院、剑桥大学语言技术实验室、中国科学院自动化研究所推出的新型多模态推理范式,基于生成图像可视化推理痕迹增强多模态大语言模型(MLLMs)在复杂空间推理任务中的表现。

DynVFX – AI视频增强技术,将新动态内容与原始视频无缝融合

DynVFX是创新的视频增强技术,能根据简单的文本指令将动态内容无缝集成到真实视频中。通过结合预训练的文本到视频扩散模型和视觉语言模型(VLM),实现了在不依赖复杂用户输入的情况下,自然地将新动态元素与原始视频场景融合。

WorldSense – 小红书联合上海交大推出的多模态全面评测新基准

WorldSense是小红书和上海交通大学推出的,用在评估多模态大型语言模型(MLLMs)在现实世界场景中对视觉、听觉和文本输入的综合理解能力的基准测试。WorldSense包含1662个音频-视频同步的多样化视频,覆盖8个主要领域和67个细分子类别,及3172个多项选择问答对,涉及26个不同的认知任务。

Kiln AI- 开源 AI 原型设计和数据集协作开发工具,微调专属模型

Kiln AI是开源的 AI 开发工具,能简化大型语言模型(LLM)的微调、合成数据生成和数据集协作。Kiln AI提供直观的桌面应用程序,支持 Windows、MacOS 和 Linux,用户基于零代码方式对多种模型(如 Llama、GPT4o 和 Mixtral)进行微调,实现自动部署。

Airweave – 将任何应用程序转为 Agent 知识库的开源工具

Airweave 是开源工具,能将任何应用程序的数据(包括API、数据库、网站等)同步到图数据库和向量数据库中,让数据能基于智能代理或搜索机制进行检索。Airweave用数据分块、哈希检测和自动同步等功能,简化数据检索和管理的流程。

MotionCanvas – 港中文和 Adobe 等机构推出的可控图像到视频生成方法

MotionCanvas是香港中文大学、Adobe 研究院和莫纳什大学推出的图像到视频(I2V)生成方法,能将静态图像转化为具有丰富动态效果的视频。MotionCanvas基于引入运动设计模块,让用户能直观地在图像上规划相机运动和物体运动,实现复杂的镜头设计。

MedRAX – AI医学推理Agent,用于胸部X光检查和解决复杂医学问题

MedRAX(Medical Reasoning Agent for Chest X-ray)是专门用于胸部X光检查的医学推理AI代理。通过整合最先进的胸部X光分析工具和多模态大型语言模型,形成一个统一的框架,能动态用这些模型来解决复杂的医学查询问题,无需额外的训练。