AI教程

ENEL – 上海 AI Lab 推出的无编码器3D大型多模态模型

ENEL(Exploring the Potential of Encoder-free Architectures in 3D LMMs)是创新的无编码器3D大型多模态模型(3D LMM),解决传统编码器架构在3D理解任务中的局限性。ENEL通过去除3D编码器,直接将点云数据转换为离散的点标记,与文本标记拼接后输入到大型语言模型(LLM)中。

AnyCharV – 港中文联合清华等机构推出的角色可控视频生成框架

AnyCharV 是香港中文大学、清华大学深圳国际研究生院、香港大学联合推出的角色可控视频生成框架,能将任意参考角色图像与目标驱动视频相结合,生成高质量的角色视频。AnyCharV基于两阶段训练策略实现精细到粗略的引导:第一阶段用细粒度分割掩码和姿态信息进行自监督合成;第二阶段用自增强训练和粗粒度掩码优化角色细节保留。

NobodyWho – AI游戏引擎插件,本地运行 LLM 实现互动小说创作

NobodyWho是为 Godot 游戏引擎设计的插件,通过本地运行的大型语言模型(LLM)实现互动小说创作。支持 Windows、Linux 和 macOS 平台,用户无需联网即可使用高性能的 LLM 功能,如对话交互和文本生成。

PIKE-RAG – 微软亚洲研究院推出的检索增强型生成框架

PIKE-RAG(sPecIalized KnowledgE and Rationale Augmented Generation)是微软亚洲研究院推出的检索增强型生成框架,能解决传统RAG系统在复杂工业应用中的局限性。PIKE-RAG基于提取、理解和应用专业知识,构建连贯的推理逻辑,引导大型语言模型(LLM)生成准确的回答。

Collaborative Gym – 支持人与AI代理实时交互协作的评估框架

Collaborative Gym(Co-Gym)是专注于人机协作(Human-Agent Collaboration)的框架,支持人类与AI代理之间的实时交互与协作。通过模拟和真实两种实验条件,支持开发者在受控环境中进行迭代开发,同时能在真实场景中部署和评估协作效果。

TIGER – 清华大学推出的轻量级语音分离模型

TIGER(Time-frequency Interleaved Gain Extraction and Reconstruction Network)是清华大学研究团队提出的轻量级语音分离模型,通过时频交叉建模策略,结合频带切分和多尺度注意力机制,显著提升了语音分离的效果,降低了参数量和计算量。

NPOA – 开源舆情检测工具,实时监控网络舆情与分析

NPOA 是开源的功能强大的舆情监测工具,可以帮助用户实时监控网络舆情,了解公众对特定话题或品牌的看法。系统基于先进的自然语言处理技术,可以分析大量的网络数据,提供可视化的舆情分析报告。

什么是上下文感知计算(Context-Aware Computing)

上下文感知计算(Context-Aware Computing)是一种智能计算模式,能够识别并理解用户的实时环境、状态和活动,提供个性化和适应性强的服务。上下文感知计算通过分析用户的位置、时间、活动、设备状态等上下文信息,使设备和服务能够智能地响应用户需求,优化用户体验。在智能家居、移动设备、推荐系统等领域有广泛应用。

Long-VITA – 腾讯优图联合南大、厦大开源的多模态模型

Long-VITA 是腾讯优图实验室、南京大学、厦门大学开源的多模态模型,能处理超过100万tokens的长文本输入,在短文本任务中表现出色。Long-VITA基于分阶段训练,逐步扩展视觉和语言的上下文理解能力,支持图像、视频和文本的多模态输入。

WiseDiag – 杭州智诊科技推出全球领先的医疗大模型

WiseDiag 是杭州智诊科技推出的全球领先的医疗大模型,专注于基于人工智能技术提升医疗服务的效率和质量。模型具有 730 亿参数和 32k 的上下文长度,基于超过 3 万亿 Token 的专业医学数据训练,涵盖 1 万本医学专业书籍、5 万篇临床诊疗指南和 50 万篇全球医学论著。