
AI教程
LEOPARD – 腾讯AI Lab西雅图实验室推出的视觉语言模型
LEOPARD是腾讯AI Lab西雅图实验室推出的视觉语言模型,专为理解和处理含有大量文本的多图像任务设计。LEOPARD基于两个主要技术创新:一是策划约一百万条专门针对文本丰富、多图像场景的高质量多模态指令调优数据集;二是开发自适应高分辨率多图像编码模块,动态优化视觉序列长度分配。
书生InternThinker – 上海 AI Lab 推出的强推理模型
书生InternThinker是上海人工智能实验室推出的强推理模型,具备自主生成高智力密度数据和元动作思考能力。基于长思维能力和自我反思、纠正机制,在数学、代码、推理谜题等多种复杂任务上表现出色。模型用通专融合技术,基于大规模沙盒环境获取反馈,提升复杂任务处理性能。
Pangea – 卡内基梅隆大学开源的多语言多模态大语言模型
Pangea是卡内基梅隆大学团队推出的多语言多模态大型语言模型(LLM),能提升全球语言和文化多样性的覆盖。模型包含600万条指令的多样化数据集,支持39种语言,包含高质量英文指令、机器翻译指令及文化相关任务。Pangea基于包含14个数据集、覆盖47种语言的PangeaABench评估套件进行性能评估。
MobA – 上海交通大学推出的移动智能体
MobA(Mobile Agent)是上海交通大学团队推出的新型移动智能体,基于多模态大型语言模型(MLLMs)提升移动设备的自动化任务执行能力。MobA采用两级架构:高级全局智能体(GA)负责理解用户指令、管理历史记录和规划任务;低级局部智能体(LA)根据GA的规划执行具体动作。
SlideChat – 上海AI Lab联合多所高校和机构推出的视觉语言助手
SlideChat是上海AI实验室、厦门大学、华东师范大学等机构推出的,首个能理解千兆像素级别全切片图像的视觉语言助手。SlideChat能生成详尽的全切片图像描述,并针对多样化的病理场景提供具有上下文关联的复杂指令响应。基于训练,SlideChat在多个临床任务中展现出卓越的性能,包括显微镜检查、诊断等。
Fugatto – 英伟达推出的多功能AI音频生成模型
Fugatto是英伟达(NVIDIA)推出的音频合成和转换模型,全称为"Foundational Generative Audio Transformer Opus 1"。模型能根据文本提示生成音频或视频,接收并修改现有的音频文件。Fugatto模型具有强大的能力,例如将钢琴旋律转换成人声演唱版本,或者改变口语录音中的口音和情绪表达。
LongRAG – 智谱联合清华和中科院推出的双视角鲁棒检索框架
LongRAG是清华大学、中国科学院和智谱的研究团队推出的,面向长文本问答(LCQA)的双视角鲁棒检索增强生成(RAG)框架。基于混合检索器、LLM增强信息提取器、CoT引导过滤器和LLM增强生成器四个组件,有效解决长文本问答中的全局上下文理解和事实细节识别难题。
Illustrious – 开源文本到图像生成模型,专注于生成高质量动漫风格图像
Illustrious是开源的文本到图像动漫图像生成模型,是Onoma AI Research推出的。基于优化批量大小、dropout控制、训练图像分辨率和多级标题等关键方法,实现高分辨率、动态色域和高还原能力的图像生成。模型在动画风格的表现上超越如Stable Diffusion XL和其他一些广泛使用的动漫图像生成模型,并支持易于定制和个性化的开源特性。
aisuite – 吴恩达发布开源Python库,一个接口调用多个大模型
aisuite是开源的Python库,吴恩达(Andrew Ng)发布的,旨在提供一个统一的接口来调用多个大型语言模型(LLM)服务。支持包括OpenAI、Anthropic、Azure等在内的11个模型平台,开发者能轻松切换和测试不同提供商的模型。
XGrammar – 陈天奇团队推出的LLM结构化生成引擎
XGrammar是由陈天奇团队推出的开源软件库,能为大型语言模型(LLM)提供高效、灵活且可移植的结构化数据生成能力。基于上下文无关语法(CFG)定义结构,支持递归组合以表示复杂结构,适合生成JSON、SQL等格式数据。XGrammar用字节级下推自动机优化解释CFG,减少每token延迟,实现百倍加速,几乎无额外开销。