
AI教程
Generative Omnimatte – 谷歌联合马里兰大学等机构推出的视频分解技术
Generative Omnimatte 是 Google DeepMind 等机构推出的视频编辑技术,能将视频智能分解为多个透明背景的RGBA图层,每个图层对应一个物体及其相关效果(如阴影、反射等)。这项技术无需绿幕或深度信息,能实现物体与背景的精确分离,甚至处理被遮挡的部分。
GLM-PC – 智谱推出的电脑智能体,基于CogAgent视觉多模态模型构建
GLM-PC是智谱推出的基于多模态大模型CogAgent的电脑智能体。能像人类一样“观察”和“操作”计算机,协助用户高效完成各类电脑任务,如文档处理、网页搜索、信息整理、社交互动等。GLM-PC通过代码生成与图形界面理解相结合的方式,实现逻辑推理与感知认知的深度结合,具备任务规划、执行、反思和自我纠错的能力。
TryOffDiff – AI虚拟试穿技术,单张穿着者图片生成标准化服装图像
TryOffDiff(VTOFF)是基于扩散模型的新型虚拟试穿技术,用高保真服装重建实现虚拟试穿,专注于从单张穿着者照片生成标准化的服装图像。与传统的Virtual Try-On技术不同,TryOffDiff的目标是从参考图像中提取出规范的服装图像。
GLM-Edge – 智谱开源的端侧大语言和多模态系列模型
GLM-Edge是智谱开源的一系列端侧部署优化的大语言对话模型和多模态理解模型,包含GLM-Edge-1.5B-Chat、GLM-Edge-4B-Chat、GLM-Edge-V-2B和GLM-Edge-V-5B。1.5B 2B模型主要面向手机、车机等平台、4B 5B 模型主要面向PC等平台。基于GLM-4系列技术积累,调整模型结构和尺寸,实现模型性能、实机推理效果和落地便利性之间的最佳平衡。
FlagevalMM – 智源开源的多模态模型评测框架
FlagEvalMM是北京智源人工智能研究院开源的多模态模型评测框架,能全面评估处理文本、图像、视频等多种模态的模型,支持多种任务和指标。框架采用评测与模型推理解耦的设计,统一视觉语言模型、文生图、文生视频和图文检索等多种模型的评测流程,提升评测效率,便于快速适配新任务和模型。
Delta-CoMe – 清华联合 OpenBMB 等高校开源的新型增量压缩算法
Delta-CoMe是清华大学NLP实验室联合OpenBMB开源社区、北京大学和上海财经大学提出的新型增量压缩算法,一个80G的A100 GPU能轻松加载多达50个7B模型,节省显存约8倍,同时模型性能几乎与压缩前的微调模型相当。Delta-CoMe基于结合低秩分解和低比特量化技术,用模型参数增量(Delta)的低秩特性,实现混合精度压缩
Agent-E – 基于AutoGen代理框架构建的AI浏览器自动化系统
Agent-E是基于AutoGen代理框架构建的智能自动化系统,专注于浏览器内的自动化操作。Agent-E基于自然语言交互,能执行填写表单、搜索排序电商产品、定位网页内容、管理网络媒体播放、进行深度网络搜索、自动化项目管理任务及提供个人购物协助等多种复杂任务。
Magic Copy – 开源的AI抠图工具,在浏览器中自动识别图像进行抠图
Magic Copy是开源的抠图工具,支持Chrome浏览器扩展,基于Meta的Segment Anything Model技术,从图像中自动识别并提取前景对象,并将对象复制到用户的剪贴板中。Magic Copy简化了从图片中提取特定元素的过程,无需手动编辑图片,提高工作效率。
NSFW Detector – 开源 AI 不适宜内容检测工具,支持识别图像、PDF、视频文件
NSFW Detector(Not Safe For Work,简称 NSFW)是开源的检测不适宜内容工具,NSFW Detector能识别图像、PDF、视频文件中的不适宜内容。工具基于Google的vit-base-patch16-224-in21k模型,支持仅CPU推理,无需GPU,可在多数服务器上运行。
MultiFoley – Adobe 联合密歇根大学推出的音效生成系统
MultiFoley是Adobe Research和密歇根大学共同推出的音效生成系统,能基于文本、音频和视频的多模态控制生成Foley声音效果。系统支持用户根据文本提示、参考音频或部分视频来定制和生成与视频同步的声音,从而增强视频观看体验。