AI教程
SongGen – 上海 AI Lab 和北航、港中文推出的歌曲生成模型
SongGen是上海AI Lab、北京航空航天大学和香港中文大学推出的单阶段自回归Transformer模型，用在从文本生成歌曲。SongGen基于歌词和描述性文本（如乐器、风格、情感等）作为输入，支持混合模式和双轨模式两种输出方式，分别用于直接生成人声与伴奏的混合音频，及分别合成人声和伴奏方便后期编辑。
什么是因果推理（Causal Reasoning）
因果推理（Causal Reasoning）是一种分析方法，旨在探究事件之间的因果关系。超越了简单的关联性分析，尝试确定一个事件是否会导致另一个事件的发生。在科学研究和数据分析中，因果推理帮助我们理解变量间的直接联系，预测干预措施的效果，并为决策提供支持。涉及复杂的统计模型和算法，如潜在结果模型和因果图，控制混杂变量并揭示真正的因果机制。
VideoFusion – AI视频剪辑工具，自动去除视频黑边、水印和字幕
VideoFusion 是开源的短视频拼接与处理软件，专为高效视频编辑设计。支持自动去除视频中的黑边、水印和字幕，能将视频自动旋转为横屏或竖屏，适配不同播放场景。软件具备降噪、去抖动、音量平衡等功能，能提升视频画质。
什么是神经网络的可视化（Neural Network Visualization）
神经网络可视化（Neural Network Visualization）是一种图形化技术，用于展示神经网络的结构、参数、输入输出和中间结果等信息。通过直观的图表和图像帮助研究人员和开发者理解网络的工作原理，优化模型性能，并展示模型的内部特征。可视化工具能生成从简单的架构图到复杂的3D模型，使复杂的神经网络更易于理解和交流。
Baichuan-Audio – 百川智能开源的端到端语音交互模型
Baichuan-Audio是百川智能推出的端到端音频大语言模型，支持无缝集成音频理解和生成功能，实现支持高质量、可控的实时中英双语对话。Baichuan-Audio基于多码本离散化技术将音频信号转化为离散标记，保留语义和声学信息，用独立的音频头增强音频特征处理能力。
什么是对抗样本（Adversarial Examples）
对抗样本（Adversarial Examples） 是故意设计的数据点，通过在原始样本中加入微小、难以察觉的扰动，导致机器学习模型尤其是深度学习模型以高置信度给出错误的预测。这些样本在人类观察者看来与正常样本无异，但模型却可能做出截然不同的判断。对抗样本的存在揭示了深度学习模型的脆弱性，促进了对模型鲁棒性的研究。
什么是神经渲染（Neural Rendering）
神经渲染（Neural Rendering）是一种先进的图像渲染技术，通过训练神经网络来模拟光线与物体的交互，生成逼真的图像。神经渲染能自动学习并理解复杂的光照、材质和几何关系，使渲染过程更加高效和智能。神经渲染基于深度学习模型，如神经辐射场（NeRF），来处理和优化图像数据，实现高质量的3D场景重建和风格转换，广泛应用于虚拟现实、游戏开发和电影制作等领域。
AIMv2 – 苹果开源的多模态自回归预训练视觉模型
AIMv2是苹果公司开源的多模态自回归预训练视觉模型，通过图像和文本的深度融合提升视觉模型的性能。采用创新的预训练框架，将图像划分为非重叠的图像块，将文本分解为子词令牌，然后将两者拼接为统一序列进行自回归预训练。
VidSketch – 浙江大学推出的视频动画生成框架
VidSketch 是浙江大学 CAD&CG 国家重点实验室和软件学院推出的创新视频生成框架，根据手绘草图和简单文本提示生成高质量的视频动画。VidSketch基于“层级草图控制策略”动态调整草图的引导强度，适应不同绘画技能的用户，借助“时空注意力机制”增强视频的时空一致性，解决帧间连贯性问题。
什么是模式崩溃（Mode Collapse）
模式崩溃（Mode Collapse）是指在训练过程中，生成器开始生成的样本多样性降低，只产生数据集中某些特定模式的样本，忽略了其他潜在模式。导致生成的数据缺乏真实性和多样性，无法覆盖目标分布的所有可能模式。模式崩溃是GAN训练中常见的问题，影响模型性能和生成样本的质量。