AI Research Foundations是什么
AI Research Foundations是Google DeepMind与伦敦大学学院(UCL)联合推出的免费在线课程。课程能帮助学习者深入理解Transformer模型,通过实践掌握现代语言模型的构建与微调技巧。课程由Google DeepMind研究副总裁Oriol Vinyals指导,课程内容涵盖语言模型基础、数据处理、神经网络设计和Transformer架构等,适合希望提升AI研究技能的学习者。课程已在Google Skills平台上线。

AI Research Foundations的主要内容
Google DeepMind: 01 构建自己的小型语言模型: 学习语言模型的基础知识,了解机器学习开发流程。比较传统 n-gram 模型和先进 Transformer 模型的优缺点。Google DeepMind: 训练一个小型语言模型(挑战实验): 一个挑战性实验,用于评估是否能开发基础工具和数据准备框架,训练一个健壮的、基于字符的语言模型。Google DeepMind: 02 表示您的语言数据: 学习如何为语言模型准备文本数据。重点研究用于预处理、构建和表示文本数据的工具与技术。Google DeepMind: 03 设计与训练神经网络: 专注于机器学习模型的训练过程。学习识别和缓解训练中的问题(如过拟合和欠拟合)。包含实际的编码实验。Google DeepMind: 04 探索 Transformer 架构: 深入探究Transformer架构的机制。研究Transformer语言模型如何处理提示以进行上下文感知的下一个词预测。通过实践探索注意力机制,可视化注意力权重。
AI Research Foundations的主要功能
教育与学习:提供大学级别的课程内容,帮助学习者掌握人工智能领域的基础知识和高级概念。实践技能培养:通过动手实践活动,学习者能实际构建和微调语言模型,增强实践操作能力。理解Transformer模型:深化对Transformer架构的理解,是现代大型语言模型的核心组件。负责任的AI研究:教导学习者如何在AI研究中负责任地进行,包括伦理考量和避免偏见。数据处理:学习如何准备和处理文本数据,适用语言模型的输入。神经网络设计:了解如何设计和训练神经网络,及如何识别和解决训练过程中可能出现的问题。
AI Research Foundations的课程地址
课程地址:https://www.skills.google/collections/deepmind
AI Research Foundations的应用场景
学术研究:为大学生、研究生及研究人员提供深入理解AI和机器学习原理的机会,以便在学术项目或研究中应用。