AI深度学习和AIGC大模型研发实战培训课程

大数据与人工智能·培训

AI AIGC

课程简章2024-04-11小艾老师

课程概述

本课程深入讲解自然语言处理（NLP）的基础、技术和应用，同时特别关注人工智能生成内容（AIGC）和大模型的研发。课程内容从NLP的基本定义到其在现实世界的应用，探讨面临的挑战和限制，并详细介绍文本预处理和清洗技术。特别强调语言模型，如n-gram和神经网络语言模型，及其在文本分类、情感分析和文本生成等领域的应用。课程深入词嵌入技术，包括Word2Vec和GloVe算法，并探讨其应用。重点关注深度学习在NLP中的应用，尤其是卷积神经网络（CNN）、循环神经网络（RNN）、Transformer模型和BERT及其变体的研究和应用，强调这些技术在AIGC和大模型研发中的核心地位。此外，课程涵盖向量数据库技术和最新版LangChain1.0的先进应用，基于Langchain 1.0的Deepseek-OCR智能体开发，以及QLORA和RAG等模型的详细介绍，展示它们如何优化语言模型查询和检索性能，提高生成内容的质量和准确性。多模态发展历程，图-文（LLaVA模型训练过程），文-图（Stable Diffusion），视觉多模态模型介绍，Claude Code 自动编码工具高级应用方法等。

通过结合理论学习和实战案例，本课程旨在培养学员使用最新NLP技术和深度学习框架开发和应用AIGC大模型的能力，为学员提供全面的知识结构，以解决实际问题并推动NLP和AIGC技术的发展。

课程对象

本课程适合对AI深度学习、自然语言处理（NLP）、大模型开发感兴趣的开发者、数据分析师等人群。本课程能为你提供全面的指导和帮助。通过本课程的学习，你将能够更好地应对实际工作中的挑战，提升自己的职业竞争力。

学员需要具备python编程能力，熟悉python核心语法，python数据分析的方法。学员同时需要具备统计学理论基础，对于机器学习、深度学习以及自然语言处理的基本概念有一定的了解。

课程目标

培养对NLP和AIGC技术的深刻理解和实践能力。
训练学员使用最新的NLP技术和深度学习框架。
指导学员开发和应用AIGC大模型。
提供全面的知识结构，帮助学员解决实际问题。
推动NLP和AIGC技术的发展。

课程收益

深入理解自然语言处理（NLP）的基础知识和核心技术。
掌握文本预处理、清洗技术以及词嵌入技术如Word2Vec和GloVe。
学习并应用最新的深度学习模型，包括CNN、RNN、Transformer、BERT及其变体。
获得实战经验，通过案例学习如何在AIGC和大模型研发中使用这些技术。
理解并实践向量数据库技术和LangChain的先进应用。
提高使用Python进行数据分析和机器学习的能力。
增强解决实际问题的能力，提升职业竞争力。

课程时长8天

课程大纲

时间	课程内容
第一天 NLP基础贝叶斯模型	初识NLP NLP定义 NLP在现实世界中的应用 NLP的挑战和限制文本预处理文本清洗语言模型概述 n-gram语言模型神经网络语言模型语言模型的应用词嵌入部分词向量概述 Word2Vec算法 GloVe算法词向量的应用文本分类文本分类概述朴素贝叶斯分类器
第二天 CNN模型 PyTorch框架学习	深度学习与PyTorch简介使用基于神经网络的机器学习技术，处理复杂数据。 PyTorch简介：深度学习框架，动态计算图。卷积神经网络（CNN）简介 CNN简介：用于图像处理的神经网络，特点是能够捕捉空间特征。一维卷积神经网络（CNN1D）简介基本概念：1D CNN是一种专门处理序列数据的神经网络，类似于2D CNN处理图像数据。它在数据的一维序列上应用卷积。主要用途：广泛应用于时间序列分析、自然语言处理等领域。 CNN1D的工作原理卷积层：通过一维卷积核在输入数据上滑动，提取序列特征。池化层：减少计算量，同时保持特征的重要信息。全连接层：将卷积和池化层的输出转化为最终的输出（如分类结果）。 CNN1D的网络架构层的堆叠：通常包括多个卷积层和池化层，可以根据任务需求调整深度和宽度。激活函数：ReLU或其他非线性激活函数用于引入非线性。 PyTorch实现CNN1D 模型定义：使用PyTorch定义1D CNN的结构，包括卷积层（torch.nn.Conv1d）、池化层（如torch.nn.MaxPool1d）和全连接层（torch.nn.Linear）。数据处理：将数据格式调整为1D CNN接受的形式，即[批大小, 通道数, 序列长度]。训练和评估：定义损失函数和优化器，进行模型的训练和评估。
第三天 LSTM模型 TensorFlow框架学习	使用PyTorch创建和训练RNN，用于语言建模等任务。 PyTorch深度学习实战实践应用：通过实际案例学习PyTorch，如自然语言处理。 PyTorch GPU安装：安装支持GPU的PyTorch版本。单GPU环境配置使用工具如nvidia-smi：监控GPU性能和健康状况。深度学习在NLP中的应用介绍使用深度学习框架（如Keras或PyTorch）实现文本分类和情感分析文本生成Transformer和深度学习模型文本生成概述语言模型生成基于神经网络的文本生成文本生成的应用机器翻译 Transformer模型详细知识点介绍 Transformer模型简介在自然语言处理中的应用与传统序列模型（如RNN、LSTM）的比较输入表示词嵌入词嵌入的概念词嵌入与one-hot编码的对比位置编码器位置编码的重要性位置编码的实现方式 Transformer架构编码器-解码器结构编码器的作用和结构解码器的作用和结构自注意力机制注意力机制的概念自注意力的计算过程
第四天 Transformer模型学习	注意力机制多头注意力多头注意力的定义和作用多头注意力的实现细节注意力算法 Q（Query）、K（Key）、V（Value）的概念计算注意力权重的过程 Softmax函数在注意力机制中的作用 Softmax的定义如何使用Softmax计算注意力分数 Transformer编码器编码器层的组成自注意力层和前馈神经网络层层归一化和残差连接 Transformer解码器解码器层的组成掩码自注意力编码器-解码器注意力前馈网络、层归一化和残差连接训练过程损失函数的选择优化器和学习率调整正则化技术 Transformer的应用机器翻译文本生成语言理解任务 BERT模型概览 BERT模型简介 BERT与传统Transformer的区别 BERT的双向特性 BERT的创新点双向表示的重要性如何实现真正的双向上下文预训练任务掩码语言模型（MLM）下一句预测（NSP）预训练过程详解掩码语言模型（MLM） MLM的原理和实现 MLM的训练过程下一句预测（NSP） NSP的原理 NSP在BERT中的作用
第五天 Bert模型学习	BERT的架构 BERT的网络结构输入表示：词嵌入、片段嵌入和位置嵌入输出层的设计 BERT的训练策略预训练的概念训练数据的选择和处理训练过程中的技术细节 BERT在下游任务中的应用文本分类、问答系统、命名实体识别等 Tune BERT以适应特定任务实例分析和案例研究 BERT的变体和进展如RoBERTa、ALBERT和DistilBERT BERT在其他领域的应用最新的研究和发展动态实践练习和项目 BERT的实现和使用实际数据集上的练习在自然语言处理中的作用和应用场景向量数据库简介向量数据库的作用和重要性常见的向量数据库技术概述向量数据库详细介绍 Pinecone 特点和优势应用场景 Chroma 功能和使用场景其他向量数据库如Weaviate, Milvus, 和Faiss 它们的特点和比较
第六天 Langchain开发框架 LangGraph有向无环图构建Agent	LangChain概览 LangChain1.0概览 LangChain1.0简介 LangChain1.0的核心模块 LangChain的agent代理和“链”开发跟上了LLM应用的最新改进 LangGraph与LangSmith介绍，LangGraph多模态RAG 智能体项目介绍各类模型接入Langchain 1.0 、模型调用、记忆管理、与工具调用流程 Langchain 1.0 部署与上线流程 Langchain 1.0 Agent 中间件入门介绍 Langchain 1.0 Deepseek-OCR多模态PDF解析实战 Langchain 1.0 全自动数据分析可视化Agent 系统实战 Agently智能体开发框架介绍 1. 智能体/LLM应用的定义与作用什么是智能体？智能体与大模型的关系是什么样的智能体概念的演进过程，基本架构与功能 2. 智能体的决策和反思如何让智能体进行决策与任务执行实战：基于本地部署Deepseek模型开发一个能够进行决策与任务执行的智能体模块如何让智能体进行反思实战：翻译Agent的复现 3. 智能体的应用场景探讨智能体在行业场景中的落地情况探讨智能体系统/LLM应用的常见分类进一步理解LLM应用的设计思想讨论LLM应用的构成关键要素梳理智能体概念和LLM应用之间的关系进一步梳理工作流的设计思想讨论为什么LLM应用需要工作流讨论“使用工作流就会限制灵活度，就不智能了吗？” 实战：自规划解读早期AutoGPT项目的核心工作原理自规划应用的关键执行思路设计动手做一个自规划方案讨论自规划方案的能力扩展方式 QLORA优化模型数据 QLORA简介：描述：QLORA（Query Language Optimized for Retrieval and Annotation）是一种用于增强语言模型查询和检索性能的方法。实现细节：它通过优化查询的语言表示来提高检索系统的准确性和效率。数据预处理：描述：对原始数据集进行清洗和格式化，以适应QLORA模型。实现细节：包括去除噪声，标准化文本格式，以及确保数据质量。查询优化：描述：对查询语句进行优化，使其更加符合模型的处理方式。实现细节：使用自然语言处理技术，如同义词替换、关键词提取，优化查询表达。模型训练与调整：描述：使用优化后的数据训练QLORA模型。实现细节：选择合适的训练参数，如学习率和批处理大小，进行模型训练。性能评估：描述：对优化后的模型进行性能评估。实现细节：使用标准化的测试数据集，评估模型在各项指标上的表现。 RAG常见步骤过程 RAG简介：描述：RAG结合了神经检索和生成模型，以提高回答生成的质量和准确性。实现细节：它先从一个大型文档集合中检索相关信息，然后基于这些信息生成回答。数据索引构建：描述：为文档集合创建索引，以便高效检索。实现细节：使用向量化方法将文档转换成向量，并建立索引，如使用Elasticsearch或FAISS。检索相关文档：描述：基于用户的查询，从索引中检索最相关的文档。实现细节：计算查询向量与文档向量间的相似度，返回得分最高的文档，生成回答：描述：使用检索到的文档作为上下文，生成回答。实现细节：将检索到的文本与查询合并，输入到生成模型（如GPT），产生回答。回答优化和校验：描述：对生成的回答进行优化和校验，确保其准确性和可信度。实现细节：运用后处理技术，如语句平滑和事实校验，提高回答的质量。
第七天 Huggingface库介绍 cursor开发工具介绍 Claude Code高级应用	与其他NLP工具和框架的集成Hugging Face生态系统概览安装Hugging Face Transformers库模型加载与分词器使用加载预训练Transformer模型使用Hugging Face Model Hub 安装和配置如何安装Transformer类库环境配置和依赖管理使用在线Hub Hugging Face Hub的介绍如何浏览和查找模型模型下载和使用方法获取和使用API Key API Key的作用和获取方法如何在代码中配置和使用API Key 安全性和权限管理 Tokenization过程 Tokenizer的作用和原理 1. Cursor的安装与配置安装Cursor编辑器配置工作空间和扩展基础快捷键 2. 小牛试刀：用Cursor写一个浏览器插件-划词翻译需求定义：Prompt描述用Cursor创建初始项目用Chrome浏览器加载项目通过Cursor完善项目细节和修复问题打包分享自己的作品 3. Cursor高级技巧代码库索引 AI审查和代码重构隐私模式模型选择自定义Curosr Rules 将外部文档作为知识库进行问答配置 MCP Servers 4. 综合实战：用Cursor写一个取名字的AI应用 Curosr Rules设置项目Prompt描述项目初始化 AI编程和调试发布自己的应用 Claude介绍 Claude Code 安装 Claude Code 基本用法 Claude Code Router Claude Code 配置SaaS模型 Claude Code MCP与多智能体协作 Claude Code 高级用法
第八天大模型微调训练原理和实战	大语言模型微调训练（一）掌握模型训练/微调/小参数量微调的操作过程掌握模型微调/小参数量微调关键「超参」掌握训练数据的选择、准备、清洗等方法与思路训练一个垂直领域的大模型大语言模型微调训练（二）模型训练（Training）预训练基本概念（Pre-Training）微调（Fine-Tuning）轻量化微调（注入参数训练）（Parameter Efficient Fine-Tuning, PEFT）实战案例分析基于Deepseek与AI知识库的智能营销推荐系统基于QA问答知识库和多模态大模型的AI数字人陪练系统多模态大语言模型知识补充多模态大语言模型（MLLM）定义（图-文）多模态模型的发展历程（ViT、VisualBert、CLIP、GPT-4v）商用MLLM API调用实战图文对话系统的搭建（LLaVA1.5 & LLaVA1.6 训练数据准备&训练过程） Beyond VL：支持更多模态输入的大语言模型使用多模态大语言模型完成更多任务判别式 vs. 生成式模型视觉生产模型基础文生图模型（Stable Diffusion）介绍 3D目标生成方法视频生成方法 yolo模型与OCR项目介绍

为什么选择艾威

自2003年成立以来，艾威公司一直是技术培训领域的先驱，为成千上万的专业人士提供了高质量的学习资源。选择艾威培训，不仅意味着获取最新的行业知识和技能，还意味着成为一个专业、支持和创新的社区的一部分。

培训咨询

时间	课程内容
第一天 NLP基础贝叶斯模型	初识NLP NLP定义 NLP在现实世界中的应用 NLP的挑战和限制文本预处理文本清洗语言模型概述 n-gram语言模型神经网络语言模型语言模型的应用词嵌入部分词向量概述 Word2Vec算法 GloVe算法词向量的应用文本分类文本分类概述朴素贝叶斯分类器
第二天 CNN模型 PyTorch框架学习	深度学习与PyTorch简介使用基于神经网络的机器学习技术，处理复杂数据。 PyTorch简介：深度学习框架，动态计算图。卷积神经网络（CNN）简介 CNN简介：用于图像处理的神经网络，特点是能够捕捉空间特征。一维卷积神经网络（CNN1D）简介基本概念：1D CNN是一种专门处理序列数据的神经网络，类似于2D CNN处理图像数据。它在数据的一维序列上应用卷积。主要用途：广泛应用于时间序列分析、自然语言处理等领域。 CNN1D的工作原理卷积层：通过一维卷积核在输入数据上滑动，提取序列特征。池化层：减少计算量，同时保持特征的重要信息。全连接层：将卷积和池化层的输出转化为最终的输出（如分类结果）。 CNN1D的网络架构层的堆叠：通常包括多个卷积层和池化层，可以根据任务需求调整深度和宽度。激活函数：ReLU或其他非线性激活函数用于引入非线性。 PyTorch实现CNN1D 模型定义：使用PyTorch定义1D CNN的结构，包括卷积层（torch.nn.Conv1d）、池化层（如torch.nn.MaxPool1d）和全连接层（torch.nn.Linear）。数据处理：将数据格式调整为1D CNN接受的形式，即[批大小, 通道数, 序列长度]。训练和评估：定义损失函数和优化器，进行模型的训练和评估。
第三天 LSTM模型 TensorFlow框架学习	使用PyTorch创建和训练RNN，用于语言建模等任务。 PyTorch深度学习实战实践应用：通过实际案例学习PyTorch，如自然语言处理。 PyTorch GPU安装：安装支持GPU的PyTorch版本。单GPU环境配置使用工具如nvidia-smi：监控GPU性能和健康状况。深度学习在NLP中的应用介绍使用深度学习框架（如Keras或PyTorch）实现文本分类和情感分析文本生成Transformer和深度学习模型文本生成概述语言模型生成基于神经网络的文本生成文本生成的应用机器翻译 Transformer模型详细知识点介绍 Transformer模型简介在自然语言处理中的应用与传统序列模型（如RNN、LSTM）的比较输入表示词嵌入词嵌入的概念词嵌入与one-hot编码的对比位置编码器位置编码的重要性位置编码的实现方式 Transformer架构编码器-解码器结构编码器的作用和结构解码器的作用和结构自注意力机制注意力机制的概念自注意力的计算过程
第四天 Transformer模型学习	注意力机制多头注意力多头注意力的定义和作用多头注意力的实现细节注意力算法 Q（Query）、K（Key）、V（Value）的概念计算注意力权重的过程 Softmax函数在注意力机制中的作用 Softmax的定义如何使用Softmax计算注意力分数 Transformer编码器编码器层的组成自注意力层和前馈神经网络层层归一化和残差连接 Transformer解码器解码器层的组成掩码自注意力编码器-解码器注意力前馈网络、层归一化和残差连接训练过程损失函数的选择优化器和学习率调整正则化技术 Transformer的应用机器翻译文本生成语言理解任务 BERT模型概览 BERT模型简介 BERT与传统Transformer的区别 BERT的双向特性 BERT的创新点双向表示的重要性如何实现真正的双向上下文预训练任务掩码语言模型（MLM）下一句预测（NSP）预训练过程详解掩码语言模型（MLM） MLM的原理和实现 MLM的训练过程下一句预测（NSP） NSP的原理 NSP在BERT中的作用
第五天 Bert模型学习	BERT的架构 BERT的网络结构输入表示：词嵌入、片段嵌入和位置嵌入输出层的设计 BERT的训练策略预训练的概念训练数据的选择和处理训练过程中的技术细节 BERT在下游任务中的应用文本分类、问答系统、命名实体识别等 Tune BERT以适应特定任务实例分析和案例研究 BERT的变体和进展如RoBERTa、ALBERT和DistilBERT BERT在其他领域的应用最新的研究和发展动态实践练习和项目 BERT的实现和使用实际数据集上的练习在自然语言处理中的作用和应用场景向量数据库简介向量数据库的作用和重要性常见的向量数据库技术概述向量数据库详细介绍 Pinecone 特点和优势应用场景 Chroma 功能和使用场景其他向量数据库如Weaviate, Milvus, 和Faiss 它们的特点和比较
第六天 Langchain开发框架 LangGraph有向无环图构建Agent	LangChain概览 LangChain1.0概览 LangChain1.0简介 LangChain1.0的核心模块 LangChain的agent代理和“链”开发跟上了LLM应用的最新改进 LangGraph与LangSmith介绍，LangGraph多模态RAG 智能体项目介绍各类模型接入Langchain 1.0 、模型调用、记忆管理、与工具调用流程 Langchain 1.0 部署与上线流程 Langchain 1.0 Agent 中间件入门介绍 Langchain 1.0 Deepseek-OCR多模态PDF解析实战 Langchain 1.0 全自动数据分析可视化Agent 系统实战 Agently智能体开发框架介绍 1. 智能体/LLM应用的定义与作用什么是智能体？智能体与大模型的关系是什么样的智能体概念的演进过程，基本架构与功能 2. 智能体的决策和反思如何让智能体进行决策与任务执行实战：基于本地部署Deepseek模型开发一个能够进行决策与任务执行的智能体模块如何让智能体进行反思实战：翻译Agent的复现 3. 智能体的应用场景探讨智能体在行业场景中的落地情况探讨智能体系统/LLM应用的常见分类进一步理解LLM应用的设计思想讨论LLM应用的构成关键要素梳理智能体概念和LLM应用之间的关系进一步梳理工作流的设计思想讨论为什么LLM应用需要工作流讨论“使用工作流就会限制灵活度，就不智能了吗？” 实战：自规划解读早期AutoGPT项目的核心工作原理自规划应用的关键执行思路设计动手做一个自规划方案讨论自规划方案的能力扩展方式 QLORA优化模型数据 QLORA简介：描述：QLORA（Query Language Optimized for Retrieval and Annotation）是一种用于增强语言模型查询和检索性能的方法。实现细节：它通过优化查询的语言表示来提高检索系统的准确性和效率。数据预处理：描述：对原始数据集进行清洗和格式化，以适应QLORA模型。实现细节：包括去除噪声，标准化文本格式，以及确保数据质量。查询优化：描述：对查询语句进行优化，使其更加符合模型的处理方式。实现细节：使用自然语言处理技术，如同义词替换、关键词提取，优化查询表达。模型训练与调整：描述：使用优化后的数据训练QLORA模型。实现细节：选择合适的训练参数，如学习率和批处理大小，进行模型训练。性能评估：描述：对优化后的模型进行性能评估。实现细节：使用标准化的测试数据集，评估模型在各项指标上的表现。 RAG常见步骤过程 RAG简介：描述：RAG结合了神经检索和生成模型，以提高回答生成的质量和准确性。实现细节：它先从一个大型文档集合中检索相关信息，然后基于这些信息生成回答。数据索引构建：描述：为文档集合创建索引，以便高效检索。实现细节：使用向量化方法将文档转换成向量，并建立索引，如使用Elasticsearch或FAISS。检索相关文档：描述：基于用户的查询，从索引中检索最相关的文档。实现细节：计算查询向量与文档向量间的相似度，返回得分最高的文档，生成回答：描述：使用检索到的文档作为上下文，生成回答。实现细节：将检索到的文本与查询合并，输入到生成模型（如GPT），产生回答。回答优化和校验：描述：对生成的回答进行优化和校验，确保其准确性和可信度。实现细节：运用后处理技术，如语句平滑和事实校验，提高回答的质量。
第七天 Huggingface库介绍 cursor开发工具介绍 Claude Code高级应用	与其他NLP工具和框架的集成Hugging Face生态系统概览安装Hugging Face Transformers库模型加载与分词器使用加载预训练Transformer模型使用Hugging Face Model Hub 安装和配置如何安装Transformer类库环境配置和依赖管理使用在线Hub Hugging Face Hub的介绍如何浏览和查找模型模型下载和使用方法获取和使用API Key API Key的作用和获取方法如何在代码中配置和使用API Key 安全性和权限管理 Tokenization过程 Tokenizer的作用和原理 1. Cursor的安装与配置安装Cursor编辑器配置工作空间和扩展基础快捷键 2. 小牛试刀：用Cursor写一个浏览器插件-划词翻译需求定义：Prompt描述用Cursor创建初始项目用Chrome浏览器加载项目通过Cursor完善项目细节和修复问题打包分享自己的作品 3. Cursor高级技巧代码库索引 AI审查和代码重构隐私模式模型选择自定义Curosr Rules 将外部文档作为知识库进行问答配置 MCP Servers 4. 综合实战：用Cursor写一个取名字的AI应用 Curosr Rules设置项目Prompt描述项目初始化 AI编程和调试发布自己的应用 Claude介绍 Claude Code 安装 Claude Code 基本用法 Claude Code Router Claude Code 配置SaaS模型 Claude Code MCP与多智能体协作 Claude Code 高级用法
第八天大模型微调训练原理和实战	大语言模型微调训练（一）掌握模型训练/微调/小参数量微调的操作过程掌握模型微调/小参数量微调关键「超参」掌握训练数据的选择、准备、清洗等方法与思路训练一个垂直领域的大模型大语言模型微调训练（二）模型训练（Training）预训练基本概念（Pre-Training）微调（Fine-Tuning）轻量化微调（注入参数训练）（Parameter Efficient Fine-Tuning, PEFT）实战案例分析基于Deepseek与AI知识库的智能营销推荐系统基于QA问答知识库和多模态大模型的AI数字人陪练系统多模态大语言模型知识补充多模态大语言模型（MLLM）定义（图-文）多模态模型的发展历程（ViT、VisualBert、CLIP、GPT-4v）商用MLLM API调用实战图文对话系统的搭建（LLaVA1.5 & LLaVA1.6 训练数据准备&训练过程） Beyond VL：支持更多模态输入的大语言模型使用多模态大语言模型完成更多任务判别式 vs. 生成式模型视觉生产模型基础文生图模型（Stable Diffusion）介绍 3D目标生成方法视频生成方法 yolo模型与OCR项目介绍