课程概述
本课程是为期三天的实战型系列课程,旨在帮助学员系统掌握大模型在本地环境中的部署、应用与轻量化微调技术。课程以“工具实践+原理深入”为核心,覆盖从模型本地化部署到个性化微调的全链路技能,结合行业主流工具链(如Ollama、vLLM、LLaMA-Factory),让学员具备独立完成大模型应用落地的能力。
第一天将聚焦本地大模型的部署与应用。学员将学习如何使用Ollama快速部署和管理本地模型,掌握vLLM的高性能推理与API服务搭建,并集成OpenWebUI实现可视化交互。同时,课程会深入讲解HuggingFace和ModelScope等主流模型社区的资源获取方法,包括模型探索、下载与推理实战,最终通过OpenWebUI实现知识库构建与智能体配置,完成从环境准备到功能开发的完整闭环。
第二天将深入大模型微调基础与LLaMA-Factory实战。从Transformer架构、注意力机制到RLHF原理,课程会解析大模型训练的核心思想,重点讲解LoRA等轻量化微调方法。学员将通过LLaMA-Factory框架动手完成数据准备、模型训练与评估,掌握认知数据集构建、SFT指令微调等关键技能,并学会测试微调后模型的对话能力。
第三天进入微调进阶与生产级优化。学员将学习超参数调优、模型量化、RLHF-DPO微调等高级技术,并通过LLaMA-Factory的WebUI实现可视化训练与评估。课程还会介绍如何将微调模型转换为Ollama格式,实现轻量化部署,最终结合Transformer库独立开发LoRA微调 pipeline,具备企业级应用所需的模型优化能力。
通过本课程,学员不仅能理解大模型技术原理,更可通过实战项目构建覆盖部署、微调、评估与优化的完整知识体系,为开发行业解决方案或科研创新奠定坚实基础。
课程对象
本课程面向有大模型落地需求的技术从业者与企业相关负责人:包括 AI 算法工程师、数据中台 / 技术部门负责人、数字化转型相关从业者,覆盖制造业、金融科技、消费品等多行业。要求学员具备基础 Python 编程能力与机器学习认知,或有大模型 API 使用经验。尤其适合希望摆脱外部 API 依赖、搭建私有化大模型系统,或需通过微调让模型适配行业场景、解决推理速度 / 成本问题的团队核心成员,以及想从 “模型使用者” 升级为 “模型训练者” 的技术人员。
课程目标
通过本课程,学员将系统掌握以下核心能力:
1.掌握本地大模型部署与推理服务技术
- 使用 Ollama、vLLM、高效部署 DeepSeek、Qwen、嵌入模型;
- 使用 OpenWebUI 搭建可视化交互与知识库系统。
2.深入理解大模型的微调方法与底层原理
- 理解 Transformer 架构、注意力机制、RLHF 流程;
- 掌握 LoRA 等轻量化微调技术;
- 使用 LLaMA-Factory 完成全流程微调训练。
3.掌握模型评估与量化优化流程
- 进行模型能力评估与参数调优;
- 掌握 DPO 等 RLHF 微调策略;
- 将微调模型导出为 Ollama 格式,适配本地推理。
4.构建企业级大模型工具链
- 打通 HuggingFace、ModelScope、OpenWebUI、LLaMA-Factory、Transformer 库之间的工作流;
- 构建自定义知识库、插件型智能体,赋能业务场景落地。
课程收益
完成本课程后,学员将能够:
独立在本地部署开源大语言模型,并搭建推理 API 服务;
掌握主流微调框架(如 LLaMA-Factory)的使用方法与技巧;
能根据自身业务需要,完成认知数据集准备与 LoRA 微调实践;
完成微调模型的测试评估、导出与 Ollama 格式转换;
掌握生产级模型优化策略,如参数调优、模型量化与 RLHF-DPO 训练;
搭建可视化管理平台,集成知识库、插件、智能体等扩展能力;
为企业构建专属的“大模型应用与微调部署”技术栈打下基础。
课程时长3天
课程大纲
| 使用Olama、vllm部署和应用本地大模型(第一天) |
LLaMA-Factory微调基础(第二天) |
LLaMA-Factory微调进阶(第三天) |
Ollama简介
Ollama安装和常用参数配置
管理本地大模型
huggingface简介
注册和安装
模型探索和推理
下载模型
Modelscope魔塔社区简介
模型探索和推理
下载模型
Vllm推理环境准备:租用算力服务器
使用vllm实现模型推理
使用vllm实现部署模型API服务(deepseek-r1、Qwen3、嵌入模型等)
使用OpenAI来实现模型推理
下载和安装OpenWebUI
使用OpenWebUI
注册帐号
模型配置
交互管理
使用OpenWebUI,实现知识库创建
使用OpenWebUI,配置工具:搜索引擎、天气预报等
使用OpenWebUI构建智能体 |
理解大模型原理基础
大模型是如何训练的?
理解注意力机制
理解Transformer架构
生成语言基础模型GPT
理解强化学习RLHF流程与思想
什么是Fine-tuning模型微调
微调的具体方法
轻量化微调概念
低秩适应微调LoRA工作原理
LoRA微调流程
模型选择和微调数据需求
评估微调后的模型能力
LLaMA-Factory框架简介
安装LLaMA-Factory框架并搭建微调环境
基座模型下载
数据集准备:
Identity.json认知数据集
下载和转换数据集
理解alpaca、ShareGPT、OpenAI格式规范
开始训练模型:什么是SFT、命令介绍、开始训练
使用训练模型进行聊天测试 |
理解模型训练之超参数调优
动态合并模型
模型评估:
通用能力评估
NLG评估
导出LoRA模型
将导出模型转成Ollama支持
理解和实现模型量化
理解和实现模型微调:预训练
LLaMA-Factory基于RLHF
下载和整理数据集
DPO微调、推理
模型评估和导出
LLaMA-Factory接口调用
一站式webui board的使用:
模型配置
推理
训练
评估和导出
基于Transformer库实现LoRA模型微调实现 |
为什么选择艾威
艾威培训成立于2003年,是业内领先的培训机构,拥有丰富的企业培训经验。我们深度关注企业数字化转型与技术创新,为企业和个人提供最前沿的AI技术培训课程。我们为学员提供全面的教学支持,并结合实际应用场景,通过精心设计的课程帮助学员快速掌握DeepSeek和其他AI工具的实际应用。选择艾威培训,您将获得:
- 多年的培训经验: 20年+的企业培训经验,专家团队提供定制化培训。
- 实战驱动的教学: 课程结合实际企业应用场景,学员可以立刻应用学到的知识,提升工作效率。
- 高效学习支持: 课程提供在线答疑、社群互动等支持,让学习不止于课堂。
培训咨询