课程概述
本课程是为期三天的实战型系列课程,旨在帮助学员系统掌握大模型在本地环境中的部署、应用与轻量化微调技术。课程以“工具实践+原理深入”为核心,覆盖从模型本地化部署到个性化微调的全链路技能,结合行业主流工具链(如Ollama、vLLM、LLaMA-Factory),让学员具备独立完成大模型应用落地的能力。
第一天将聚焦本地大模型的部署与应用。学员将学习如何使用Ollama快速部署和管理本地模型,掌握vLLM的高性能推理与API服务搭建,并集成OpenWebUI实现可视化交互。同时,课程会深入讲解HuggingFace和ModelScope等主流模型社区的资源获取方法,包括模型探索、下载与推理实战,最终通过OpenWebUI实现知识库构建与智能体配置,完成从环境准备到功能开发的完整闭环。
第二天将深入大模型微调基础与LLaMA-Factory实战。从Transformer架构、注意力机制到RLHF原理,课程会解析大模型训练的核心思想,重点讲解LoRA等轻量化微调方法。学员将通过LLaMA-Factory框架动手完成数据准备、模型训练与评估,掌握认知数据集构建、SFT指令微调等关键技能,并学会测试微调后模型的对话能力。
第三天进入微调进阶与生产级优化。学员将学习超参数调优、模型量化、RLHF-DPO微调等高级技术,并通过LLaMA-Factory的WebUI实现可视化训练与评估。课程还会介绍如何将微调模型转换为Ollama格式,实现轻量化部署,最终结合Transformer库独立开发LoRA微调 pipeline,具备企业级应用所需的模型优化能力。
通过本课程,学员不仅能理解大模型技术原理,更可通过实战项目构建覆盖部署、微调、评估与优化的完整知识体系,为开发行业解决方案或科研创新奠定坚实基础
课程对象
本课程面向 AI 工程师、技术研发人员、数据科学家及企业 IT 管理者,要求具备基础 Python 编程能力与机器学习认知。适合希望掌握大模型本地化部署、微调与工程化落地的技术从业者,或需为企业搭建 AI 应用原型的相关负责人。
课程目标
通过三天训练营,学员将掌握以下核心能力:
1.完成大模型的本地化部署与推理服务搭建
- 能使用 Ollama、vLLM 部署 DeepSeek、Qwen 等模型
- 具备搭建高性能推理 API 的能力(含并发、模型加载配置)
2.掌握轻量化微调的主流方法与全流程实践
- 理解 LoRA、SFT、DPO 等方法的原理与适用场景
- 能独立使用 LLaMA-Factory 完成微调(含数据集准备、训练、评估、导出)
3.具备大模型工程化优化能力
- 会进行超参数调优、模型量化、动态合并等核心工程技能
- 能将微调模型导出为 Ollama 可用格式,实现轻量部署
4.能构建企业内部可复用的大模型微调工具链
- 贯通 HuggingFace、ModelScope、LLaMA-Factory、OpenWebUI 等工具
- 能搭建可复用的微调—评估—推理—部署管线
课程收益
完成课程后,学员将能够:
1.独立构建企业级大模型环境
能够完成模型下载、管理、推理、API 发布,适配企业私有化需求。
2.具备可复用的微调实践经验
掌握 LoRA / SFT / DPO / 多模态微调等核心能力,可根据具体业务进行模型定制。
3.快速验证大模型在企业内部的应用可行性
学员将具备 POC(概念验证)能力,可快速为企业构建 Demo、内部工具或业务功能原型。
4.掌握大模型优化与部署闭环
从训练、量化、评估到轻量化部署,形成完整的工程化能力链条。
课程时长3天
课程大纲
| 使用Olama、vllm部署和应用本地大模型 |
LLaMA-Factory微调基础 |
LLaMA-Factory微调进阶 |
Ollama简介
Ollama安装和常用参数配置
管理本地大模型
huggingface简介和基本使用
Modelscope魔塔社区简介和基本使用
Vllm推理环境准备:租用算力服务器
使用vllm实现模型推理
使用vllm实现部署模型API服务(deepseek-r1、Qwen3、嵌入模型等)
使用OpenAI来实现模型推理
下载和安装OpenWebUI
理解大模型原理基础
大模型是如何训练的?
理解注意力机制
理解Transformer架构
生成语言基础模型GPT
理解强化学习RLHF流程与思想
什么是Fine-tuning模型微调
微调的具体方法
轻量化微调概念
低秩适应微调LoRA工作原理
LoRA微调流程
模型选择和微调数据需求
评估微调后的模型能力 |
LLaMA-Factory框架简介
安装LLaMA-Factory框架并搭建微调环境
基座模型下载:
数据集准备:
Identity.json认知数据集
下载和转换数据集(SFT)
理解alpaca、ShareGPT、OpenAI格式规范
开始训练模型:什么是SFT、命令介绍、开始训练
使用训练模型进行聊天测试
理解模型训练之超参数调优
动态合并模型
模型评估:
通用能力评估
NLG评估
自定义评估:使用余弦相似度,进行语义匹配
导出LoRA模型
将导出模型转成Ollama支持
理解模型量化机制和量化方法
实现模型微调量化
实现模型导出量化 |
理解和实现模型微调:预训练
准备预训练数据集
实现预训练
推理测试
LLaMA-Factory实现奖励模型微调
LLaMA-Factory基于RLHF
下载和整理数据集
DPO微调、推理
模型评估和导出
使用Qwen3实现推理模型SFT微调
下载Qwen3 推理模型
转换和准备推理模型数据集
SFT微调实现、模型合并和推理测试
理解多模态模型SFT实现
Qwen2.5-VL-7B-Instruct 下载
构建基于多模态微调数据集(血清图片识别)
实现SFT微调
模型推理、评估和导出
LLaMA-Factory接口调用
一站式webui board的使用:
模型配置、推理、训练、评估和导出 |
为什么选择艾威
艾威培训(AVTECH China)成立于2003年,是中国领先的数字化能力培训与国际认证服务机构,专注于企业架构、数据治理、AI人工智能、IT治理、网络安全等关键领域,深耕企业人才发展20余年,致力于帮助组织构建应对未来的不确定性能力,推动从“知识掌握”到“能力转化”的真正落地。
培训咨询