大模型相关概念

刚接触大模型（LLM）开发时，会有一堆新词扑面而来：Token、RAG、Embedding、Agent……，它们看起来彼此独立，其实串成了一条完整的技术链路。

本文按照「模型是什么 → 如何训练 → 如何使用 → 如何优化」的顺序，把这些概念串起来，帮初学开发者建立清晰的知识框架。

本文不只是「名词解释」，还会用真实可运行的 Python 代码演示这些概念怎么落地。

所有示例基于 OpenAI 兼容协议，可换成阿里云百炼、DeepSeek 等服务商只需改接口地址和密钥。

Python OpenAI 参考：https://www.runoob.com/python3/python-openai.html

整体技术链路

在拆解每个概念之前，先看一眼大模型技术的完整链路，建立整体认知。

从上到下，每一层都解决一类核心问题：训练造出模型、优化让它变轻、驱动让它出活、检索补上知识、工具让它执行。

下文就按这条链路，自顶向下逐层展开。

基础概念：模型是什么

这一节回答最根本的问题：大模型到底是个什么东西，它靠什么工作。

LLM（大语言模型）

LLM 全称 Large Language Model，是基于海量文本训练出来的深度学习模型。

它的本质是一个「预测下一个词」的概率模型：给定前面的文字，预测接下来最可能出现的内容。

ChatGPT、Claude、通义千问等产品，底层都是 LLM。

Transformer 与注意力机制

几乎所有现代 LLM 都基于 Transformer 架构。

它的核心创新是注意力机制（Attention / Self-Attention）：模型在处理某个词时，能动态地「关注」输入序列中其他相关的词，从而更好地理解上下文关系。

打个比方，模型读一句话时不是死板地逐字扫描，而是会自动判断「这个词和前面哪个词关系最大」。

Token（词元）

模型并不按「字」或「单词」处理文本，而是按 Token 处理。

一个 Token 可能是一个汉字、一个英文单词，也可能是单词的一部分。

理解 Token 有两个直接的现实意义：

模型的上下文长度限制是按 Token 计算的；API 调用的计费也是按 Token 计算的。

用 OpenAI 的开源分词库 tiktoken，可以直接看到一段文本被切成了多少个 Token：

输出结果：

Token 数量：2
切分结果：['Hello', ' world']

换成中文或更长的词，切分方式会完全不同，所以「按字数估算 Token」并不准确。

上下文窗口（Context Window）

指模型一次能「看到」和处理的最大 Token 数量。

比如上下文窗口是 100K，意味着一次对话（历史消息、你的问题、模型回答加在一起）不能超过 10 万个 Token。

窗口越大，模型能「记住」的内容越多，能一次性处理的文档也越长。

参数量（Parameters）

参数量指模型内部可学习的权重数量，通常以 B（十亿，Billion）为单位，比如 7B、70B。

它在一定程度上反映模型的规模与能力上限，但不是唯一指标——训练数据质量、架构设计同样关键。

模型是如何训练出来的

一个能自然对话的 LLM，通常要经过多个训练阶段，层层叠加能力。

预训练（Pre-training）

模型在海量、无标注的文本（网页、书籍、代码等）上学习语言的统计规律，比如语法、常识、逻辑关系。

这个阶段耗费的算力最大，是模型能力的基础。

但此时的模型还不擅长「按指令做事」，更像一个博览群书却不懂如何交流的人。

SFT（监督微调）

SFT 全称 Supervised Fine-Tuning。

用人工标注好的「问题—答案」对数据，教模型学会按照人类指令来回答问题，而不是自顾自地续写文本。

RLHF（人类反馈强化学习）

RLHF 全称 Reinforcement Learning from Human Feedback。

让人类对模型的多个候选回答打分或排序，再用这些反馈训练模型，使其输出更符合人类偏好（更有用、更诚实、更安全）。

类似的技术还有 RLAIF：用 AI 代替人类打分，以降低标注成本。

两者目的一致，区别只在于「打分的人」是真人还是另一个 AI。

对齐（Alignment）

对齐是一个更宏观的概念：让模型的行为、价值观符合人类的期望和意图。

它是 AI 安全领域的核心议题，贯穿在 SFT、RLHF 等各个训练环节中——SFT 和 RLHF 本质上都是「对齐手段」。

微调（Fine-tuning）

在已经训练好的通用模型基础上，用某个特定领域（如法律、医疗、客服）的数据继续训练。

相比从零预训练，微调成本要低得多，是让通用模型适配专业场景的常用做法。

MoE（混合专家模型）

MoE 全称 Mixture of Experts，是一种模型架构设计。

模型内部包含多个「专家」子网络，每次处理输入时只激活其中一部分，而不是让全部参数都参与计算。

这样可以在扩大模型总规模的同时，控制实际计算量，做到「参数大、推理快」。

开发者如何使用大模型

这是初学开发者最需要关注的部分：如何通过 API 让大模型为应用服务。

本节先给一个最基础、可直接运行的对话调用示例，再展开各概念。

最基础的 API 对话调用

下面这段代码演示一次完整的对话请求，同时用到了 System Prompt、用户消息和温度三个概念。

输出结果：

回答：runoob（菜鸟教程）是一个提供编程教程的中文学习网站……
输入 Token 数：33
输出 Token 数：18

返回结构里的 usage 字段就是上文 Token 概念的落地：它告诉你这次调用消耗了多少 Token，也是计费的依据。

Prompt（提示词）

Prompt 是你输入给模型的指令或问题，直接决定模型输出的质量。

研究如何写出更清晰、更有效 Prompt 的技巧，叫做提示词工程（Prompt Engineering）。

常见手法包括：给出具体示例、要求分步骤思考、指定输出格式等。

System Prompt（系统提示词）

在用户正式输入之前，预先设定给模型的指令，用来定义模型的角色、行为规范、背景知识。

上文示例里的「你是一名专业的 Python 编程助手，只回答技术相关问题」就是典型的 System Prompt。

System Prompt 与用户消息的区别：System Prompt 设定「模型该怎么做」，用户消息提出「具体要做什么」。

把通用规范放进 System Prompt，能让多轮对话的回答风格保持一致。

温度（Temperature）

温度是控制模型输出随机性的参数，取值范围一般是 0 到 2。

温度越高，回答越「有创意」、越随机，也越容易出错；温度越低，回答越保守、越稳定。

上下文学习（In-Context Learning）

不需要对模型做任何微调，只要在 Prompt 里提供几个示例，模型就能「照猫画虎」完成新的类似任务。

这是 Prompt Engineering 中最常用的技巧之一，也叫 Few-shot Learning（少样本学习）。

思维链（Chain-of-Thought, CoT）

引导模型把复杂问题拆解成一步步的推理过程，再给出最终答案，而不是直接跳到结论。

实践证明，这种方式能显著提升模型在数学、逻辑推理等复杂任务上的准确率。

最简单的做法是在 Prompt 中加一句「请一步步思考」。

幻觉（Hallucination）

幻觉指模型生成看似合理、语言流畅，但实际上错误或凭空编造的内容。

这是 LLM 目前普遍存在的缺陷，原因是模型本质上在「续写最可能的文字」，而不是「查证事实」。

缓解幻觉的核心手段之一就是下文的 RAG：先检索真实资料，再让模型基于资料作答。

让模型连接外部世界

单纯的 LLM 只能依赖训练时学到的知识回答问题，既不知道最新信息，也无法主动做事。

本节这些技术，就是解决这两个短板的关键。

Embedding（嵌入）

Embedding 把文字、图片等内容转换成一串数字（向量）。

转换后，计算机就能通过计算向量之间的距离，判断两段内容在「语义」上是否相似。

这是搜索、推荐、RAG 等应用的底层基础。

向量数据库

向量数据库专门用来存储和检索 Embedding 向量，比如 Pinecone、Milvus、Chroma。

它能在海量向量中快速找到与查询语义最相似的内容，是构建 RAG 系统必不可少的组件。

RAG（检索增强生成）

RAG 全称 Retrieval-Augmented Generation。

它的工作流程是：先把外部知识库转成向量存进向量数据库；用户提问时检索出最相关的内容；再把检索结果连同问题交给模型生成答案。

RAG 能有效缓解幻觉，并让模型回答训练数据之外的新知识。

下面是一个不依赖外部向量库、用 OpenAI Embedding 加 numpy 实现的最小 RAG 示例，方便理解原理：

输出结果：

检索到的资料：runoob 是一个提供编程教程的中文学习网站。
回答：runoob（菜鸟教程）是一个提供编程教程的中文学习网站。

真实项目里，只需把第三步的「内存里算相似度」换成「调用向量数据库检索」，流程完全一致。

Function Calling（函数调用）

Function Calling 让大模型能够调用外部工具或 API 来完成任务，比如查询实时天气、执行数学计算、查数据库、发送邮件。

它弥补了模型「只能生成文字、不能执行动作」的缺陷，是大模型从聊天机器人进化为实用工具的关键一步。

它的运作方式是两轮交互：第一轮模型决定要调用哪个函数、传什么参数；你的代码真正执行函数后，第二轮把结果回传，让模型生成自然语言回答。

输出结果：

工具执行结果：杭州 今天晴，气温 28°C
最终回答：杭州今天是晴天，气温大约 28°C，适合外出活动。

MCP（模型上下文协议）

MCP 全称 Model Context Protocol，是一种让大模型标准化连接外部工具和数据源的开放协议。

可以把它类比为「AI 领域的 USB 接口」：不同的工具和数据源只要遵循这个协议，就能被各种支持 MCP 的大模型统一调用。

它解决的是 Function Calling 时代「每接一个工具都要重复对接」的问题，减少了开发工作量。

Agent（智能体）

Agent 是基于大模型构建的、能自主规划任务、调用工具、执行多步骤操作的系统。

相比一问一答的对话，Agent 更像一个能独立完成复杂任务的「数字员工」，比如自动跑通「查资料 → 写代码 → 测试 → 修复 bug」整套流程。

它依赖的核心循环是 ReAct（Reason + Act）：思考下一步、调用工具、观察结果、再思考，直到任务完成。

多模态（Multimodal）

多模态指模型能同时理解和/或生成多种类型的数据，不局限于文本，还包括图像、音频、视频。

现在很多主流大模型都已经具备读图、分析图表等多模态能力。

让模型运行得更快、更省

模型能力越强，往往意味着体积越大、运行成本越高。

下面两个概念，就是为了让模型在实际部署时更轻量、更高效。

量化（Quantization）

量化把模型参数从高精度（比如 32 位浮点数）压缩到低精度（比如 8 位或 4 位整数）。

它能大幅减少模型占用的显存、提升推理速度，代价是精度有一定损失，但很多场景下可以接受。

模型蒸馏（Model Distillation）

蒸馏用一个能力强但体积大的「教师模型」的输出，去训练一个体积更小的「学生模型」。

目的是让小模型尽量学到大模型的能力，蒸馏后的模型体积更小、推理更快、部署成本更低。

初学者学习路径

对初学开发者来说，不需要一次性吃透所有概念。

建议按照下面的顺序循序渐进，会比零散记概念更容易建立完整体系。

每个概念都不必死记定义，动手跑一遍本文的代码示例，理解会深得多。

核心术语速查表

把全文出现的关键术语汇总成一张表，按「所属环节」分组，方便随时查阅回顾。