这里为您整理并汇总了一篇系统介绍大模型核心度量单位的文章，帮助您一文读懂这些常见的技术指标。
在接触和评估大语言模型（LLM）时，我们经常会遇到如“128K 上下文”、“8B 参数”、“FP16”、“INT4”等各种技术术语。对于非专业人士来说，这些单位和缩写可能会让人感到困惑。
为了帮助大家理清头绪，本文将大模型的常见度量单位划分为三个核心维度进行系统汇总：决定“记忆力”的上下文长度、决定“脑容量”的参数数量，以及决定“运行开销”的参数精度与存储空间。
维度一：决定“记忆力”的上下文长度（Context Length）
上下文长度决定了模型在一次对话中，能够“同时记住并理解”的最大文本范围（包含用户的输入、历史对话记录以及模型的输出）。
1. 技术标准单位：Token（K / M）
在模型内部，所有文本都会被切分成名为 Token（标记/词元） 的基本单位进行计算。
- K（Kilo，千）：代表 1,000 个 Token。例如，128K 上下文意味着模型单次对话最多能处理 128,000 个 Token。这是目前主流大模型（如 Llama 3、GPT-4 等）常见的上下文配置 [2]。
- M（Million，百万）：代表 1,000,000 个 Token。例如，1M 代表 100 万 Token，2M 代表 200 万 Token [1]。这通常出现在超长上下文模型中。
2. 用户直观单位：字数与单词数（Characters / Words）
由于 Token 较为抽象，在面向用户宣传时，通常会折算为具体的语言单位：
- 汉字（字）：通常 1 个 Token 约折合 0.6 至 0.8 个汉字。例如，1M Token 约等于 60万 至 80万 汉字。
- 英文单词（Words）：通常 1 个 Token 约折合 0.75 个英文单词。例如，128K Token 约等于 9.6万 个英文单词。
3. 形象对照单位：页数与书籍（Pages / Books）
为了给用户建立具体的画面感，业界常使用印刷品作为参照：
- 页数（Pages）：100K Token 约相当于 200 至 300 页的标准 A4 纸文档。
- 书籍部数（Books）：超长上下文模型常被描述为“能够一次性读完 2 本《红楼梦》”或“相当于 5 本标准中篇小说”。
4. 多模态与特定场景单位：时间、帧数与行数
随着多模态大模型和编程助手的普及，上下文单位也得到了延伸：
- 时长（Hours / Minutes）：用于语音和视频输入。例如，模型可以支持 1 小时视频 或 11 小时音频 的上下文 [1]。
- 帧数（Frames）：视频分析模型常以视频帧为单位，如支持输入 2000 帧图像。
- 代码行数（Lines）：代码助手常以“行”为单位，如支持分析 3万行至5万行代码。
维度二：决定“脑容量”的参数数量（Parameter Count）
参数（Parameters）是大模型在训练过程中学习到的“知识权重”。参数数量的多寡，直接决定了模型的理解能力、推理能力和知识储备上限。
1. 英文常用单位：M、B、T
- M（Million，百万）：$1\text{M} = 100$ 万。通常用于轻量级模型或特定领域的嵌入模型（Embedding Model）。例如，经典的 BERT 模型参数量在 $110\text{M} \sim 340\text{M}$ 之间。
- B（Billion，十亿）：$1\text{B} = 10$ 亿。这是目前大模型最主流的单位。例如：
- 7B / 8B（70亿/80亿参数）：适合在个人电脑或手机终端本地运行的轻量级大模型。
- 70B（700亿参数）：中等规格、能力较强的商用模型。
- 405B（4050亿参数）：超大规模的开源旗舰模型。
- T（Trillion，万亿）：$1\text{T} = 1$ 万亿（即 $1000\text{B}$）。用于描述极少数闭源的顶级多模态模型或混合专家（MoE）架构模型。
2. 中文习惯单位：亿、万亿
在中文技术交流中，通常会将英文单位直接折算：
- 1B 参数 = 10 亿参数（例如：7B 即 70亿参数）。
- 1T 参数 = 1 万亿参数。
维度三：决定“运行开销”的参数精度与存储空间（Precision & Storage）
参数不仅有数量，还需要在计算机硬件（如显卡 VRAM）中存储和计算。参数的精度决定了模型占用的硬盘和显存大小。
1. 精度单位：Bit（比特）与数据类型
- 32-bit (FP32，单精度浮点数)：每个参数占用 4 字节（Byte）空间。由于占用空间过大，极少在推理中直接使用。
- 16-bit (FP16 / BF16，半精度浮点数)：每个参数占用 2 字节（Byte）空间。这是当前大模型训练和默认推理的主流精度。
- 8-bit (INT8) / 4-bit (INT4)：量化（Quantization）精度。通过算法压缩参数，每个参数仅占用 1 字节（INT8）或 0.5 字节（INT4），主要用于降低显存占用，使模型能在消费级显卡或手机上运行。
2. 存储与显存单位：Byte / GB
参数量和精度结合，就可以计算出模型运行所需的物理显存大小：
- 核心换算规律（以主流 16-bit 精度为例）：
$$\text{每个参数} = 16 \text{ bits} = 2 \text{ Bytes (字节)}$$
即：1B（10亿）参数在 16-bit 精度下，大约需要占用 2 GB 的物理显存。 - 应用实例：
- 未量化状态下（BF16/FP16）：一个 7B 模型加载到显存里，至少需要 $7 \times 2 = 14\text{ GB}$ 的显存。
- 4-bit 量化状态下（INT4）：每个参数仅占 0.5 字节，该 7B 模型的体积和运行时所需的最低显存会缩减至 $7 \times 0.5 = 3.5\text{ GB}$ 左右。
综合实战：如何通过命名读懂一个大模型？
了解了以上单位后，当我们看到以下模型名称时，便能迅速读懂它的基本规格：
Llama-3-8B-Instruct-Q4（支持 128K 上下文）
- 8B：该模型拥有 80 亿参数（脑容量属于轻量级，适合本地部署）。
- Q4：采用了 4-bit 量化 精度（每个参数占 0.5 字节，运行该模型仅需约 $8 \times 0.5 = 4\text{ GB}$ 的显存，普通家用电脑或高端手机即可流畅运行）。
- 128K：其单次对话的最大上下文长度为 12.8 万个 Token（约合 8万 到 10万 汉字，可以一次性读完并理解一本中篇小说的内容） [2]。
转载请注明：学时网 » 读懂 AI 大模型：大模型核心度量单位详解
