在大模型(LLM)的微调(Fine-tuning)领域,目前的方案主要可以从参数更新范围(全量 vs. 高效)和训练目标/阶段(指令微调 vs. 对齐)两个维度来分类。 以下是目前业界最常用的微调方案详解: --- 一、 基于参数更新范围的分类 这是最核心的技术分类,决定了你需要多少显存(VRAM)和算力。 1. 全量微调 (Full Fine-Tuning, FFT) 原理:对模型的所有参数(权重)进行更新。 特点: 优点:理论上效果上限最高,能让模型最彻底地适应新领域(如从通用领域转到极度垂直的医学或法律领域)。 缺点:资源消耗极大(通常需要 4-8 倍模型权重的显存),训练速度慢,且容易出现“灾难性遗忘”(Catastrophic Forgetting),即模型忘了原本通用的能力。 适用场景:拥有海量算力(H100/A100集群),且数据量巨大、领域跨度极大的情况。 2. 参数高效微调 (PEFT, Parameter-Efficient Fine-Tuning) 这是目前最主流的方案,旨在冻结大部分模型参数,仅更新极少量的参数,从而大幅降低显存需求。 LoRA (Low-...