《LoRA》导读：用很小的代价微调大模型

它解决了什么

全量微调要更新模型的所有参数，显存和时间都按模型规模走。想给每个客户、每个任务各留一份微调模型，成本无法承受。

LoRA 的思路：原权重一个字都不动，在旁边挂一对小矩阵，只训练它们。

三个关键思想

1. 权重更新是低秩的。 论文假设微调带来的变化可以用两个小矩阵的乘积近似，参数量从 d×d 降到 d×r + r×d（r 远小于 d）。

2. 推理时可以合并。 训练完把两个小矩阵乘起来加回原权重，推理不增加任何延迟。

3. 一份底座，多份适配器。 不同任务各存一个小文件，切换时加载不同的适配器，底座共享。

读前需要知道

• 什么是微调：微调在做什么、什么时候值得做。
• 什么是参数：权重、参数量这些词的含义。
• 矩阵乘法与秩的基本概念。

重点章节与可跳过部分

• 第 3 节（方法）：低秩分解的公式与初始化，是全篇核心。
• 第 4 节（实验）：看 r 取不同值时效果如何变化，理解「小到什么程度还够用」。
• 第 5 节（与适配器对比）：解释它为什么比加层方案更适合大模型。
• 数学推导附录可以跳过，不影响工程判断。

影响

LoRA 及其量化版本成了开源模型微调的事实标准。它让「一个人在一张消费级显卡上微调一个像样的模型」成为常态。

论文没有解决的事：LoRA 擅长学行为与风格，不擅长灌入新知识；低秩假设在什么任务上不成立，仍要靠实验判断。