中文名稱：低秩適應 英文名稱：Low-rank Adaptation
📌 定義（Definition）
一種參數高效微調 PEFT 的方法，僅調整少量參數，提升效率且避免災難性遺忘。 LoRA是一種用來微調大型語言模型（LLM）或深度學習模型的技術，其核心概念是：不直接修改原始模型權重，而是額外加入小型低秩矩陣來學習新任務。這樣可以在保持原模型不變的情況下，用極少的參數完成模型調整。
⭐原理與技術
在傳統微調（Fine-tuning）中，需要更新整個模型的權重，對於數十億參數的大模型來說成本非常高。LoRA 的做法是將權重更新矩陣分解為兩個較小的低秩矩陣（low-rank matrices），只訓練這些新增矩陣，而原模型權重保持凍結，因此大幅降低訓練參數量與 GPU 記憶體需求。
LoRA 的主要優點包括：訓練成本低、記憶體需求小、可以快速切換不同任務模型，因此常被用於 LLM 的任務客製化，例如聊天模型調整、特定領域知識微調或風格調整。