原理图

原理：不改变原始大模型参数，只加入一个类似残差分支，先降纬再升纬，因为模型是过参数化的，它们有更小的内在维度，模型主要依赖于这个低的内在维度（low intrinsic dimension）去做任务适配。
优势：Lora的训练参数更少。

代码

https://www.jiqizhixin.com/articles/2024-03-20
https://www.zhihu.com/tardis/zm/art/623543497?source_id=1003