模型微调心得和踩坑指南

·

模型微调 · LoRA

做了多个项目的模型微调后,发现数据质量往往比模型和算法选择更重要,脏数据会直接拖垮微调效果。

LoRA / QLoRA 的取舍

显存充裕时优先 LoRA,追求效果稳定;显存紧张则用 QLoRA 换取可行性。评测环节要提前设计好离线指标,避免上线后才发现效果回退。