模型微调心得和踩坑指南
·
模型微调 · LoRA
做了多个项目的模型微调后,发现数据质量往往比模型和算法选择更重要,脏数据会直接拖垮微调效果。
LoRA / QLoRA 的取舍
显存充裕时优先 LoRA,追求效果稳定;显存紧张则用 QLoRA 换取可行性。评测环节要提前设计好离线指标,避免上线后才发现效果回退。
·
模型微调 · LoRA
做了多个项目的模型微调后,发现数据质量往往比模型和算法选择更重要,脏数据会直接拖垮微调效果。
显存充裕时优先 LoRA,追求效果稳定;显存紧张则用 QLoRA 换取可行性。评测环节要提前设计好离线指标,避免上线后才发现效果回退。