微调-码农街 - ZenCoderWu

码农街 - ZenCoderWu 博主等级

行动起来，活在当下

累计撰写 57 篇文章
累计创建 80 个标签
累计收到 1 条评论

目录CONTENT

以下是微调相关的文章

2025-08-12
如何使用loss曲线判断机器学习性能？在机器学习和深度学习中，loss曲线（损失函数随训练过程的变化曲线）是一个非常重要的诊断工具。它不仅能告诉你模型的拟合程度，还能帮助发现训练中出现的欠拟合、过拟合、学习率不合适等问题。 1. 要画哪些曲线通常我们会同时绘制：训练集损失（train loss）验证集损失（validation
- 2025-08-12
- 23
- 0
- 0
- 技术分享
- AI大数据
2025-08-12
大模型微调中的学习率到底什么？怎么设置？学习率（Learning Rate, LR）是深度学习里最关键的超参数之一，在大模型微调（fine-tuning）中它基本决定了模型参数更新的“步长”——每次梯度下降的时候，参数会沿着梯度方向走多远。你可以把它理解成：学习率大 → 模型学得快，但容易“迈太大步摔跟头”，甚至直接跳过最优点。学习
- 2025-08-12
- 84
- 0
- 0
- AI大数据
- 技术分享
2025-08-08
llamafactory 中 Freeze vision tower 和 Freeze multi-modal projector 参数配置在 LLaMA-Factory 微调多模态模型（比如 LLaVA 系列）时， Freeze vision tower 和 Freeze multi-modal projector 这两个参数控制的是视觉部分的哪些模块会被更新，直接影响训练速度、显存占用以及模型的微调效果。我给你拆开解释一下它们分别
- 2025-08-08
- 142
- 0
- 0
- AI大数据
- 技术分享
2025-08-08
大模型微调最终loss一般值为多少？在大模型微调过程中，最终的Loss值并没有一个统一的“标准答案”，其合理范围高度依赖于任务类型、数据分布、模型架构以及评估指标。以下是关键分析指南： 1. 不同任务的典型Loss参考范围
- 2025-08-08
- 102
- 0
- 0
- AI大数据
- 技术分享