FAQ

TIP

遇到问题时，可以逐步尝试以下方法，并检查是否解决：

• 拉取最新代码，并更新环境 uv pip install --group main -e . 。

• 检查模型是否下载完整，重新执行模型下载指令。

• Issues： 查看 WeClone GitHub 仓库的 Issues 和 Discussions 是否有类似问题。

• 使用 DeepWiki 直接与源码对话。

另外,可参考本页面常见问题。
如果问题没有解决，请在Issues中提出。

设备显存不够/Out-of-memory怎么办？

• 调整训练参数
  1. 降低批处理大小 per_device_train_batch_size: 1
  2. 降低最大序列长度 cutoff_len: 512
  3. 替换模型算子 enable_liger_kernel: true 和 use_unsloth_gc: true
  4. 使用 DeepSpeed ZeRO-3 或 FSDP 将模型权重拆分到多个设备或使用 CPU Offloading
  5. 使用量化后的模型微调（权重无法合并到原模型中）
  6. 设置 quantization_bit: 4 量化模型参数（仅限于 LoRA 方法）
• 可以先租用在线云平台的GPU进行微调，再将微调后的model_output文件夹下载到本地，在本地部署推理。
• 多模态模型减少image_max_pixels和max_image_num。

---

微调后效果不理想怎么办？

• 使用更大参数规模的模型、更多的聊天记录数据来进行微调。
  • 7B模型一般效果很差，14B勉强及格，32B效果较好。
• 使用多模态模型来微调，减少数据集cut的次数。
• 启用数据清洗。

---

LLaMA-Factory微调相关问题：

• 
• LLaMA-Factory| FAQs | 常见问题

聊天记录CSV文件打开乱码

不要使用Excel打开，使用IDE例如vscode打开。

Windows环境问题

• train_sft_args 中设置"dataloader_num_workers": 0 参数，来解决Windows环境下 Can't pickle local object 的问题。