LLaMA Factory：高效的大模型微调框架
项目简介
LLaMA Factory 是一个专注于大语言模型高效微调的开源框架。它支持 LLaMA、Qwen、Mistral、ChatGLM 等几乎所有主流开源大模型的参数高效微调。通过封装 LoRA、QLoRA、AdaLoRA 等主流微调算法，使得用户无需深入了解底层实现即可对模型进行高效微调。
基本信息
| 项目 | 数据 |
|---|---|
| GitHub | https://github.com/hiyouga/LlamaFactory |
| Star 数 | 72,098 |
| 编程语言 | Python |
| 分类 | AI 框架 |
| 作者 | hiyouga |
| 创建时间 | 2023-05-28 |
| 最近更新 | 2026-06-10 |
功能介绍
核心功能
- 多种微调算法：内置 LoRA、QLoRA、AdaLoRA、DoRA 等 10+ 种参数高效微调方法
- 广泛模型支持：兼容 100+ 种主流开源模型，包括 LLaMA、Qwen、DeepSeek 等系列
- 统一训练接口：提供标准化的训练脚本和配置文件，简化微调流程
应用场景
- 领域模型定制：在医疗、法律、金融等垂直领域微调通用模型
- 指令微调优化：使用高质量指令数据集微调模型，提升对话和任务执行能力
- 低成本模型训练：在消费级 GPU 上即可完成模型微调，降低 AI 开发门槛
优势特点
- 极低学习成本：提供详细的配置模板，初学者也能快速上手
- 训练效率优化：通过梯度检查点、混合精度等技术大幅减少显存占用
- 完整实验管理：支持训练日志记录、模型断点续训和结果对比分析
数据来源： GitHub - https://github.com/hiyouga/LlamaFactory 发布时间： 2026-06-12 作者： hiyouga 原文链接： https://github.com/hiyouga/LlamaFactory