一个基于 Lit-LLaMA 和 nanoGPT 实现,支持 LLaMa 2、Mistral 7B、Mixtral 8x7B 等模型的微调。
支持闪存注意力,Int8和GPTQ 4bit量化,LoRA和LLaMA-Adapter微调,预训练等功能。
相关导航
暂无评论...
一个基于 Lit-LLaMA 和 nanoGPT 实现,支持 LLaMa 2、Mistral 7B、Mixtral 8x7B 等模型的微调。
支持闪存注意力,Int8和GPTQ 4bit量化,LoRA和LLaMA-Adapter微调,预训练等功能。