您现在的位置是：首页 >技术杂谈 >[NLP]理解大型语言模型高效微调(PEFT)网站首页技术杂谈

[NLP]理解大型语言模型高效微调(PEFT)

WayneZ~ 2023-07-18 12:00:02
简介[NLP]理解大型语言模型高效微调(PEFT)

Understanding Parameter-Efficient Finetuning of Large Language Models: From Prefix Tuning to LLaMA-Adapters (sebastianraschka.com)

Parameter-Efficient LLM Finetuning With Low-Rank Adaptation (LoRA) (sebastianraschka.com)

大模型参数高效微调(PEFT) - 知乎 (zhihu.com)

当前以 ChatGPT 为代表的预训练语言模型（PLM）规模变得越来越大，在消费级硬件上进行全量微调（Full Fine-Tuning）变得不可行。此外，为每个下游任务单独存储和部署微调模型变得非常昂贵，因为微调模型与原始预训练模型的大小相同。

风语者！平时喜欢研究各种技术，目前在从事后端开发工作，热爱生活、热爱工作。

站长推荐