您现在的位置是：首页 >技术杂谈 >Adapter Tuning：详细解读Parameter-Efficient Transfer Learning for NLP网站首页技术杂谈

Adapter Tuning：详细解读Parameter-Efficient Transfer Learning for NLP

沉迷单车的追风少年 2024-08-10 12:01:02
简介Adapter Tuning：详细解读Parameter-Efficient Transfer Learning for NLP

Diffusion Models专栏文章汇总：入门与实战

前言：大语言模型实在是太火了，各种技术日新月异，研究diffusion models的从LLMs中找一些研究灵感已经是基操了。当模型比较小的时候，微调全部参数还是可以的。但是现在的大预训练模型时代，微调所有参数不仅效果堪忧，对资源的消耗也非常恐怖，所以这就是做有效微调的初衷。为了研究清楚如何进行有效的大模型微调，我打算沿着Adapter Tuning——Prefix Tuning——Prompt Tuning——P-Tuning——lora的路线详细讲解一下，希望可以对做diffusion models的同学有所启发。

方法详解

Adapter结构

Adapter模块有两个主要特点：参数数量少，以及近乎相同的初始化。 与原始网络的层相比，适配器模块需要很小。 这意味着当添加更多任务时，总模型大小增长相对缓慢。

风语者！平时喜欢研究各种技术，目前在从事后端开发工作，热爱生活、热爱工作。

站长推荐