- 多目标/多任务建模
- 1. 背景
- 2. 多任务多目标技术方案
- 3. 多任务多目标网络结构
- 3.1 Shared-Bottom
- 业界实践
- 3.2 多任务之间缓解负迁移
- 3.2.1 MMoE
- 3.2.2 SNR
- 3.2.3 MOSE
- 3.2.4 PLE
- 3.2.5 STAR
- 3.2.5.1 Partitioned Normalization(PN)
- 3.2.5.2 Auxiliary Network
- 3.2.6 LHUC
- 3.3 多任务之间的逻辑依赖关系
- 3.3.1 ESMM
- 3.3.2 ESM2
- 3.3.3. DBMTL
- 3.3.4. EHCF
- 3.3.5. GMSL
- 4. 多目标多任务的优化策略
- 4.1 Magnitude
- 4.1.1 UncertaintyWeight
- 4.1.2 GradNorm
- 4.2 Velocity
- 4.2.1 DWA
- 4.3 Direction
- 4.3.1 DTP
- 4.3.2 PE-LTR
- 4.3.3 PCGrad
- 4.3.4 GradVac
- 参考
多目标/多任务建模
多目标/多任务建模
2024年4月7日修改
1.
背景
在NLP、CV、搜推广等场景下,经常面临着多个指标全都要的问题,而通常多个目标会存在冲突性。譬如,在电商搜索中,既要提高点击率又要增加转化率;视频推荐中,既要点击率又要完播率。
附件不支持打印
加载失败,
如何有效地平衡多种指标,使其同时得到提升,就是多任务多目标需要研究的问题。
•
Multi-Task Learning:多任务学习建模多个任务之间的关联关系,任务输入可以是不同的feature/sample,如BERT的MLM预训练任务与NSP任务,两个任务先后训练,输入是不同的feature和sample。这是Multi-Input & Multi-Output (MIMO) 的类型,常用的训练模式是pre-train+finetuning 和 多任务co-train交替训练。
•
Multi-Label Learning:还有一种是Single-Input & Multi-Output (SIMO) ,就是非常常见的Multi-Label Learning,建模相同feature、相同Sample上多个label之间的关系。也常称之为多目标Multi-Objective。如CV领域中,对同一image,可以同时对semantic classification,depth regression,instance regression等诸多经典任务目标共同学习。CTR领域,对同一输入样本同时预估点击率、转化率多个目标。常用的训练模式是Joint-train的模式。本文后面称的多任务多目标学习,默认是这种建模方式。
附件不支持打印
加载失败,