多目标/多任务建模

2024年4月7日修改
1.
背景
在NLP、CV、搜推广等场景下,经常面临着多个指标全都要的问题,而通常多个目标会存在冲突性。譬如,在电商搜索中,既要提高点击率又要增加转化率;视频推荐中,既要点击率又要完播率。
附件不支持打印

加载失败,

如何有效地平衡多种指标,使其同时得到提升,就是多任务多目标需要研究的问题。
Multi-Task Learning:多任务学习建模多个任务之间的关联关系,任务输入可以是不同的feature/sample,如BERT的MLM预训练任务与NSP任务,两个任务先后训练,输入是不同的feature和sample。这是Multi-Input & Multi-Output (MIMO) 的类型,常用的训练模式是pre-train+finetuning 和 多任务co-train交替训练。
Multi-Label Learning:还有一种是Single-Input & Multi-Output (SIMO) ,就是非常常见的Multi-Label Learning,建模相同feature、相同Sample上多个label之间的关系。也常称之为多目标Multi-Objective。如CV领域中,对同一image,可以同时对semantic classification,depth regression,instance regression等诸多经典任务目标共同学习。CTR领域,对同一输入样本同时预估点击率、转化率多个目标。常用的训练模式是Joint-train的模式。本文后面称的多任务多目标学习,默认是这种建模方式。
附件不支持打印

加载失败,