多任务学习中各loss权重应该如何设计?
NLP从入门到放弃
共 2728字,需浏览 6分钟
· 2021-11-17
大家好,我是DASOU
在多任务中,通常是把各loss统一到一个数量级,请问这么做的原理是什么呢?
今天分享一个技术硬核文章,详细的聊聊多任务这点事;
个人感觉这是一个非常有意思的问题。之前在训练多任务神经网络的时候遇到过类似的问题,在我的问题中,损失函数有两项贡献,
model = Model([input_gen, input_id],
[output_d, output_id, output_f, output_b])
# define optimization algorithm configuration
opt = Adam(lr=0.0002, beta_1=0.5)
# compile model with weighting of least squares loss and L1 loss
model.compile(loss=['mse', 'mae', 'mae', 'mae'],
loss_weights=[1, 5, 10, 10],
optimizer=opt)
optimizers=[opt, opt, opt, opt]
评论
深度学习多目标优化的多个loss应该如何权衡
点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达作者丨马东什么@知乎(已授权)来源丨https://zhuanlan.zhihu.com/p/362330594编辑丨极市平台极市导读 本文介绍了一篇关于多任务学习的综述,详细介绍了文章中关于多任务学习的两个主要研究方向
小白学视觉
10