关于cl_dd_loss的疑问

[1293950361]

你好请问
cl_dd_loss = OurTrainer.compute_contrastive_loss( quant_doc_embeds + doc_embeds - doc_embeds.detach(), doc_embeds.detach(), gathered=False) # reconstruction
中+ doc_embeds - doc_embeds.detach()的作用是什么

[1293950361]

我在复现的时候发现把+ doc_embeds - doc_embeds.detach()去掉后好像训练曲线会更好一些

[sunnweiwei]

• doc_embeds - doc_embeds.detach()是为了把梯度传到doc_embeds

[colinzhaoxp]

Hi @1293950361，请问你复现的结果怎么样呢？