padding token的attention与loss计算问题

[Jaasssoooonnnnn]

Hello, 我发现现在代码里padding tokens并没有被屏蔽，而是参与了attention和loss的计算的。这似乎与主流做法不同，是刻意为之还是bug？

[Jaasssoooonnnnn]

修改代码关掉对padding的attention和loss SFT后performance反而变差了

[utdawn]

在LLaDA2.0的Block Diffusion中，我们采用EOS token参与计算的方式，以增强模型对EOS token的学习。