损失系数

[jipeicao]

作者您好，祝贺论文发表。
在论文中$l_{per}$的系数设置的是0.3，在代码中设置的是0.7。若需严格复现论文中的实验结果，是否需要将代码中的0.7修改为论文指定的0.3？

[PepperCS]

你好，感谢关注，以论文为主，代码做了多组消融实验，最后上传的代码版本为最后做消融实验后的版本，存在小差错，感谢指出，后续将会补充修改代码，谢谢！

[wahahaha99999]

您好，您的这篇很有研究意义，我仔细审查了下代码，是不是代码中还有其他参数没有改过来，像优化器、注意力头数损失系数，对代码中注释掉的代码对训练是否起到重要作用，这点希望您能告知下或更新下正确的代码！

[PepperCS]

您好，感谢您的认可。实验中调节的参数较少，所有实验设置请以论文为准，相关参数均在超参数实验中有所说明。这些参数并不影响PQGNet再次取得良好效果，您也可以在此基础上进一步进行改进。

[wahahaha99999]

我按照您论文要求将损失系数设为0.3，使用Adam优化器，并将那个注意力头调为2，transformer也是使用两层，NUAA可以跑到您论文中的值，但是在1k上只跑到67多，但是使用0.7系数，每个数据集上基本上都可以达到你论文中的值，而且每次训练的结果都是一样的这是为什么

[PepperCS]

感谢你的细致实验和反馈！由于每个人使用的 PyTorch 版本、CUDA 版本、硬件甚至随机种子都可能不同，这些因素都会影响数值计算的一致性和训练动态。即便代码完全相同，超参数（如损失系数）的最优取值也可能需要根据具体环境微调。NUAA 和 NUDT 相对稳定，而 IRSTD-1K 数据集通常更复杂，对超参数也更敏感。每次训练结果一致，是因为在相同实验条件下已经固定了随机数种子，以保证实验可复现。实验初期我也曾深受困扰，建议你可以先关注 NUAA 与 NUDT 上的实验结果，再进一步分析 1K 数据集的表现。

[wahahaha99999]

好的，谢谢，我再去尝试下

[jipeicao]

我按照您论文要求将损失系数设为0.3，使用Adam优化器，并将那个注意力头调为2，transformer也是使用两层，NUAA可以跑到您论文中的值，但是在1k上只跑到67多，但是使用0.7系数，每个数据集上基本上都可以达到你论文中的值，而且每次训练的结果都是一样的这是为什么

我把损失权重调整到0.3，在1k数据集的miou是0.679952，损失权重修改为0.7，在1k数据集跑到0.716777。如果使用PQGNet作为baseline的话，需要在论文里超参数的设置基础上做改进吗

[wahahaha99999]

你是说，将损失系数调整为0.7，其余参数保持和论文一样（即修改代码中的优化器为adam，head数为2），1k上能跑到71.76吗，其他两个数据集你能跑到多少，我就按代码仓库中的跑的，和论文上的值差不多

[jipeicao]

你是说，将损失系数调整为0.7，其余参数保持和论文一样（即修改代码中的优化器为adam，head数为2），1k上能跑到71.76吗，其他两个数据集你能跑到多少，我就按代码仓库中的跑的，和论文上的值差不多

其他数据集我还没跑，直接用默认代码（损失系数是0.7）（4090显卡），在1k数据集跑到71.67。但是同样的代码在5090上能跑到69.92。把损失系数调整为0.3，4090显卡的结果是69.99。总的来说模型的性能还是很好的。我在纠结是用默认代码作为baseline还是把超参数调整为论文里的作为baseline。此外，我还发现，论文表V关于num_heads的参数量和计算量，当num_heads=2时，参数量para=1.35,flops=9.93,表V中写的分别是1.18，9.89，这应该是num_heads=1时的参数量和计算量。

[wahahaha99999]

都可以吧 感觉 我在3090上跑的，测试了很多次，发现0.7作为损失系数好不少，直接使用默认代码，发现修改到论文参数，1k上效果没有那么好，但是也可以到69。可能真的像作者说的那样不同机器导致的差异吧

[jipeicao]

都可以吧 感觉 我在3090上跑的，测试了很多次，发现0.7作为损失系数好不少，直接使用默认代码，发现修改到论文参数，1k上效果没有那么好，但是也可以到69。可能真的像作者说的那样不同机器导致的差异吧

这个方向就是这样，数据集量少，还好设置了随机种子。