您好,非常感谢您开源 OSGNet 代码和预处理数据!!!
我在使用 GoalStep 数据集进行训练时,遇到了一些关于 label 字段和 object feature 的疑问:
在 ego4d_multitask_loader.py 的注释里看到有提到:# narration 没有物体特征 ——> 可以理解为GoalStep 的 jsonl 文件里本身就没有 label 字段嘛?
在代码中,object feature 的相关函数(eg. _get_object_class_feat)需要依赖 video_item['label']。但在 GoalStep 数据集中,这个字段是缺失的,导致如果启用 object_feat 分支就会报错。
我的疑问是:
①在训练 GoalStep 时,是否本来就不启用 object_feat 分支?
②也就是说,GoalStep 的训练流程是不是应该只依赖 video feature + query feature + lavila caption / shot 分支,而 object feature 在这个任务中默认是关闭的?
我现在的做法是把 config 里相关参数(object_feat_dir、classname_feat_dir 等)设为 null,训练可以正常运行,但不确定这样是否符合您的原始设计。
想确认一下,这样理解是否正确?还是我遗漏了某些数据或处理步骤?
非常感谢!谢谢您!!!
您好,非常感谢您开源 OSGNet 代码和预处理数据!!!
我在使用 GoalStep 数据集进行训练时,遇到了一些关于 label 字段和 object feature 的疑问:
在 ego4d_multitask_loader.py 的注释里看到有提到:# narration 没有物体特征 ——> 可以理解为GoalStep 的 jsonl 文件里本身就没有 label 字段嘛?
在代码中,object feature 的相关函数(eg. _get_object_class_feat)需要依赖 video_item['label']。但在 GoalStep 数据集中,这个字段是缺失的,导致如果启用 object_feat 分支就会报错。
我的疑问是:
①在训练 GoalStep 时,是否本来就不启用 object_feat 分支?
②也就是说,GoalStep 的训练流程是不是应该只依赖 video feature + query feature + lavila caption / shot 分支,而 object feature 在这个任务中默认是关闭的?
我现在的做法是把 config 里相关参数(object_feat_dir、classname_feat_dir 等)设为 null,训练可以正常运行,但不确定这样是否符合您的原始设计。
想确认一下,这样理解是否正确?还是我遗漏了某些数据或处理步骤?
非常感谢!谢谢您!!!