Skip to content

GoalStep数据集label疑问 #5

@97winwins

Description

@97winwins

您好,非常感谢您开源 OSGNet 代码和预处理数据!!!
我在使用 GoalStep 数据集进行训练时,遇到了一些关于 label 字段和 object feature 的疑问:
在 ego4d_multitask_loader.py 的注释里看到有提到:# narration 没有物体特征 ——> 可以理解为GoalStep 的 jsonl 文件里本身就没有 label 字段嘛?
在代码中,object feature 的相关函数(eg. _get_object_class_feat)需要依赖 video_item['label']。但在 GoalStep 数据集中,这个字段是缺失的,导致如果启用 object_feat 分支就会报错。
我的疑问是:
①在训练 GoalStep 时,是否本来就不启用 object_feat 分支?
②也就是说,GoalStep 的训练流程是不是应该只依赖 video feature + query feature + lavila caption / shot 分支,而 object feature 在这个任务中默认是关闭的?
我现在的做法是把 config 里相关参数(object_feat_dir、classname_feat_dir 等)设为 null,训练可以正常运行,但不确定这样是否符合您的原始设计。
想确认一下,这样理解是否正确?还是我遗漏了某些数据或处理步骤?
非常感谢!谢谢您!!!

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions