Skip to content

关于Ego4D-NLQ v1 的权重与维度 #14

@97winwins

Description

@97winwins

你好,感谢开源!我在复现 v1 时遇到预训练权重维度不匹配的问题,想确认您的训练设定。

我使用的配置是:
configs/Ego4D-NLQ/v1/ego4d_nlq_v1_multitask_egovlp_256_finetune_2e-4.yaml
video_feat_dir 指向 egovlp_lmdb(512 维特征)。

我尝试加载的预训练权重是您提供的:model_7_pretrain.pth.tar

但是加载时报错,提示 checkpoint 的 video_encoder 输入是 2304 维(如 [512, 2304, 3]),而当前模型是 [512, 512, 3]。
所以想请教:

  1. v1 是从头训练的吗?还是从model_7_pretrain.pth.tar resume?抑或是是使用了与 egovlp 维度匹配的预训练权重?
  2. 如果不是从头训练,能否提供 v1 对应的预训练权重或配置(特征维度)?

谢谢!

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions