Model Checkpoint Sharing

[chunhuizng]

Could you share the model checkpoints? Thanks!

您好，这个repo的效果真很惊艳，GRPO比原设定的Reinforce还要好，学习了！

想问一下能否在huggingface上分享一下ckpt嘛？

非常感谢，ღ( ´･ᴗ･` )比心

[Cynthiaaa-peng]

你好可以问一下你这边跑这个repo用的GPU和CPU的内存大概是多大吗因为我运行起来总是报内存不够的错误，想请教一下 @chunhuizng

[chunhuizng]

你好可以问一下你这边跑这个repo用的GPU和CPU的内存大概是多大吗因为我运行起来总是报内存不够的错误，想请教一下 @chunhuizng

4*A6000 40GB就能训练非常早期的3ppl的reasoner了

[Cynthiaaa-peng]

明白，然后还想问一下您这个配置跑这个仓库的run_logicRL_4gpus_phase1.sh也是没有任何问题的是吗~ @chunhuizng

[Tim-Siu]

Could you share the model checkpoints? Thanks!

您好，这个repo的效果真很惊艳，GRPO比原设定的Reinforce还要好，学习了！

想问一下能否在huggingface上分享一下ckpt嘛？

非常感谢，ღ( ´･ᴗ･` )比心

您好，在 #4 这个issue里我有给上传到modelscope上的checkpoint

[Tim-Siu]

明白，然后还想问一下您这个配置跑这个仓库的run_logicRL_4gpus_phase1.sh也是没有任何问题的是吗~ @chunhuizng

我觉得主要是要调ppo_max_token_len_per_gpu. 因为这些实验的response length都不到2000，理论上4卡A6000是够的。

也可以看看具体报错，是在rollout阶段还是policy gradient更新阶段显存不够了。