关于训练集设置的一些疑问 #31
-
|
最近尝试了一下把一些Mortal自我对抗的牌谱加入到训练集中，结果发现loss函数不正常地减少（直接减半），而且实战能力在统计数据上有很明显的退步（经过400万局训练后的5万场对局 avg_pt小于-1）。不清楚是不是设置上出了什么问题？ |
Beta Was this translation helpful? Give feedback.
Replies: 2 comments 6 replies
-
|
如果训练集是当前模型自己产生的，那么 loss 大幅降低是很正常的。 |
Beta Was this translation helpful? Give feedback.
-
|
之前的回答蕴含了很多假设，这里把情况确认清楚一下。首先确认一下是在做 online training 吗？即 control.online 这个配置。从描述上看似乎不是的样子。 |
Beta Was this translation helpful? Give feedback.
-
训练是offline的，使用的设置基本上也按照config.toml.default，没有经过修改 |
Beta Was this translation helpful? Give feedback.
-
|
那我之前的回答确实也没错，而且情况应该是 CQL loss 和 DQN loss 全都降了吧？这个放到传统机器学习的分类任务里的话可以类比成，label 全都是由模型自己产生的了，那 loss 肯定骤降的。 只不过这里的问题是这个做法到底是否合理。我觉得很不合理，自己产生数据去训练，这是个 online training 的过程，不再适用 offline 的方法(比如 CQL)，因为 offline 方法是没有任何 explore 的要素的。这里强行用 offline 方法做 online training，后果就是模型会在 exploit 中越陷越深，实际不会有进步。 |
Beta Was this translation helpful? Give feedback.
-
|
感谢回答。之前尝试online的时候遇到一些困难所以想通过这种方法绕开，没想到这里面有这么大区别。 |
Beta Was this translation helpful? Give feedback.
-
想请教下offline训GRP和DQN分别需要多少数据，训多少step呀 |
Beta Was this translation helpful? Give feedback.
-
|
你好，可以分享下数据和训练的方法么，有偿 |
Beta Was this translation helpful? Give feedback.
如果训练集是当前模型自己产生的，那么 loss 大幅降低是很正常的。