有时我看到一些论文中对超参数进行的搜索范围是 0.001、0.003、0.006、0.01 等等。许多超参数更适合用负整数 log2 来表示。像学习率这样的较小值直接使用,而接近 1 的值,如 EMA 因子和 TD lambda / gamma 则用 1-2**val 来表示。 有趣的是,许多参数对加倍或减半相对不敏感,需要更大的变化才能可靠地影响结果。