模型参数与超参数的区别

机器学习中最容易混淆的两个术语是模型参数和超参数。在这篇文章中，我们将尝试理解这些术语的含义以及它们之间的不同之处。

什么是模型参数？

模型参数是所选模型的变量，可以通过将给定数据拟合到模型来估计。示例：在上图中，x 是自变量，y 是因变量。目标是为数据拟合回归线。然后使用这条线(模型)来预测未见过的 x 值的 y 值。这里，m 是斜率，c 是直线的截距。这两个参数(m 和 c)是通过最小化 RMSE(均方根误差)将一条直线拟合到数据来估计的。因此，这些参数称为模型参数。不同模型中的模型参数：

• 线性回归中的 m(斜率)和 c(截距)
• 神经网络中的权重和偏差

什么是模型超参数？

模型超参数是在模型开始训练之前设置其值的参数。它们不能通过将模型拟合到数据来学习。示例：在上图中，x 轴代表 epoch 的数量，y 轴代表 epoch 的数量。我们可以看到，当 epochs 超过这个时间点之后，虽然训练准确度提高了，但验证和测试准确度开始下降。这是一个过度捕捞的案例。这里的时期数是一个超参数，是手动设置的。将此数字设置为较小的值可能会导致欠拟合，而较高的值可能会导致过拟合。不同模型中的模型超参数：

• 梯度下降中的学习率
• 梯度下降中的迭代次数
• 神经网络中的层数
• 神经网络中每层的神经元数量
• k中的簇数(k)表示聚类

模型参数和超参数之间的差异表：

模型参数	超参数
模型参数是进行预测所必需的	超参数是估计模型参数所必需的
模型参数是通过优化算法(梯度下降、Adam、Adagrad)估计的。	超参数是通过超参数调整来估计的
模型参数不是手动设置	超参数是手动设置的
训练后找到的最终参数将决定模型在看不见的数据上的表现。	超参数的选择决定了训练的效率。在梯度下降中，学习率决定了优化过程在估计参数时的效率和准确性