AIC(Akaike Information Criterion),被称为赤池信息量准则,是一种经常被用来评估拟合模型的好坏程度的统计指标。它是由赤池弘次于1974年提出的。
AIC的基本原理是用模型来拟合数据,并且在仅有有限信息的情况下,利用2倍负对数似然值(模型对实际观测数据的拟合程度)来解决模型选择问题。
AIC 可以用来度量拟合效果,从中选择出拟合效果较好的模型。在同时估计几个可能的模型,应选择AIC值最小的模型。这被称为「AIC准则」。AIC值提供了一种关于统计学建模某种特定数据集的方式来度量复杂性的好方法。
如果我们的数据中,使用复杂的模型即可获得很好的拟合效果,同时仅用简单的模型就可以获得一样的好拟合效果,那么就应该选用具有较少参数的简单模型,因为简单模型可以更好地概括数据的特征,同时也具有更好的泛化能力,使得我们首先使用简单模型。
AIC是一种选择参数的准则,因此也可以应用于机器学习算法中的模型选择。
例如,在KNN算法中,进行不同的K值(K为最近邻的数据点数)训练,并使用测试集测量模型的AIC值。选择具有最低AIC值的K值作为模型的超参数。
在线性回归中,可以先用交叉验证的方式确定变量集和处理方式,并应用AIC来选择模型。在算法优化中,AIC可以用来比较利用不同优化算法生成的模型的效果。
在模型选择、算法优化等领域,AIC是一种常用的统计学准则。它不仅给出了一种度量模型复杂度和拟合效果的方法,而且可以用来选择合适的参数,优化模型和算法。
通过使用AIC,我们可以避免模型的过度拟合和欠拟合,并且能够选择最佳的模型和参数达到最佳的效果。