详解两者的区别 线性回归和非线性回归的区别

序曲

浣溪沙·咏橘

【送】苏轼

菊暗荷枯一夜霜。新苞绿叶照林光。竹篱茅舍出青黄。

香雾噀人惊半破，清泉流齿怯初尝。吴姬三日手犹香。

【译文】

一夜霜冻过后，菊花凋残，荷叶枯萎，经霜变黄的橘子和绿叶相映衬，光亮照眼，竹篱茅舍掩映在青黄相间的橘林之间。

破开橘皮，芳香的油腺如雾般喷溅；初尝新橘，汁水在齿舌间如泉般流淌。吴地女子的手剥橘后三日还有香味。

【释义】

物诗词，义兼比兴，讲求气象，自然容易受到好评。苏轼是咏物能手，他的诗词中既有托讽深远的名篇，也有刻画精工的妙制，像这首咏橘词，可谓“写气图貌，既随物以宛转；属采附声，亦与心而徘徊”（《文心雕龙·物色》），巧言切状，体物细微，虽无深刻的思想内容，却饱有余味。

作者借咏橘之题材以抒发自己清新高洁之性情。上片借写菊与荷经受不住寒霜的摧残，写出橘树耐寒的品性和它在尾前屋后生长的繁盛景况。下片写出品尝新橘的情状和橘果的清香，一个‘“惊”字，一个“怯”字，用得十分巧妙精当，颇能传出品尝者的神态，结句更以“三日手犹香”来夸张、突出橘果之香。

非线性回归简介

非线性回归是指在因变量与一系列自变量之间建立非线性模型。线性与非线性并不是说因变量与自变量间是直线或曲线关系，而是说因变量是否能用自变量的线性组合来表示。如果经过变量转换，两个变量可以用线性来表达去关系，那么可以用之前章节中介绍的方法进行拟合回归方程。但经过变量变化后，两个变量关系仍然不能用线性形式来表达，则就会用到本节介绍的非线性回归分析方法。

非线性回归模型一般可以表示为：

其中：f(x, θ)为期望函数。该模型结构和线性回归函数非常相似，所不同的是期望函数可能为任意形式，甚至在有的情况下没有显式关系式，回归方程中的参数估计是通过迭代方法获得的。

SPSS采用两种迭代方法：Levenberg-Marquardt法和序列二次规划法。

• Levenberg-Marquardt法又叫做阻尼最小二乘法，是对Gauss-Newton法的改进。它有一个阻尼因子λ，用λ可以控制搜索步长和方向。当λ=0时，即为Gauss-Newton法；当λ–∞，趋于零向量，即为最速下降法。Levenberg-Marquardt法的优势在于对影响Gausss-Newton法有效性的病态二次项，也可以通过阻尼因子来控制。
• 序列二次规划法主要思路是：形成基于拉格朗日函数二次近似的二次规划子问题，而这些问题可以用任意一种二次规划算法求解，求得的解用来形成新的迭代公式，作为下一次搜索的依据。用序列二次回归算法求解非线性有约束问题时的迭代次数常比求解无约束问题时少，因为在搜索区域内，序列二次规划算法可以获得最大的搜索步长和方向信息。

SPSS实现非线性回归

示例：医院管理人员欲建立一个回归模型，对重伤病人出院后的长期恢复情况进行预测。自变量为病人住院天数（x），因变量为病人出院后长期回复的预后指数（y），指数取值越大表示预后结果越好。

1. 绘制散点图

(1) 打开 图形—旧对话框—散点图 绘制散点图

• 对两个变量可尝试拟合指数曲线 ，对应变量y做自然对数变化，得到y‘=lny。观察y’与x的散点图（如下图所示），y‘与x呈直线趋势。

• 注意：如果用最小二乘法拟合y’与x的执行回归方程 y‘=b0+b1x，之后再将结果带回，那么得到的方差不能保证残差平方和最小，因为此时回归方程y’=b0+b1x只保证了最小。非线性回归方程中的迭代算法得到方程，可以保存残差平方和最小。

1. 打开 分析—回归—曲线估算

(1) 参数选择

a. 主页面说明

• 因变量：进入非线性回归模型的因变量，因变量是数值型的，如果为分类变量，则分析前应进行转换
• 模型表达式：输入的模型至少应包含一个自变量
• 函数：给出了各种可能用到的数学函数

（2）“参数”页面

• 进行迭代计算来确定模型参数，首先必须给定参数的处置，在参数子对话框内指定模型参数的处置。
• 名称：指定参数的名称，必须是合法的，并且是模型表达式中使用的名称
• 开始值：指定参数的处置，初值越接近最终确定的参数真值越好。所有参数都需要指定初值，不合适的初值会导致迭代不收敛或建立的模型只对部分数据有效。将前次计算的参数结果作为当前初值，可增加计算的精度。
• 使用上一分析的开始值：是否将以前进行的非线性回归分析获得的参数值作为初始值，若选中该项，它将取代事先指定的初始值。该选项在后面的分析中一直起作用，所以当变换模型时，务必不要忘记取消该选项。

（3）“损失”页面

• 残差平方和：以残差平方和为损失函数，此时拟合的就是最小二乘法。
• 用户定义的损失函数：可以从左侧备选变量框中选择，如Resid_**2，表示的就是最小二乘法。

（4）“约束”页面

• 未约束：不对参数进行约束
• 定义参数约束：定义参数约束表达式，可以是等式、不等式

（5）“保存”页面

• 预测值：保存与测试
• 残差：保存残差
• 导数：保存导数
• 损失函数值：保存损失函数的值

（6）“选项”页面：用于设置与分析方法有关的选项

1. 结果输出与解释：

（1）迭代历史记录

• 下表中给出了每一个迭代步骤中各次的残差、参数计算值。迭代经过8次模型计算和4次求导计算后终止，两次相邻计算的残差平方和的差值几乎等于1.00E-008。

（2）模型比较

• 图A给出了参数估计值、渐近标准差和渐近95%置信区间。参数 a 的估计值为4.071，参数 b 的估计值为 -0.040,。两者的95%置信区间均不包括0，表明参数a和参数b均有统计学意义。
• 图B给出了参数a和参数b相关系数，为 -0.707。

（3）模型检验结果

• 下图包括回归项、残差项、没有校正和校正后总的自由度、平方和和均方的大小。
• 从红色框中可看出，决定系数 R2=0.987，表明所得回归模型拟合效果很好。

（4）回归方程

• 本次非线性回归方程为：

1. 语法

******************** 非线性回归 ******************.
* 非线性回归.
MODEL PROGRAM a=4 b=-0.04.
COMPUTE PRED_=EXP(a+b*x).
NLR y
/OUTFILE='C:UsersADMINI~1AppDataLocalTempspss7912SPSSFNLR.TMP'
/PRED PRED_
/CRITERIA SSCONVERGENCE 1E-8 PCON 1E-8.