操作系统

拟合函数（拟合函数类M中的基函数）

2023-05-02 操作系统本文链接

高中数学——导数中极值点偏移解题策略

1、泰勒展开

2、构造拟合函数

3、拐点偏移

极值点偏移问题中的拟合函数

高中数学创作者

极值点偏移问题中的拟合函数！！！

【Lasso回归和岭回归】

线性回归（linear regression），就是用线性函数 f(x)=w⊤x+b 去拟合一组数据 D={(x1,y1),(x2,y2),...,(xn,yn)} 并使得损失 J=1n∑ni=1(f(xi)−yi)2 最小。线性回归的目标就是找到一组 (w∗,b∗)，使得损失 J 最小。

线性回归的拟合函数（或 hypothesis）为：

f(x)=w⊤x+b (1)

cost function (mse) 为：

J=1n∑i=1n(f(xi)−yi)2=1n∑i=1n(w⊤xi+b−yi)2 (2)

Lasso 回归和岭回归（ridge regression）都是在标准线性回归的基础上修改 cost function。

Lasso 的全称为 least absolute shrinkage and selection operator，又译最小绝对值收敛和选择算子、套索算法。

Lasso 回归对式（2）加入 L1 正则化，其 cost function 如下：

J=1n∑i=1n(f(xi)−yi)2+λ∥w∥1(3)

岭回归对式（2）加入 L2 正则化，其 cost function 如下：

J=1n∑i=1n(f(xi)−yi)2+λ∥w∥22(4)

Lasso回归和岭回归的同和异：

相同：都可以用来解决标准线性回归的过拟合问题。

不同：

lasso 可以用来做 feature selection，而 ridge 不行。或者说，lasso 更容易使得权重变为 0，而 ridge 更容易使得权重接近 0。

从贝叶斯角度看，lasso（L1 正则）等价于参数 w 的先验概率分布满足拉普拉斯分布，而 ridge（L2 正则）等价于参数 w 的先验概率分布满足高斯分布。具体参考博客从贝叶斯角度深入理解正则化 -- Zxdon 。

也许会有个疑问，线性回归还会有过拟合问题？

加入 L1 或 L2 正则化，让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。

可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什幺影响，一种流行的说法是『抗扰动能力强』。

ai本来就不是连续函数啊，就是用海量分段函数来拟合//@老叫化1:全部说错，首先世界上很多东西并不是连续的，无法用单个函数，更不用说连续函数来描述，此外BP ，算法只会收敛到极值点而不是最值点，和实际不符，此外梯度爆炸，消失，神经元饿死，等问题实际导致bp算法失效，这些困扰大家多年使用各种魔法来解决比如BN，shortcut都没有真正治本.现在的人工智能有一半是调参和训练的艺术

底层技术栈

我看过刘慈欣的小说：“当一个类人猿抬头望着北极星时，离他们提出广义相对论最多不超过10万年。” AlphaFold，就是那个抬头望着北极星的类人猿。当1950年纳什均衡被提出，当1986年BP算法被发明，当1998年卡斯帕罗夫被“深蓝”击败，当2006年DeepLearning被发明，当2019年一群围棋大牛被AlphaGo击败，当2022年智能武器主宰俄乌战场，只要稍微有点规律的东西，或者稍微样本多一点的东西，都可能被写进AI代码里，进而形成对人类智慧的挑战。这是由这2条数学规则保证的： 1，连续函数的极值点至多只有可数个， 2，压缩映射的巴拿赫不动点。第1条说明，用神经网络可以把任何复杂的连续函数近似到任意精度。第2条说明，对神经网络的BP算法必然收敛。不要低估AI的演化速度，电脑的主频比人脑快得多。康托、巴拿赫，真是大牛

上海本轮疫情的环比增长速度再次下降，昨天就是异常点。公式y = -0.0057x5 + 0.0955x4 - 0.6026x3 + 1.7857x2 - 2.5996x + 1.8095的决定系数R²=1，说明这个函数是完全拟合的。当我延后一天的时候，环比增长速度降到负数了。前提是不出现意外。这个信号非常值得关注。期待明天的数据计算后真的能变成负增长。#上海疫情防控正处在关键时期##上海疫情#

模型并不是越复杂越好

模型比数据简单，容易导致欠拟合

模型比数据复杂，容易导致过拟合

如何做到模型正好也就是拟合呢

这就需要为模型中的目标函数

加上一些先验性的规则或者限制

控制特殊性样本带来的模型偏好

适度缩小解的空间

在不过度增加偏差的情况下显著减少方差

让目标函数不要自我膨胀，不要太复杂

以提升算法的通用性

提高模型的泛化能力