梯度下降、过拟合和归一化

好的课程应该分享给更多人：人工智能视频列表-尚学堂，点开任意一个之后会发现他们会提供系列课程整合到一起的百度网盘下载地址，包括视频+代码+资料，免费的优质资源。当然，现在共享非常多，各种mooc、博客、论坛等，很容易就可以找到各种各样的知识，能走到哪一步，都在我们自己。希望我能够一直坚持下去，加油！

参考书籍：《机器学习》-周志华，中文书，各种概念都讲解的很清晰，赞。点这里下载，在百度网盘上，密码是：8tmk

参见官方文档：scikit-learn官网Http://scikit-learn.org/stable/supervised_learning.html#supervised-learning

看这个吧，简书上的：深入浅出--梯度下降法及其实现

批量梯度下降

　　· 初始化W，即随机W，给初值

　　· 沿着负梯度方向迭代，更新后的W使得损失函数J(w)更小

　　· 如果W维度是几百维度，直接算SVD也是可以的，几百维度以上一般是梯度下降算法

# 批量梯度下降
import numpy as np

# 自己创建建数据，哈哈
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)
X_b = np.c_[np.ones((100, 1)), X]

learning_rate = 0.1     # 学习率，步长=学习率x梯度
n_iterations = 1000     # 迭代次数,一般不设置阈值，只设置超参数，迭代次数
m = 100     # m个样本

theta = np.random.randn(2, 1)   # 初始化参数theta，w0，...,wn
count = 0   # 计数

for iteration in range(n_iterations):
    count += 1
    # 求梯度，每次迭代使用m个样本求梯度
    gradients = 1/m * X_b.T.dot(X_b.dot(theta)-y)
    # 迭代更新theta值
    theta = theta - learning_rate * gradients
    # print(count, theta)
    
print(count, theta)

随机梯度下降

　　· 优先选择随机梯度下降

　　· 有些时候随机梯度下降可以跳出局部最小# 随机梯度下降

import numpy as np

X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)
X_b = np.c_[np.ones((100, 1)), X]

n_epochs = 500 
t0, t1 = 5, 50
m = 100

def learning_schedule(t):
    return t0/(t + t1)

# 随机初始化参数值
theta = np.random.randn(2, 1)

for epoch in range(n_epochs):
    for i in range(m):
        random_index = np.random.randint(m)
　　　　　# 每次迭代使用一个样本求梯度
        xi = X_b[random_index:random_index+1]
        yi = y[random_index:random_index+1]
        gradients = 2*xi.T.dot(xi.dot(theta)-yi)
        learning_rate = learning_schedule(epoch*m + i)
        theta = theta - learning_rate * gradients

print(theta)

归一化

预处理

这个CSDN的博客挺好的：机器学习常见归一化方法及实现，我觉得还是看书效果最好了。

基于梯度下降法求最优解时，都要归一化，why，为什么？

数据的归一化/标准化/规范化，顾名思义，就是有量纲数据集经过某种变换后，变成无量纲的数据，比如变到[0,1]，应该是这样便于处理吧，使各个维度梯度尽量同时收敛。

过拟合、拟合与欠拟合

过拟合：模型很好的拟合了训练集数据，但预测的准确率反而降低了，拟合过度，泛化能力弱。

欠拟合：与过拟合相反，模型尚未能很好的拟合训练数据集，拟合不足。

拟合：模型适当拟合训练集且预测准确率较高，泛化能力强。

主要做的是防止过拟合：

　　· 通过正则化修改损失函数，考虑惩罚项的影响，如L1、L2正则化

　　　　L1 = n个维度的w的绝对值和

　　　　L2 = n个维度的w的平方和

　　　　即，loss_function = loss_function + α(L1 or L2)，使用惩罚项，模型泛化能力提高，可能影响训练数据集正确率，在惩罚项里面，会有个alpha，即惩罚项的权重，我们可以通过调整alpha超参数，根据需求来决定是更看重模型的正确率还是模型的泛化能力！

难受的，代码：

损失函数 + L2正则项：

# 岭回归/脊回归，随机梯度下降，crtl+B查看函数文档以调整参数…
import numpy as np
from sklearn.linear_model import Ridge
from sklearn.linear_model import SGDRegressor

# 模拟真实数据集
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

# # 方法一：脊/岭回归，损失函数=最小二乘+L2正则项
# # alpha=1，惩罚项权重-Regularization strength；
# ridge_reg = Ridge(alpha=1, solver='auto')
# ridge_reg.fit(X, y)    # 模型
# print(ridge_reg.predict(2))    # 预测x=2时，y=？
# print("w0 =", ridge_reg.intercept_)    # 打印w0或者说bias
# print("w1 =", ridge_reg.coef_)     # 打印weights

# 方法二：随机梯度下降
# # penalty='l2',使用L2正则化，迭代n_iter=100次 
sgd_reg = SGDRegressor(penalty='l1', n_iter=100) 
sgd_reg.fit(X, y.ravel()) 
print(sgd_reg.predict(2))
print("w0 =", sgd_reg.intercept_)
print("w1 =", sgd_reg.coef_)

 损失函数 + L1正则项：

# 套索回归，随机梯度下降回归函数
import numpy as np
from sklearn.linear_model import Lasso, SGDRegressor

# 模拟真实数据集
X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

# One：lasso regression，损失函数=最小二乘项? + L1正则项
lasso_reg = Lasso(alpha=0.15, max_iter=1000)
lasso_reg.fit(X, y)
print(lasso_reg.predict(2))
print(lasso_reg.intercept_, lasso_reg.coef_)

# # Two：sgd regression
# sgd_reg = SGDRegressor(penalty='l1', n_iter=1000)
# sgd_reg.fit(X, y)
# print(sgd_reg.predict(2))
# print(sgd_reg.intercept_, sgd_reg.coef_)