解线性方程组可以通过多种方法实现,其中一种常见的方法是使用最小二乘法。以下是使用最小二乘法解线性方程组的一般步骤:
首先,对于每个子集使用线性回归模型进行训练。常见的线性方程可以表示为:Y = β1X1 + β2X2 + β(β1,2 代表不同特征的系数/斜率,β 代表截距)。
为了求解最佳的系数和截距,通常可以用梯度下降算法来实现。这里以最小二乘法用正规方程来直接解为例:
步骤 2:
步骤 3:求解正规方程,通过正规方程的计算,得到子集 1 的线性回归模型参数:
同样计算子集 2:
以及子集 3:
关于矩阵乘法,梯度下降,可以参考之前的文章:吵爷:机器学习-从 0 开始掌握反向传播算法
[title][算法学习]Bootstrap Aggregating分类/回归[heading1]算法步骤[heading2]步骤2:模型训练对每个子集使用线性回归模型进行训练。每个子集生成一个线性回归方程,用最常见的线性方程表示为:Y=β1*X1 + β2*X2 + β(β1,2代表不同特征的系数/斜率,β代表截距)对于线性方程,我们要做的就是通过最小化MSE来求解最佳的系数和截距,通常可以用梯度下降算法来实现。由于这里只是个举例,我就用最简单的最小二乘法用正规方程来直接解不做迭代了:关于矩阵乘法,梯度下降,可以参考之前的文章:[吵爷:机器学习-从0开始掌握反向传播算法](https://waytoagi.feishu.cn/wiki/XhFDwymwMiEMT6kkSCKc3LKinHd)
$$x^Tx = \begin{pmatrix}1 & 1 & 1 & 1 & 1 & 1 \\ 83 & 24 & 3 & 87 & 53 & 15 \\ 60 & 22 & 89 & 21 & 91 & 30 \\ \end{pmatrix}\begin{pmatrix}1 & 83 & 60 \\ 1 & 24 & 22 \\ 1 & 3 & 89 \\ 1 & 87 & 21 \\ 1 & 53 & 91 \\ 1 & 15 & 30 \\ \end{pmatrix}$$[heading5]B.计算X(T)Y[content]$$x^Ty = \begin{pmatrix}1 & 1 & 1 & 1 & 1 & 1 \\ 83 & 24 & 3 & 87 & 53 & 15 \\ 60 & 22 & 89 & 21 & 91 & 30 \\ \end{pmatrix}\begin{pmatrix}67.24 \\ 24.48 \\ 60.20 \\ 33.68 \\ 76.59 \\ 20.96 \\ \end{pmatrix}$$[heading4]Step3:求解正规方程[content]求解代码:通过正规方程的计算,得到子集1的线性回归模型参数:系数:[0.2850,0.7051]截距:-2.1794同样计算子集2系数:[0.2538,0.8067]截距:-5.4969和子集3系数:[0.2694,0.8725]截距:-10.7854