【机器学习09】kNN 解决回归问题:以波士顿房价为例

kNN 既可以解决分类问题也可以解决回归问题。

摘要:以波士顿房价数据集为例,使用 kNN 模型解决回归问题——预测房价。

之前我们花了大量篇幅介绍使用 kNN 算法解决分类问题,其实 kNN 是少数机器学习算法中,既适合解决分类问题也适合解决回归问题的算法。

在 sklearn 中使用 KNeighborsClassifier 类解决分类,回归问题则可以调用 KNeighborsRegressor类。

先来回顾一下 kNN 是如何解决分类问题的。下图中,红绿色点表示两种类别,根据黄色点最近 K 个点的类别来评估其所属类别。假设 k 取 3 ,则黄色点大概率属于红色类别。

当要解决回归问题时,我们面对的问题不再是判断样本属于哪个类别,样本值也不是离散值而是连续的具体值。比如预测学生的成绩具体是多少分。

计算思路也很简单,主要分两步。第一步和分类算法一样,找到离待预测节点最近的 K 个点,第二步则是取这 K 个节点值的平均值作为待预测点的预测值。

是不是很简单?

下面我们就通过一个简单的数据集来熟悉一下 kNN 回归模型。

训练集有 6 个红色样本点,每个样本点有 X Y 两个特征,点的标签值分别是 1-6。现在需要预测绿色样本点的标签值。假设 k 取 3,很容易就能得到左下角的三个红点是离绿色点最近的,则绿点的标签值等于(1+2+3)/3=2。 当 k 取 5 时,绿色点的标签值等于(1+2+3+4+5)/5=3。

编码实现如下:

下面我们再用 kNN 的回归模型解决一个实际案例:波士顿房价

波士顿房价是机器学习中很常用的一个解决回归问题的数据集。数据统计于 1978 年,包括 506个房价样本,每个样本包括波士顿不同郊区房屋的13 种特征信息,比如:住宅房间数、城镇教师和学生比例等。标签值则是每栋房子的房价(千美元)。所以这是一个小型数据集,有 506 * 14 维。

我们通过这几步来预测房价:

  • 加载数据集并初步探索
  • 划分训练集和测试集
  • 对特征做均值方差归一化
  • 建立 kNN 回归模型并预测

先加载数据集并做简单的初步探索。

每个特征的含义如下:

  • CRIM: 城镇人均犯罪率(%)
  • ZN: 住宅用地所占比例(%)
  • INDUS: 城镇中非住宅用地所占比例(%)
  • CHAS: 0-1分类变量,是否靠近Charles River,靠近1,否则0
  • NOX: 一氧化氮指数
  • RM: 每栋住宅的房间数
  • AGE: 1940 年以前建成的自住单位的比例(%)
  • DIS: 距离 5 个波士顿的就业中心的加权距离
  • RAD: 距离高速公路的便利指数
  • TAX: 每一万美元的不动产税率(%)
  • PTRATIO: 城镇中的教师学生比例(%)
  • B: 关于黑人比例的一个参数(%)
  • LSTAT: 地区中有多少房东属于低收入人群(%)
  • MEDV: 自住房屋房价中位数(也就是均价,单位千美元)

可以看到特征之间数值差异较大,所以最好先对数据做归一化再建立模型。

样本一共有 13 个特征,建立模型时可以纳入全部特征也可以只纳入部分,我们选择后者。使用 SelectKBest 方法可以筛选出和标签最相关的 K 个特征,这里选择和房价最相关的 3 个特征:

  • RM
  • PTRATIO
  • LSTAT

特征选择好之后,接下来划分数据集并归一化,然后建模,代码如下:

这样我们就计算出了房价预测值和相应的模型得分。

房价预测值和实际值见下图,可以看到预测效果总体还不错。

模型得分这里使用了均方根误差(RMSE)和 R2_score 来判断。

上图中,这两个值分别为 4.58 和 0.74。

均方根误差表示模型的偏离程度,越接近 0 越好。此处 4.58 的含义就是说 68% 的预测房价值和真实房价(均值为 22.53)之间的差值在 4.58(一个标准差) 之间,也就是 68% 的房价位于 [18,27] 之间(单位千美元)。 95% 的房价位于均值的两个标准差之间,也就是 [13.5,31.5]。

R2_score 表示模型拟合数据集的好坏,越接近1 表示拟合效果越好。

为了比较不同模型的均方根误差和 R2 值,我们还可以使用之前说的网格搜索方法进一步优化模型。

可以看到均方根误差降低到了 4.35 ,R2 值提升到了 0.76,说明网格搜索建立的模型效果更好。

之后我们学习其他算法(比如线性回归)的时候还会再对这个数据集建立模型并计算得分。

本文的 jupyter notebook 代码,可以在公众号:「高级农民工」后台回复「kNN9」得到,加油!

你一打赏,我就写得更来劲了
0%