机器学习之分类问题--KNN算法

目录

    • 预备知识
      • 关键词汇总(中英文)
    • 分类简介
    • 常用分类算法
    • KNN
      • KNN原理讲解
      • KNN代码实现

本文为作者学习之余创作,如有不正,请您指出.

预备知识

  监督学习(Supervised Learning),最常用也是最成功的机器学习类型之一。
  一言以蔽之,监督学习,就是有标签的学习。给你一大堆西瓜,它有根蒂、敲声、色泽等特征,同时,我们也有了这些西瓜中哪些是好瓜、哪些是坏瓜这一信息(习惯上称之为标签。当然,现实生活中的特征或者标签数目可能远不止此)。
  监督机器学习问题主要有两种:分类、回归。(当然,说法不一,至少李宏毅老师认为远不止此)。但我们不应将重心置于此处。
  好!!!到此为止。

关键词汇总(中英文)

  • 监督学习(supervised Learning)
  • 特征(feature)
  • 标签或者目标输出(label or target output)
  • and so on…
    好!!!到此为止。具体请参考周志华的“西瓜书”.

分类简介

  分类(Calssification),通俗来讲,就是给你一个西瓜,让你来预测它是好瓜还是坏瓜。怎么预测呢?
  我们自然会敲一敲它,摸一摸它,看一看它。实际上,我们是根据其特征来判断它是不是一个好瓜。
  那我们又为什么会根据特征来判断一颗西瓜是好瓜还是坏瓜呢?是因为我们以往的生活经验告诉我们,敲一敲你相中的西瓜,就能大概知道它是不是一颗好瓜了。
  也就是说,以往的生活经验很重要。(刚出生的婴儿当然不会辨别好瓜与坏瓜)。这就回答了我们在第一行提到的"怎么预测"的问题。
  好!!!也就是说,我们是根据已有的一堆数据(并且带有标签),来得到一个判断规则。这样,再给我一个新的数据,我就能根据其特征来预测它是好瓜还是坏瓜了。

常用分类算法

  • KNN
  • Logistic Regression
  • SVM
  • and so on…

KNN

     本文仅介绍KNN这一算法,其他算法将会在后续学习过程中一一介绍。

KNN原理讲解

  KNN(K-Nearest-Neighbor),是一个很容易理解的算法。要对一个新数据点作出预测,只需要计算当前已有数据集中与它前k近的数据点,则新的数据点就属于多者那一类即可。

KNN代码实现

"""导入库"""
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import mglearn
from sklearn.datasets import load_iris

"""导入数据集"""
iris_dataset = load_iris()

"""做一些小check"""
print(f"Keys of iris_dataset: \n{iris_dataset.keys()}")
print(iris_dataset['target'])
print(iris_dataset['target_names'])
print(iris_dataset['feature_names'])

"""将数据集分为训练集、测试集"""
from sklearn.model_selection import train_test_split

X_train,X_test,y_train,y_test = train_test_split(
iris_dataset['data'],iris_dataset['target'],random_state=0)

"""利用X_train中的数据创建DataFrame"""
"""利用iris_dataset.feature_names中的字符串对数据列进行标记"""
iris_dataframe = pd.DataFrame(X_train, columns=iris_dataset.feature_names)

"""利用DataFrame创建散点图矩阵,按y_train着色"""
grr = pd.plotting.scatter_matrix(iris_dataframe, alpha=0.8, c=y_train, figsize=(15, 15),ax=None, grid=True, diagonal='hist', marker='o',
 density_kwds=None, hist_kwds={'bins': 20},cmap=mglearn.cm3)

"""导入KNeighbrosClassifier类"""
from sklearn.neighbors import KNeighborsClassifier

"""创建knn实例对象"""
knn = KNeighborsClassifier(n_neighbors=1)
knn.fit(X_train,y_train)

X_new = np.array([[5, 2.9, 1, 0.2]])
print("X_new.shape: {}".format(X_new.shape))

prediction = knn.predict(X_new)

print("Prediction: {}".format(prediction))
print("Predicted target name: {}".format(
 iris_dataset['target_names'][prediction]))
y_pred = knn.predict(X_test)
print("Test set predictions:\n {}".format(y_pred))
print(y_pred.shape)
print("Test set score: {:.2f}".format(np.mean(y_pred == y_test)))
print("Test set score: {:.2f}".format(knn.score(X_test, y_test)))

基于jupyter notebook实现,其中有些库(函数)可能有些许更新,作者也是碰到了好多坑。如果出现库(函数)的问题,建议上Python官网查看。

 下面附上运行结果。
在这里插入图片描述

热门文章

暂无图片
编程学习 ·

C语言二分查找详解

二分查找是一种知名度很高的查找算法,在对有序数列进行查找时效率远高于传统的顺序查找。 下面这张动图对比了二者的效率差距。 二分查找的基本思想就是通过把目标数和当前数列的中间数进行比较,从而确定目标数是在中间数的左边还是右边,将查…
暂无图片
编程学习 ·

GMX 命令分类列表

建模和计算操作命令: 1.1 . 创建拓扑与坐标文件 gmx editconf - 编辑模拟盒子以及写入子组(subgroups) gmx protonate - 结构质子化 gmx x2top - 根据坐标生成原始拓扑文件 gmx solvate - 体系溶剂化 gmx insert-molecules - 将分子插入已有空位 gmx genconf - 增加…
暂无图片
编程学习 ·

一文高效回顾研究生课程《数值分析》重点

数值分析这门课的本质就是用离散的已知点去估计整体,就是由黑盒子产生的结果去估计这个黑盒子。在数学里这个黑盒子就是一个函数嘛,这门课会介绍许多方法去利用离散点最大化地逼近这个函数,甚至它的导数、积分,甚至微分方程的解。…
暂无图片
编程学习 ·

在职阿里5年,一个28岁女软测工程师的心声

简单的先说一下,坐标杭州,14届本科毕业,算上年前在阿里巴巴的面试,一共有面试了有6家公司(因为不想请假,因此只是每个晚上去其他公司面试,所以面试的公司比较少) ​ 编辑切换为居中…
暂无图片
编程学习 ·

字符串左旋c语言

目录 题目: 解题思路: 第一步: 第二步: 第三步: 总代码: 题目: 实现一个函数,可以左旋字符串中的k个字符。 例如: ABCD左旋一个字符得到BCDA ABCD左旋两个字符…
暂无图片
编程学习 ·

设计模式--观察者模式笔记

模式的定义与特点 观察者(Observer)模式的定义:指多个对象间存在一对多的依赖关系,当一个对象的状态发生改变时,所有依赖于它的对象都得到通知并被自动更新。这种模式有时又称作发布-订阅模式、模型-视图模式&#xf…
暂无图片
编程学习 ·

睡觉突然身体动不了,什么是睡眠痽痪症

很多朋友可能有这样的体验,睡觉过程中突然意识清醒,身体却动弹不了。这时候感觉非常恐怖,希望旁边有一个人推自己一下。阳光以前也经常会碰到这样的情况,一年有一百多次,那时候很害怕晚上到来,睡觉了就会出…
暂无图片
编程学习 ·

深入理解C++智能指针——浅析MSVC源码

文章目录unique_ptrshared_ptr 与 weak_ptrstd::bad_weak_ptr 异常std::enable_shared_from_thisunique_ptr unique_ptr 是一个只移型别(move-only type,只移型别还有std::mutex等)。 结合一下工厂模式,看看其基本用法&#xff…
暂无图片
编程学习 ·

@TableField(exist = false)

TableField(exist false) //申明此字段不在数据库存在,但代码中需要用到它,通知Mybatis-plus在做写库操作是忽略它。,.
暂无图片
编程学习 ·

Java Web day15

第十二章文件上传和下载 一、如何实现文件上传 要实现Web开发中的文件上传功能,通常需要完成两步操作:一.是在Web页面中添加上传输入项;二是在Servlet中读取上传文件的数据,并保存到本地硬盘中。 需要使用一个Apache组织提供一个…
暂无图片
编程学习 ·

【51nod 2478】【单调栈】【前缀和】小b接水

小b接水题目解题思路Code51nod 2478 小b接水 题目 输入样例 12 0 1 0 2 1 0 1 3 2 1 2 1输出样例 6解题思路 可以发现最后能拦住水的都是向两边递减高度(?) 不管两个高积木之间的的积木是怎样乱七八糟的高度,最后能用来装水的…
暂无图片
编程学习 ·

花了大半天写了一个UVC扩展单元调试工具

基于DIRECTSHOW 实现的,用的是MFC VS2019. 详见:http://www.usbzh.com/article/detail-761.html 获取方法 加QQ群:952873936,然后在群文件\USB调试工具&测试软件\UVCXU-V1.0(UVC扩展单元调试工具-USB中文网官方版).exe USB中文网 USB中文…
暂无图片
编程学习 ·

贪心(一):区间问题、Huffman树

区间问题 例题一:区间选点 给定 N 个闭区间 [ai,bi]请你在数轴上选择尽量少的点,使得每个区间内至少包含一个选出的点。 输出选择的点的最小数量。 位于区间端点上的点也算作区间内。 输入格式 第一行包含整数 N,表示区间数。 接下来 …
暂无图片
编程学习 ·

C语言练习实例——费氏数列

目录 题目 解法 输出结果 题目 Fibonacci为1200年代的欧洲数学家,在他的着作中曾经提到:「若有一只免子每个月生一只小免子,一个月后小免子也开始生产。起初只有一只免子,一个月后就有两只免子,二个月后有三只免子…
暂无图片
编程学习 ·

Android开发(2): Android 资源

个人笔记整理 Android 资源 Android中的资源,一般分为两类: 系统内置资源:Android SDK中所提供的已经定义好的资源,用户可以直接拿来使用。 用户自定义资源:用户自己定义或引入的,只适用于当前应用的资源…
暂无图片
编程学习 ·

零基础如何在短时间内拿到算法offer

​算法工程师是利用算法处理事物的职业 算法(Algorithm)是一系列解决问题的清晰指令,也就是说,能够对一定规范的输入,在有限时间内获得所要求的输出。 如果一个算法有缺陷,或不适合于某个问题,执…
暂无图片
编程学习 ·

人工智能:知识图谱实战总结

人工智能python,NLP,知识图谱,机器学习,深度学习人工智能:知识图谱实战前言一、实体建模工具Protegepython,NLP,知识图谱,机器学习,深度学习 人工智能:知识图…
暂无图片
编程学习 ·

【无标题】

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注…