机器学习概要
机器学习指的是计算机根据给定的问题、课题或环境进行学习，并利用学习结果解决问题或课题等的一整套机制。
机器学习种类：
- 有监督学习
- 无监督学习
- 强化学习
有监督学习
提供问题以及答案，使计算机进行学习并产生机器学习模型。
概念：
- 特征值（特征变量）：表示特征的数据。
- 标签（目标变量）：作为答案的数据。
- 分类问题：预测类别的问题叫作分类问题，例如给定一堆身高体重，预测男女一样，其中给定的数据（身高体重）会告诉对应的结果（性别）。
- 二元分类：分类问题的结果是两个类别。
- 多元分类：例如十个类别，答案变量是离散值例如预测成绩等级，ABCDEF。
- 回归问题：答案变量是连续的值，例如预测一个值，不是固定的在几个类别中。
无监督学习
将特征值和目标变量（答案）作为一套数据进行学习的方法，而无监督学习的数 据中没有作为答案的目标变量。
聚类
聚类是一种将数据集分成多个组的技术，使得组内的数据点相似性高，而组间的数据点差异性大。聚类的常见算法包括：
K-means：将数据点分为预定义的 K 个簇，每个簇都有一个中心点。算法通过反复更新簇中心和重新分配数据点来最小化数据点到簇中心的距离。
聚类的应用包括客户分群、图像分类等。
降维
降维旨在减少数据集的维度（特征数量），以便更容易进行可视化或处理，同时尽量保持数据的关键信息。降维的常见方法包括：
PCA（主成分分析）：将原始特征转换为一组新的、线性不相关的特征（称为主成分），并保留尽可能多的方差信息。
降维常用于数据可视化、特征提取以及减少噪声。
强化学习
强化学习是以在某个环境下行动的智能体获得的奖励最大化为目标而进行学习的方法。
是一种机器学习方法，通过与环境的交互学习如何采取最佳行动，以最大化长期累积的奖励。强化学习的核心思想是智能体（agent）通过试错学习和反馈不断改进决策策略。
机器学习的步骤
机器学习需要数据，本文使用 scikit-learn 包内置的数据。
机器学习需要的是二维的表格形式的数据，例如学生表格
| 姓名 | 身高 | 体重 | 出生日期 | 性别 |
|---|---|---|---|---|
| A | 165 | 60 | 1995.10.02 | 男 |
| B | 150 | 45 | 1996.01.20 | 女 |
| C | 170 | 70 | 1995.05.29 | 男 |
| D | 160 | 50 | 1995.08.14 | 女 |
以体重身高预测性别为例，这是一个有监督学习的例子。
我们以身高体重作为特征变量，性别作为目标变量。
以下我们使用这个包内的鸢尾花（iris）数据作为例子。
import pandas as pd
from sklearn.datasets import load_iris
data = load_iris()
x = pd.DataFrame(data.data, columns=data.feature_names)
y = pd.DataFrame(data.target, columns=["Species"])
df = pd.concat([x, y], axis=1)
df.head()| sepal length (cm) | sepal width (cm) | petal length (cm) | petal width (cm) | Species | |
|---|---|---|---|---|---|
| 0 | 5.1 | 3.5 | 1.4 | 0.2 | 0 |
| 1 | 4.9 | 3.0 | 1.4 | 0.2 | 0 |
| 2 | 4.7 | 3.2 | 1.3 | 0.2 | 0 |
| 3 | 4.6 | 3.1 | 1.5 | 0.2 | 0 |
| 4 | 5.0 | 3.6 | 1.4 | 0.2 | 0 |
前面 4 列是表示特征的特征值，最后 1 列是目标变量。在这个数据集中，目标变量的值为 0、1、2 这 3 个值之一
有监督学习（分类）的例子
这个例子是美国威斯康星州乳腺癌数据集，通过30个特征值判断肿瘤是良性或者恶性
| mean radius | mean texture | mean perimeter | mean area | mean smoothness | mean compactness | mean concavity | mean concave points | mean symmetry | mean fractal dimension | … | worst texture | worst perimeter | worst area | worst smoothness | worst compactness | worst concavity | worst concave points | worst symmetry | worst fractal dimension | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 17.99 | 10.38 | 122.80 | 1001.0 | 0.11840 | 0.27760 | 0.3001 | 0.14710 | 0.2419 | 0.07871 | … | 17.33 | 184.60 | 2019.0 | 0.1622 | 0.6656 | 0.7119 | 0.2654 | 0.4601 | 0.11890 |
| 1 | 20.57 | 17.77 | 132.90 | 1326.0 | 0.08474 | 0.07864 | 0.0869 | 0.07017 | 0.1812 | 0.05667 | … | 23.41 | 158.80 | 1956.0 | 0.1238 | 0.1866 | 0.2416 | 0.1860 | 0.2750 | 0.08902 |
| 2 | 19.69 | 21.25 | 130.00 | 1203.0 | 0.10960 | 0.15990 | 0.1974 | 0.12790 | 0.2069 | 0.05999 | … | 25.53 | 152.50 | 1709.0 | 0.1444 | 0.4245 | 0.4504 | 0.2430 | 0.3613 | 0.08758 |
| 3 | 11.42 | 20.38 | 77.58 | 386.1 | 0.14250 | 0.28390 | 0.2414 | 0.10520 | 0.2597 | 0.09744 | … | 26.50 | 98.87 | 567.7 | 0.2098 | 0.8663 | 0.6869 | 0.2575 | 0.6638 | 0.17300 |
| 4 | 20.29 | 14.34 | 135.10 | 1297.0 | 0.10030 | 0.13280 | 0.1980 | 0.10430 | 0.1809 | 0.05883 | … | 16.67 | 152.20 | 1575.0 | 0.1374 | 0.2050 | 0.4000 | 0.1625 | 0.2364 | 0.07678 |
其中我们可以发现，数据有30列，也就是一条记录有30多个数据。 看完了表格，我们提取特征值赋给x，目标值赋给y。
其中30个特征值分为平均值，误差值，最差值三类，作为特征值提供，我我们只使用其中的平均值，只需要运行
x = data.data
y = data.target
x = x[:, : 10]这行操作使得平均值被记录给x，作为特征值只有10项。
实现
使用逻辑回归算法进行分类，提供特征值和目标值
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
model = LogisticRegression(max_iter=200)
model.fit(x, y)
y_pred = model.predict(x)
accuracy_score(y, y_pred)输出 0.9121265377855887
以上的代码使用输入的数据进行模型建立，model接收到数据进行学习，成为学习后的模型，将对原来的输入数据进行预测，将预测结果保存到y_pred
评估方法
使用 scikit-learn 的 accuracy_score 函数查看正确率是模型预测结果和给定数据的结果进行比较的正确率。
过拟合：当模型在训练数据上表现良好，但在未见过的数据上预测性能差时，称为过拟合。模型的评估应使用未用于训练的数据，以确保其在未知数据上的预测能力。
评估指标的局限性：仅依靠正确率来评估模型性能可能会误导，尤其是在数据类别不均衡的情况下。例如，在分类任务中，若数据中“恶性”样本较少，模型可能简单地将所有样本判断为“良性”，从而导致高正确率，但实际上模型的表现并不好。
数据均衡性：在处理类别不均衡的数据时，正确率并不能全面反映模型的性能，需结合其他评估指标（如精确率、召回率、F1-score等）进行综合评估
无监督学习（聚类）的例子
我们采用 scikit-learn 包内置的与葡萄酒种类有关的数据集 先大致看一下数据集
| alcohol | malic_acid | ash | alcalinity_of_ash | magnesium | total_phenols | flavanoids | nonflavanoid_phenols | proanthocyanins | color_intensity | hue | od280/od315_of_diluted_wines | proline | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 14.23 | 1.71 | 2.43 | 15.6 | 127.0 | 2.80 | 3.06 | 0.28 | 2.29 | 5.64 | 1.04 | 3.92 | 1065.0 |
| 1 | 13.20 | 1.78 | 2.14 | 11.2 | 100.0 | 2.65 | 2.76 | 0.26 | 1.28 | 4.38 | 1.05 | 3.40 | 1050.0 |
| 2 | 13.16 | 2.36 | 2.67 | 18.6 | 101.0 | 2.80 | 3.24 | 0.30 | 2.81 | 5.68 | 1.03 | 3.17 | 1185.0 |
| 3 | 14.37 | 1.95 | 2.50 | 16.8 | 113.0 | 3.85 | 3.49 | 0.24 | 2.18 | 7.80 | 0.86 | 3.45 | 1480.0 |
| 4 | 13.24 | 2.59 | 2.87 | 21.0 | 118.0 | 2.80 | 2.69 | 0.39 | 1.82 | 4.32 | 1.04 | 2.93 | 735.0 |
简化数据集，使用十三个特征值中的酒精度和色泽作为特征值进行聚类算法，分割为三个簇
以下是对数据集的简化，提取区中的酒精度和色泽作为特征值。
from sklearn.cluster import KMeans
n_clusters = 3
model = KMeans(n_clusters=n_clusters)
pred = model.fit_predict(x)上面的代码导入了k-means聚类算法，设置3即为指示模型将数据集分成三个簇。传入x，再将预测结果返回赋值给pred。
通过 KMeans 算法，原本以酒精度和色泽表示的葡萄酒数据，现在以“属于哪个簇”的形式直观展示。要了解各个簇的特征，只需查看重心值。例如，第 3 个簇的特点是“酒精度低、色泽淡”。KMeans 聚类是基于算法自动生成的规则，例如“将酒精度百分之多少以上的数据分到第 1 个簇”，这说明算法的通用性，适用于葡萄酒以外的数据。
