在机器学习领域，数据预处理是至关重要的一步，其中训练集和测试集的划分是评估模型性能的关键。本文将详细讲解如何使用Python进行这一过程，特别是利用scikit-learn库中的`train_test_split`函数。
让我们了解数据集。在本示例中，我们使用的是UCI机器学习库中的Wine数据集。这个数据集包含178个样本，每个样本有13个特征，用于区分三种不同类型的葡萄酒。数据集的第一列是类标签，其余13列是描述葡萄酒属性的数值特征。
```python
import pandas as pd
import numpy as np
# 加载Wine数据集
url = 'https://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data'
column_names = ['Class label', 'Alcohol', 'Malic acid', 'Ash', 'Alcalinity of ash', 'Magnesium', 'Total phenols', 'Flavanoids', 'Nonflavanoid phenols', 'Proanthocyanins', 'Color intensity', 'Hue', 'OD280/OD315 of diluted wines', 'Proline']
df_wine = pd.read_csv(url, header=None, names=column_names)
```
接下来，我们要将数据集划分为训练集和测试集。通常，我们使用一部分数据（如75%）来训练模型，其余部分（如25%）用于测试模型的泛化能力。这可以通过scikit-learn的`train_test_split`函数实现：
```python
from sklearn.model_selection import train_test_split
# 提取特征和目标变量
X = df_wine.iloc[:, 1:].values # 所有特征，不包括类标签
y = df_wine.iloc[:, 0].values # 类标签
# 使用train_test_split函数划分数据
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)
```
这里的`test_size`参数指定了测试集的比例，`random_state`用于确保每次运行代码时都能得到相同的结果，便于复现实验。`train_test_split`函数会随机选取指定比例的数据作为测试集，其余部分作为训练集。
划分训练集和测试集有助于避免过拟合，即模型在训练数据上表现很好，但在未见过的新数据上表现较差。通过在独立的测试集上评估模型，我们可以更准确地估计模型在实际应用中的效果。此外，还可以使用交叉验证（如k折交叉验证）进一步优化模型性能评估。
在完成训练集和测试集的划分后，我们就可以使用这些数据训练模型（如线性回归、决策树、随机森林或神经网络等），然后在测试集上评估模型的预测性能。评估指标可能包括准确率、精确率、召回率、F1分数、AUC-ROC曲线等，具体取决于任务的性质（如分类或回归）。
Python和scikit-learn库提供了一种简单而强大的方式来处理训练集和测试集的划分，使得机器学习项目的实施变得更加便捷。通过合理地划分数据，我们可以更好地理解和优化模型的性能，为实际应用做好准备。
2025-04-14 10:42:53
31KB
1
python声音模仿训练模型包encoder.pt，synthesizer.pt，vocoder.pt，完整插入RTVC声音克隆模型，完整资源，不在需要谷歌云端下载
2023-11-09 12:57:34
378.59MB
1
主要介绍了python中如何实现将数据分成训练集与测试集的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-11-23 04:06:35
39KB
1
使用Python负责任的机器学习
训练可解释机器学习（ML）模型，解释ML模型以及调试ML模型的准确性，辨别力和安全性的技术示例。
概述
随着越来越多的经济体接受自动化和数据驱动的决策，使用人工智能（AI）和ML模型可能会变得越来越普遍。 尽管这些预测系统可能非常准确，但它们常常是难以理解且不受欢迎的黑匣子，它们仅产生数字预测，而没有附带的解释。 不幸的是，最近的研究和最近的事件引起了人们对脆弱的AI和ML系统中数学和社会学缺陷的关注，但是从业人员通常没有正确的工具来撬开ML模型并对其进行调试。 本系列笔记本介绍了几种方法，这些方法可以提高ML模型的透明度，责任感和可信赖性。 如果您是数据科学家或分析师，并且想要训练准确，可解释的ML模型，向您的客户或经理解释ML模型，测试这些模型的安全漏洞或社会歧视，或者您担心文档，验证或法规方面的问题要求，那么本系列Jupyter笔记本非常适合您！ （
2021-11-16 23:21:24
10.74MB
1
如下所示：
import numpy as np
data = np.array([[1,1],[2,2],[3,3],[4,4],[5,5]])
y = np.array([1,2,3,4,5])
print '-------第1种方法：通过打乱索引从而打乱数据,好处是1:数据量很大时能够节约内存,2每次都不一样----------'
data = np.array([[1,1],[2,2],[3,3],[4,4],[5,5]])
data_num, _= data.shape #得到样本数
index = np.arange(
2021-10-29 21:30:41
33KB
1