如何使用scikit-learn的train_test_split()函数拆分数据集




如何使用scikit-learn的train_test_split()函数拆分数据集

踏入机器学习和数据科学的广阔领域,我们会遇到一些看似微不足道但在更广泛的视角下占据重要地位的任务。其中一个关键任务是将数据划分为训练集和验证集,这是创建有效预测模型的基础步骤之一。Scikit-learn是一个著名的Python机器学习库,拥有一种多功能的函数train_test_split(),用于以非凡的简便性处理这个任务。本文旨在指导您如何使用scikit-learn的train_test_split()函数来划分您的数据。

语法

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
  • X和y分别代表属性矩阵和目标向量。

  • test_size表示将初始数据中的一部分用作验证集(通常为0.2或20%)。



  • random_state初始化控制数据分割的内部随机数生成器。

使用scikit-learn的train_test_split()函数切分数据

该操作功能强大,可以将数据划分为训练集和验证集。操作步骤如下:

  • 该示例展示了一个基本的训练测试切分,测试集大小为20%。

  • 80%的数据将构成训练集(X_train和y_train),剩余的20%将构成测试集(X_test和y_test)。

  • 每个集合中的具体数据点取决于输入数据和随机状态。

a. 基本的训练测试切分

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

输出结果

X_train, X_test, y_train, and y_test

b. 分层的训练测试拆分

  • 这个示例展示了一个分层的训练测试拆分。

  • stratify参数确保训练集和测试集中每个类别的比例与原始数据集中每个类别的比例相同。

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, stratify=y)

输出

X_train, X_test, y_train, and y_test

c. 训练验证测试分离

  • 这个实例展示了一个训练验证测试分离的过程。首先,数据被划分为一个训练集(占数据总量的60%)和一个临时集(占数据总量的40%)。

  • 然后,临时集进一步被分成一个验证集和一个测试集,每个集合占原始数据的20%。

X_train, X_temp, y_train, y_temp = train_test_split(X, y, test_size=0.4)
X_validation, X_test, y_validation, y_test = train_test_split(X_temp, y_temp, test_size=0.5)

输出

X_train, X_validation, X_test, y_train, y_validation, and y_test

带有洗牌的拆分

  • 此示例显示了启用洗牌的训练测试拆分。 shuffle参数确保在分区之前数据被任意洗牌。

  • 每个集合中的数据点将被随机洗牌。

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, shuffle=True)

输出

X_train, X_test, y_train, and y_test

e. 使用特定数据子集进行分割

  • 该示例展示了使用特定随机状态进行的训练集-测试集分割。random_state参数设置了随机数生成器的种子,确保每次执行代码时生成同样的训练集-测试集分割。



  • 由于固定的随机状态,每个集合中的数据点在多次运行中保持一致。

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

输出

X_train, X_test, y_train, and y_test

结论

来自scikit-learn的train_test_split()操作简化了将数据分割为训练集和验证集的任务。它是一个强大的函数,拥有许多参数,可以根据任务需求定制分割方式。

train_test_split()的灵活性使其能够适应各种情境,成为任何数据科学家或机器学习实践者工具库中不可或缺的工具。通过掌握如何巧妙地使用这个函数,



Python 精选笔记
如何从Python对象中获取源代码?如何在Python中返回一个函数?如何在Python中安装matplotlib?Python - 分割包含散乱字符的字符串Python - 记录列表XORPython – 向记录的末尾添加数据Python - 键值大于K的记录在Python中垂直打印列表Python - 列表中字符串平均长度Python列表中的交替循环Python程序实现混淆词游戏Python-记录联合Python程序计算列表中元组的重复项Python程序:将字符串的字符转换为相反的大小写Python - 打印给定年份列表中的闰年数量Python - 打印所有子列表中的共同元素Python - 删除嵌套列表中的所有元素如何在Python列表中检查空格?在Python中引发异常到另一个异常Python字符串中的范围复制Python程序计算包含列表的列表中列表的数量修改给定Python列表中的重复值Python - 检查元素是否在指定范围内出现从Python的元组列表中删除所有字符串如何使用Pygame添加颜色呼吸效果?如何在Bokeh中添加颜色条如何在Bokeh中添加颜色选择器?使用Python程序显示带有星边框的数字半菱形图案Python使用ipaddress模块确定给定的IPv4地址是否为保留地址使用ipaddress模块的Python程序来确定给定的IP地址是公网还是私网Python程序通过平方和连接给定数字的奇数位数来创建一个OTPPython程序创建以零为中心的列表Python程序计算字符串中的字符数Python程序将米转换为码,反之亦然Python程序:统计文本文件中的元音、行数和字符数Python程序计算文本文件中的单词数量Python程序,用于计算文本文件中空格的数量将字典的值转换为字符串的Python程序Python程序将浮点数转换为指数Python程序将整数转换为指数Python程序将整数转换为罗马数字将整数列表转换为字符串列表的Python程序Python程序将XML转换为字典Python程序:通过重复键对应的值次数将字典转换为列表将Dict of list转换为CSV的Python程序使用正则表达式统计Python程序中大写字母、小写字母、特殊字符和数字值的个数Python元组的并集Python - 嵌套和混合列表中的类型转换Python - 将列表转换为单值列表的元组如何在Python中打印上标和下标?如何在Python中打印多个参数?如何在Plotly-Python中将图例定位在图表内部?如何使用Pandas绘制时序图表?如何使用SciPy在Python中绘制Ricker曲线?如何在Python列表中删除True值?如何使用Python将字典的值转换为绝对值?如何使用Python将字典转换为K个大小的字典?如何使用Python将浮点数舍入到2位小数?如何在Python中将Excel转换为CSV如何在Python中对元组进行索引和切片?如何在Python中判断一个对象是否有属性?在Python中创建实例对象如何使用Python获取城市的经纬度?如何在Python中获取整数输入?如何交换给定 NumPy 数组的列?如何使用NumPy抑制对小数的科学计数法使用?如何使用Python将XML数据存储到MySQL数据库中?如何在Pandas DataFrame中减去两列?如何在Pandas DataFrame中标准化数据?如何堆叠多个Pandas DataFrames?如何使用scikit-learn的train_test_split()函数拆分数据集如何在Python中分割数据以进行训练和测试,而不使用Sklearn在Python set中找到最大值和最小值Python程序:找到长方体的体积、表面积和空间对角线如何在Python程序中获取字符串的K个可能切片如何使用Altair在Python中制作密度图?生成一次性密码(OTP)的Python程序Python程序:找出数组中可被给定数整除的元素的XOR寻找巨大最大公约数(Jumbo GCD)子数组的Python程序如何在OpenCV Python中查找图像轮廓的边界矩形?如何在Python脚本所在的目录中打开文件?如何在Anaconda中安装Python包?如何在OpenCV Python中旋转图像?如何给定完整路径导入Python模块?如何在Python中从另一个函数调用变量?使用Python的Matplotlib在X轴上绘制日期如何在Python中不使用math模块进行平方根运算?如何在Python Tkinter中给Frame添加边框?如何从Python函数返回一个字典?Python程序获取元组中的第一个和最后一个元素如何求一个Python字典的值的总和?Python Pandas - 查找列的最大值并返回其对应的行值机器人流程自动化 - 简介机器学习中的逻辑回归损失函数如何从Python日期中减去一天?将物联网和机器学习相结合,使我们的未来更智能机器学习中的Boosting | Boosting和AdaBoost如何在Python中将时间戳字符串转换为datetime对象?如何在Python中将变量名转换为字符串?什么是Python中的.pyc文件?Python - 检查列表中的所有元素是否相同如何在Python Plotly中设置Y轴的范围?如何将Python日期转换为Unix时间戳?Python中的Turtle绘图编程如何在Python中的给定位置插入一个对象到列表中?如何在Python中进行日期验证?如何使用Python将两个图并排显示?在Python中的方法和函数之间的区别Python中的PYTHONPATH环境变量是什么?如何对Python日期字符串列表进行排序?在Python的Pandas中向现有的DataFrame中添加新列如何将Python元组转换为字典?Python - 使用Pandas读取没有标题的csv文件?如何使用OpenCV Python在图像中检测矩形和正方形?如何使用OpenCV在Python中改变图像的对比度和亮度?如何在Python中将日期时间转换为UTC时间戳?如何列出Python模块中的所有函数?Python程序查找字符串中的所有重复字符使用Python进行文件搜索如何在Python Tkinter中更改按钮大小?如何在Python shell中了解/更改当前目录?如何在Python中检查一个字符是否为大写字母?如何在OpenCV Python中对图像进行归一化?在Python中更新列表如何在Python中生成不重复的随机数?Python中元素的频率列表在Python中for循环和while循环的区别如何在Python的Plotly中绘制多条线在同一Y轴上?如何从Python列表中删除一个对象?如何在Python中使用Matplotlib和Pandas绘制CSV数据?如何在Python中安装OpenCV?Python3程序,用于找到具有相同左右旋转的数字的最长子序列如何在Python字符串中检查空格?Python - 替代前后和Python - 检查浮点字符串Python3程序——在二进制字符串的任意旋转中找到连续放置在开头和结尾的0的最大数量Python中的Blackman窗Python3程序,用于在恒定时间内查询给定字符串的旋转和第K个字符如何在Python列表中添加后缀/前缀?Python – 按元组键聚合值Python - 检查降序排序的列表