极客笔记Numpy 读取同时包含浮点数和字符串的文本文件
在数据分析中，我们常常需要读取包含不同数据类型的文本文件，例如同时包含浮点数和字符串。Numpy是一个重要的Python库，它提供了一些非常方便的函数来读取文本文件。在本篇文章中，我们将会介绍如何使用Numpy来读取同时包含浮点数和字符串的文本文件。
阅读更多：Numpy 教程
什么是Numpy？
Numpy是一个基于Python的科学计算库，它提供了高效的数组和矩阵数据结构，并且提供了各种各样的数学函数来进行科学计算，例如线性代数、傅里叶变换、随机数生成等。Numpy是很多其他科学计算库的基础，例如Pandas、Scikit-learn等。
Numpy.loadtxt的常规使用
Numpy提供了loadtxt函数来读取文本文件，其常规用法为:
data = np.loadtxt(filename, delimiter=',', skiprows=1, dtype=float)
其中，filename是文件名，delimiter是分隔符，skiprows是需要跳过的行数，dtype是数据类型。如果不指定dtype，则默认为float。
例如，我们有一个名为data.txt的文本文件，内容如下：
name,age,height
Tom,29,175
Jerry,28,165
我们可以使用以下代码读取该文件：
import numpy as np
data = np.loadtxt('data.txt', delimiter=',', skiprows=1, dtype=str)
结果为：
array([['Tom', '29', '175'],
['Jerry', '28', '165']], dtype='<U5')
从结果可以看出，loadtxt函数返回了一个二维数组，每一行对应文件中的一行，每一列对应一个数据。这里因为我们不指定数据类型，所以Numpy将所有的数据全部转成了字符串类型。
同时包含浮点数和字符串的文本文件
同样的，我们可以使用loadtxt函数来读取同时包含浮点数和字符串的文本文件。例如，我们有一个名为data2.txt的文本文件，内容如下：
name,age,height,weight
Tom,29,175,70.5
Jerry,28,165,54.3
我们可以使用以下代码读取该文件：
import numpy as np
data = np.loadtxt('data2.txt', delimiter=',', skiprows=1, dtype={'names': ('name', 'age', 'height', 'weight'), 'formats': ('U10', 'i4', 'f4', 'f4')})
参数dtype用于指定数据类型，格式为一个字典，其中names是列名，formats是数据类型，均为元组。“U10”代表字符串，长度为10，“i4”代表32位整数，“f4”代表32位浮点数。注意，字符串是以“U”开头的，其后跟着的数字代表字符串的长度。
结果为：
array([('Tom', 29, 175. , 70.5), ('Jerry', 28, 165. , 54.3)],
dtype=[('name', '<U10'), ('age', '<i4'), ('height', '<f4'), ('weight', '<f4')])
从结果中可以看出，loadtxt函数返回了一个一维结构化数组，每个元素对应文件中的一行。每个元素的类型为dtype所指定的结构化类型。
我们可以使用以下方法来访问结构化数组中的元素：
data['name']
data['age']
data['height']
data['weight']
读取含有缺失值的文本文件
在现实中，我们常常会遇到文件中存在缺失值的情况。Numpy提供了一些参数来解决这个问题。
例如，我们有一个名为data3.txt的文本文件，内容如下：
name,age,height,weightTom,29,175,
Jerry,28,,54.3
Spike,,170,65.2
我们可以使用以下代码读取该文件：
import numpy as np
data = np.loadtxt('data3.txt', delimiter=',', skiprows=1, dtype={'names': ('name', 'age', 'height', 'weight'), 'formats': ('U10', 'f4', 'f4', 'f4')}, missing_values=['', 'NA', 'N/A'], filling_values=[np.nan, np.nan, np.nan, np.nan])
在dtype中，我们为age、height、weight都指定了浮点数类型，字符串类型自动转换为缺失值。在missing_values中，我们指定了缺失值的字符串，即“”，“NA”，“N/A”。在filling_values中，我们指定了缺失值的填充值，即np.nan。
结果为：
array([('Tom', 29., 175., nan), ('Jerry', 28., nan, 54.3),
('Spike', nan, 170., 65.2)],
dtype=[('name', '<U10'), ('age', '<f4'), ('height', '<f4'), ('weight', '<f4')])
从结果中可以看出，结构化数组中包含了缺失值，值为np.nan。我们可以使用以下方法来判断是否存在缺失值：
np.isnan(data['age'])
np.isnan(data['height'])
np.isnan(data['weight'])
总结
在这篇文章中，我们学习了如何使用Numpy来读取同时包含浮点数和字符串、含有缺失值的文本文件。使用Numpy来读取文本文件可以大大提高数据读取的效率，并且方便数据的进一步处理和分析。不过需要注意的是，在读取含有缺失值的文件时，需要使用missing_values和filling_values参数来处理缺失值。