OpenCV-Python 使用 kNN 进行手写识别|极客笔记

在本章

我们将使用我们在 kNN 上的知识来构建基本的 OCR 应用程序。
我们将尝试使用 OpenCV 自带的数字和字母数据。

手写数字的 OCR

我们的目标是构建一个可以读取手写数字的应用程序。为此，我们需要一些训练数据和测试数据。OpenCV 自带了一张图片 digits.png（在文件夹 opencv/samples/data/ 中），它有 5000 个手写数字（每个数字 500 个）。每个数字是 20×20 图像。所以我们的第一步是将这个图片分成 5000 个不同的数字。对于每个数字，我们将其展平为一个 400 像素的行。这是我们的特征集，即所有像素的强度值。这是我们可以创建的最简单的特征集。我们使用每个数字的前 250 个样本作为训练数据，接下来 250 个样本作为测试数据。所以让我们先做好准备吧。

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt

img = cv.imread('digits.png')
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)

# Now we split the image to 5000 cells, each 20x20 size
cells = [np.hsplit(row,100) for row in np.vsplit(gray,50)]

# Make it into a Numpy array. It size will be (50,100,20,20)
x = np.array(cells)

# Now we prepare train_data and test_data.
train = x[:,:50].reshape(-1,400).astype(np.float32) # Size = (2500,400)
test = x[:,50:100].reshape(-1,400).astype(np.float32) # Size = (2500,400)

# Create labels for train and test data
k = np.arange(10)
train_labels = np.repeat(k,250)[:,np.newaxis]
test_labels = train_labels.copy()

# Initiate kNN, train the data, then test it with test data for k=1
knn = cv.ml.KNearest_create()
knn.train(train, cv.ml.ROW_SAMPLE, train_labels)
ret,result,neighbours,dist = knn.findNearest(test,k=5)

# Now we check the accuracy of classification
# For that, compare the result with test_labels and check which are wrong
matches = result==test_labels
correct = np.count_nonzero(matches)
accuracy = correct*100.0/result.size
print( accuracy )

到这里，我们的基础 OCR 应用已经准备好了。这个特定的例子给了我 91％的准确率。提高准确性的一个选择是为训练添加更多数据，尤其是错误的数据。因此，为了避免每次都要启动程序找这些训练数据，我最好保存他们，以便下次我直接从文件中读取这些数据并开始分类。你可以借助 np.savetxt、np.savez、np.load 等 Numpy 函数来完成。请查看它们的文档以获取更多详细信息。

# save the data
np.savez('knn_data.npz',train=train, train_labels=train_labels)

# Now load the data
with np.load('knn_data.npz') as data:
    print( data.files )
    train = data['train']
    train_labels = data['train_labels']

在我的系统中，这需要大约 4.4 MB 的内存。由于我们使用强度值（uint8 数据）作为特征，最好先将数据转换为 np.uint8 然后保存。在这种情况下，它只需要 1.1 MB。然后在加载时，你可以转换回 float32。

英文字母的 OCR

接下来我们将对英文字母执行相同操作，但数据和特征集略有变化。在这里，我们用 OpenCV 自带的数据文件，opencv/samples/cpp/（译者注：应为 opencv/samples/data）目录里的 letter-recognition.data，来代替图像数据。如果你打开它，你会看到 20000 行，乍一看，有点像垃圾数据。实际上，在每一行中，第一列是一个字母，它也是我们的标签，接下来的 16 个数字是它的不同特征。这些特征可从UCI 机器学习库获得，你可以在此页面中找到这些特征的详细信息。

有 20000 个样本可用，因此我们首先将 10000 个数据作为训练样本，剩余 10000 个作为测试样本。我们应该将字母转为 ascii 字符，因为我们无法直接处理字母。

import cv2 as cv
import numpy as np
import matplotlib.pyplot as plt

# Load the data, converters convert the letter to a number
data= np.loadtxt('letter-recognition.data', dtype= 'float32', delimiter = ',',
                    converters= {0: lambda ch: ord(ch)-ord('A')})

# split the data to two, 10000 each for train and test
train, test = np.vsplit(data,2)

# split trainData and testData to features and responses
responses, trainData = np.hsplit(train,[1])
labels, testData = np.hsplit(test,[1])

# Initiate the kNN, classify, measure accuracy.
knn = cv.ml.KNearest_create()
knn.train(trainData, cv.ml.ROW_SAMPLE, responses)
ret, result, neighbours, dist = knn.findNearest(testData, k=5)

correct = np.count_nonzero(result == labels)
accuracy = correct*100.0/10000
print( accuracy )

此程序给我的准确率为 93.22％。同样，如果您想提高准确率，可以在每个级别迭代添加错误数据。