项目要点

_, ref = cv2.threshold(ref, 10, 255, cv2.THRESH_BINARY_INV) 二值化处理图片, 黑白化图片
ref = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) 灰度化处理
ref_contours, _ = cv2.findContours(ref.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) 计算轮廓
cv2.drawContours(img, ref_contours, -1, (0, 0, 255), 2) 画出外轮廓
image = cv2.resize(image, (300, int(h * r))) 等比例缩放原图 # r = width / w
顶帽运算: tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rect_kernel) 顶帽 = 原图 - 开运算开运算的效果是去除图像外的噪点, 原图 - 开运算就得到了去掉的噪点.
索贝尔算子: grad_x = cv2.Sobel(tophat, ddepth = cv2.CV_32F, dx = 1, dy = 0, ksize = -1) 边缘检测, 一般先分别求x, y 方向上的检测结果, 再进行合并 .
闭操作: grad_x = cv2.morphologyEx(grad_x, cv2.MORPH_CLOSE, rect_kernel) 闭运算 = 膨胀 + 腐蚀填充图像内部的噪点 .
_, thresh = cv2.threshold(grad_x, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU) 大津算法找到合适的阈值进行全局二值化主要是通过阈值进行前后背景分割 .
模板匹配: result = cv2.matchTemplate(roi, digit_roi, cv2.TM_CCOEFF)

信用卡识别项目

基本思路:

总体思路就是取出信用卡中每一个数字作为去和模板中的10个数字进行模板匹配操作.

先对模板处理, 获取每个数字的模板及其对应的数字标识.
再对信用卡处理, 通过一系列预处理操作, 取出信用卡数字区域.
然后再取出每一个数字去和模板中的10个数字进行匹配.

1 先对模板处理

1.1 显示原始图片

# 先处理数字模板的图片
import cv2
import numpy as np

# 模板图片
img = cv2.imread('./ocr_a_reference.png')
def cv_show(name, img):    # 封装显示的函数
    cv2.imshow(name, img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

print(img.shape)    # (126, 800, 3)
cv_show('img', img)

1.2 灰度化处理

ref = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)   # 灰度化处理
cv_show('ref', ref)
print(ref.shape)   # (126, 800)

1.3 二值化图片

# 二值化处理
_, ref = cv2.threshold(ref, 10, 255, cv2.THRESH_BINARY_INV)
cv_show('ref', ref)

1.4 描绘轮廓

# 计算轮廓
ref_contours,_=cv2.findContours(ref.copy(),cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
# 画出外轮廓
cv2.drawContours(img, ref_contours, -1, (0, 0, 255), 2)
cv_show('img', img)
print(np.array(ref_contours).shape)   # (10,)

1.5 外接矩形

# 对轮廓进行排序, 按照数字大小进行排序, 方便使用
# 排序思路:根据每个数字的最大外接矩形的X轴坐标进行排序
# 计算每个轮廓的外接矩形
bounding_boxes = [cv2.boundingRect(c) for c in ref_contours]
print(len(bounding_boxes))   # 10
sorted(bounding_boxes, key = lambda b : b[0])
print('---------\n', bounding_boxes[0][:2])   # (15, 20)
cv2.rectangle(img, bounding_boxes[0][:2], (bounding_boxes[0][0]+bounding_boxes[0][2],
                                           bounding_boxes[0][1]+bounding_boxes[0][3]), (255, 0, 0), 2)
# * 去中括号                                            
(ref_contours, bounding_boxes) = zip(*sorted(zip(ref_contours, bounding_boxes), key = lambda b : b[1][0]))
digits = {}
for (i, c) in enumerate(ref_contours):
    # 重新计算外接矩形
    (x, y, w, h) = cv2.boundingRect(c)
    # region of interest 感兴趣的区域,取出每个数字
    roi = ref[y: y+h, x: x+ w]
    # resize 成合适的图像
    roi = cv2.resize(roi, (57, 88))
    digits[i] = roi

print(len(digits))   # 10
cv_show('img', img)

digits 是一个数字和特征对应的字典 .

2 信用卡处理

2.1 信用卡图片

# 对信用卡图片进行处理
image = cv2.imread('./credit_card_01.png')
print(image.shape)   # (368, 583, 3)
cv_show('img',image)

2.2 调整图片尺寸

# 对信用卡图片resize
# 保证原图不拉伸, 计算原图的长宽比
h, w = image.shape[:2]
width = 300
r = width / w
image = cv2.resize(image, (300, int(h * r)))  # 等比例缩放原图
print(image.shape)  # (189, 300, 3)
cv_show('image', image)

2.3 灰度化处理图片

# 灰度化处理
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
print(gray.shape)    # (189, 300)
cv_show('image', gray)

2.4 顶帽操作

# 形态学操作
# 顶帽操作,突出明亮区,初始化卷积核, 去除图像外的噪点
rect_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 3))
tophat = cv2.morphologyEx(gray, cv2.MORPH_TOPHAT, rect_kernel)
print(tophat.shape)   # (189, 300)
cv_show('tophat', tophat)

2.5 索贝尔算子

# 索贝尔算子, 计算图像轮廓
grad_x = cv2.Sobel(tophat, ddepth = cv2.CV_32F, dx = 1, dy = 0, ksize = -1)
grad_x = np.absolute(grad_x)
# 再把grad_x 变成0 到255 之间的整数
min_val, max_val = np.min(grad_x), np.max(grad_x)
grad_x = ((grad_x - min_val)/ (max_val - min_val)) * 255   # 归一化 ?
# 修改 数据类型
grad_x = grad_x.astype('uint8')
cv_show('grad_x', grad_x)  # 只用X方向的值

# 计算y轴梯度
grad_y = cv2.Sobel(tophat, ddepth = cv2.CV_32F, dx = 0, dy = 1, ksize = -1)
grad_y = np.absolute(grad_y)
# 再把grad_y 变成0 到255 之间的整数
min_val, max_val = np.min(grad_y), np.max(grad_y)
grad_y = ((grad_y - min_val)/ (max_val - min_val)) * 255
# 修改 数据类型
grad_y = grad_y.astype('uint8')

cv_show('grad_y', grad_y)
cv_show('gray', grad_x + grad_y)

. y轴的索贝尔算子梯度 . 索贝尔算子合并后效果

2.6 闭操作

# 闭操作 ,先膨胀,再腐蚀, 填充内部噪点
grad_x = cv2.morphologyEx(grad_x, cv2.MORPH_CLOSE, rect_kernel)
cv_show('grad_x', grad_x)

2.7 大津算法

# 大津算法找到合适的阈值进行全局二值化, 区分前景背景
_, thresh = cv2.threshold(grad_x, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)
cv_show('thresh', thresh)

2.8 继续闭运算

# 再来闭操作, 中间还有空洞  5 * 5 的卷积核放入, 减少内部噪点
sq_kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5))
thresh = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, sq_kernel)
cv_show('thresh', thresh)

2.9 寻找轮廓

# 找轮廓
thresh_contours, _ = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# 在原图画轮廓
image_copy = image.copy()
cv2.drawContours(image_copy, thresh_contours, -1, (0, 0, 255), 3)
cv_show('image', image_copy)

2.10 查找信用卡数字区

根据信用卡数字区的长宽特征, 找出数字区域 .

# 定义每一组匹配到的值的列表
# 遍历轮廓, 计算外接矩形,然后根据信用卡的长宽比,找到数字区
locs = []
for c in thresh_contours:
    # 计算外接矩形
    (x, y, w, h) = cv2.boundingRect(c)
    # 计算外接矩形的长宽比例
    ar = w / float(h)
    # 选择合适的区域
    if ar > 2.5 and ar < 4.0:
        # 根据实际的长宽进一步的筛选
        if (w > 40 and w < 55) and (h > 10 and h < 20):
            locs.append((x, y, w, h))

print(locs)  
# [(224, 102, 52, 14), (157, 102, 51, 14), (90, 102, 51, 14), (24, 102, 50, 14)]

3 模板匹配

# 对符合的轮廓进行排序
# 遍历每个外接矩形,通过外接矩形可以把原图中的数字抠出来
sorted(locs, key = lambda x : x[0])
out_put = []
for (i , (gx, gy, gw, gh)) in enumerate(locs):
    # 扣除数字,外轮廓留预值
    # 根据坐标调出在原图的位置截图
    group = gray[gy - 5 : gy + gh + 5, gx - 5: gx+ gw + 5]   # gray 是灰度化处理后的图片
    
    # 对取出的灰色group做全局二值化处理, 黑白图
    group = cv2.threshold(group, 0, 255, cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
    
    # 计算轮廓
    digit_contours, _ = cv2.findContours(group.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    # 对轮廓进行排序
    bounding_boxes = [cv2.boundingRect(c) for c in digit_contours]
    (digit_contours, _) = zip(*sorted(zip(digit_contours, bounding_boxes), key = lambda b : b[1][0]))
    
    # print(len(digit_contours))   # 4 每次是四个数字, 每个数字的轮廓
    group_output = []
    # 遍历排好序的轮廓, 每个digit_contours 为每个数字的元组
    for c in digit_contours:
        # 找到当前的轮廓,resize成合适的大小, 进行模板匹配
        (x, y , w, h) = cv2.boundingRect(c)
        # 取出数字
        roi = group[y : y+ h, x : x + w]
        roi = cv2.resize(roi, (57, 88))
        # cv_show('roi', roi)   # 显示每个数字
        
        # 进行模板匹配, 定义保存匹配得分的列表
        scores = []
        for (digit, digit_roi) in digits.items():
            result = cv2.matchTemplate(roi, digit_roi, cv2.TM_CCOEFF)
            # 只要最大值分数
            (_, score, _, _) = cv2.minMaxLoc(result)
            scores.append(score)

        # 找到分数最高的数字, 即匹配到的数字
        group_output.append(str(np.argmax(scores)))
        # print(scores)    # 第一列在 9位置的值: -5058846.5
        # print(group_output)  # 第一个值是 ['9']

    out_put = group_output + out_put
    # 画出轮廓显示数字
    cv2.rectangle(image, (gx - 5, gy - 5), (gx + gw + 5, gy + gh + 5), (0, 0, 255), 1)
    cv2.putText(image, ''.join(group_output), (gx, gy - 15), cv2.FONT_HERSHEY_SIMPLEX, 0.6, (0, 0, 255), 2)
cv_show('image', image)
print(out_put)    # ['4', '0', '0', '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', '0', '1', '0']
car_num = ''
for i in out_put:
    car_num += str(i)
print('信用卡账号:',car_num)    # 信用卡账号: 4000123456789010