知识重点

高斯金字塔pyrDown向下采样: dst = cv2.pyrDown(img) # 每次处理后, 结果图像是原来的1/4.
pyrUp 向上采样: dst = cv2.pyrUp(img) # 放大图片
拉普拉斯金字塔保留的就是残差: img- PyrUp(PyrDown(img))
统计直方图: hist = cv2.calcHist([img], [0], None, [256], [0, 255])
通过掩码截取部分图像: cv2.bitwise_and(img, img, mask = mask) # mask[200:400, 200:400] = 255
均衡化处理: dark_equ = cv2.equalizeHist(gray_dark)

8.图像金字塔

8.1 图像金字塔介绍

图像金字塔是图像中多尺度表达的一种，最主要用于图像的分割，是一种以多分辨率来解释图像的有效但概念简单的结构。简单来说, 图像金字塔是同一图像不同分辨率的子图集合.

图像金字塔最初用于机器视觉和图像压缩，一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。

常见两类图像金字塔

高斯金字塔 ( Gaussian pyramid): 用来向下/降采样，主要的图像金字塔
拉普拉斯金字塔(Laplacian pyramid): 用来从金字塔低层图像重建上层未采样图像，在数字图像处理中也即是预测残差，可以对图像进行最大程度的还原，配合高斯金字塔一起使用。

8.2 高斯金字塔

高斯金字塔是通过高斯平滑和亚采样获得一系列下采样图像.

原理非常简单, 如下图所示:

原始图像 M * N -> 处理后图像 M/2 * N/2.

每次处理后, 结果图像是原来的1/4.

注意: 向下采样会丢失图像信息.

向上取样, 向上取样是向下取样的相反过程, 是指图片从小变大的过程.

8.2.1 pyrDown 向下采样

import cv2
import numpy as np

img = cv2.imread('./lena.png')
# 分辨率减少的操作
dst = cv2.pyrDown(img)
print(img.shape,dst.shape)   # (512, 512, 3) (256, 256, 3)

cv2.imshow('img',img)
cv2.imshow('dst', dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

8.2.2 pyrUp 向上采样

import cv2
import numpy as np

img = cv2.imread('./lena.png')
# 分辨率减少的操作
dst = cv2.pyrUp(img)
print(img.shape,dst.shape)   # (512, 512, 3) (1024, 1024, 3)

cv2.imshow('img',img)
cv2.imshow('dst', dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

8.2.3 取样可逆性研究

在根据向上和向下取样的原理, 我们能够发现图像在变大变小的过程中是有信息丢失的. 即使把图片变回原来大小,图片也不是原来的图片了, 而是损失了一定的信息.

import cv2
import numpy as np

img = cv2.imread('./lena.png')
# 分辨率减少的操作
dst = cv2.pyrDown(img)
dst = cv2.pyrUp(dst)
print(img.shape,dst.shape)   # (512, 512, 3) (512, 512, 3)

cv2.imshow('img',img)
cv2.imshow('dst', dst)
cv2.imshow('loss', img - dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

8.3 拉普拉斯金字塔

将降采样之后的图像再进行上采样操作，然后与之前还没降采样的原图进行做差得到残差图！为还原图像做信息的准备！也就是说，拉普拉斯金字塔是通过源图像减去先缩小后再放大的图像的一系列图像构成的。保留的是残差！

import cv2
import numpy as np

img = cv2.imread('./lena.png')
# 分辨率减少的操作
dst = cv2.pyrDown(img)
dst = cv2.pyrUp(dst)
# 原图和高斯金字塔的差就是拉普拉斯金字塔
lap0 = img - dst

print(img.shape,dst.shape)  # (512, 512, 3) (512, 512, 3)
cv2.imshow('img',img)
cv2.imshow('lap0',lap0 )

# 第二层拉普拉斯, 就是在第一次拉普拉斯的基础上继续求拉普拉斯残差
dst1 = cv2.pyrDown(dst)
dst1 = cv2.pyrUp(dst1)
# 原图和高斯金字塔的差就是拉普拉斯金字塔
lap1 = dst - dst1

cv2.imshow('lap1',lap1 )
cv2.waitKey(0)
cv2.destroyAllWindows()

9 图像直方图

9.1 图想直方图的基本概念

在统计学中，直方图是一种对数据分布情况的图形表示，是一种二维统计图表.

图像直方图是用一表示数字图像中亮度分布的直方图，标绘了图像中每个亮度值的像素数。可以借助观察该直方图了解需要如何调整亮度分布的直方图。这种直方图中，横坐标的左侧为纯黑、较暗的区域，而右侧为较亮、纯白的区域。因此，一张较暗图片的图像直方图中的数据多集中于左侧和中间部分，而整体明亮、只有少量阴影的图像则相反。

横坐标: 图像中各个像素点的灰度级.
纵坐标: 具有该灰度级的像素个数.

归一化直方图
- 横坐标: 图像中各个像素点的灰度级
- 纵坐标: 出现这个灰度级的概率
直方图术语：
- dims：需要统计的特征的数目。例如：dims=1，表示我们仅统计灰度值。
- bins：每个特征空间子区段的数目。

9.2 使用OpenCV统计直方图

calcHist(images, channels, mask, histSize, ranges[, hist[, accumulate]])
- images: 原始图像
- channels: 指定通道.
  - 需要用中括号括起来, 输入图像是灰度图像是, 值是[0], 彩色图像可以是[0], [1], [2], 分别对应B,G,R.
- mask: 掩码图像
  - 统计整幅图像的直方图, 设为None
  - 统计图像某一部分的直方图时, 需要掩码图像.
- histSize: BINS的数量
  - 需要用中括号括起来, 例如[256]
- ranges: 像素值范围, 例如[0, 255]
- accumulate: 累积标识
  - 默认值为False
  - 如果被设置为True, 则直方图在开始分配时不会被清零.
  - 该参数允许从多个对象中计算单个直方图, 或者用于实时更新直方图.
  - 多个直方图的累积结果, 用于对一组图像计算直方图.

import cv2
import numpy as np
import matplotlib.pyplot as plt

img = cv2.imread('./lena.png')
hist = cv2.calcHist([img], [0], None, [256], [0, 255])  # channels 通道
print(len(hist))   # 256

# 画图操作
plt.subplot(131)   # 1行3列第一个
plt.imshow(img, cmap='gray')
plt.subplot(132)
plt.hist(img.ravel(), 256)
plt.subplot(133)
plt.plot(hist, color='red')
plt.show()

9.3 使用OpenCV绘制直方图

可以利用 matplotlib 把OpenCV统计得到的直方图绘制出来.

import cv2
import numpy as np
import matplotlib.pyplot as plt
img = cv2.imread('./lena.png')

# 统计直方数据
histb = cv2.calcHist([img], [0], None, [256], [0, 256])
histg = cv2.calcHist([img], [1], None, [256], [0, 256])
histr = cv2.calcHist([img], [2], None, [256], [0, 256])

plt.plot(histb, color = 'b')
plt.plot(histg, color = 'g')
plt.plot(histr, color = 'r')
plt.show()

9.4 使用掩膜的直方图

掩膜

如何生成掩膜
- 生成一个全黑的和原始图片大小一样大的图片. mask = np.zeros(image.shape, np.uint8)
- 将想要的区域通过索引方式设置为255. mask[100:200,, 200: 300] = 355

import cv2
import numpy as np
import matplotlib.pyplot as plt

img = cv2.imread('./lena.png')
# 黑白图
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 生成掩膜图像
mask = np.zeros(gray.shape, np.uint8)
# 设置想要统计直方图的区域
mask[200:400, 200:400] = 255
hist_mask = cv2.calcHist([gray], [0], mask, [256], [0, 255])
hist_gray = cv2.calcHist([gray], [0], None, [256], [0, 255])

plt.plot(hist_mask, color = 'r', label = 'mask')
plt.plot(hist_gray, label = 'gray')
# plt.plot(mask, color = 'g')
plt.legend()
# cv2.imshow('a+b', mask + gray)
cv2.imshow('mask',mask)
cv2.imshow('gray', gray)

# 位运算
cv2.imshow('mask_gray', cv2.bitwise_and(img, img, mask = mask))
cv2.waitKey(0)
cv2.destroyAllWindows()

9.5 直方图均衡化原理

直方图均衡化是通过拉伸像素强度的分布范围，使得在0~255灰阶上的分布更加均衡，提高了图像的对比度，达到改善图像主观视觉效果的目的。对比度较低的图像适合使用直方图均衡化方法来增强图像细节。

原理:

计算累计直方图
讲累计直方图进行区间转换
在累计直方图中, 概率相近的原始值, 会被处理为相同的值

equalizeHist(src[, dst])

src 原图像
dst 目标图像, 即处理结果

import cv2
import numpy as np
import matplotlib.pyplot as plt

lena = cv2.imread('./lena.png')
gray = cv2.cvtColor(lena, cv2.COLOR_BGR2GRAY)
# 进行均衡化处理
gray_equ = cv2.equalizeHist(gray)

# 查看各自的直方图
hist_gray = cv2.calcHist([gray], [0], None, [256], [0, 255])
hist_gray_equ = cv2.calcHist([gray_equ], [0], None, [256], [0, 255])
# 画出直方图
plt.plot(hist_gray, label = 'gray')
plt.plot(hist_gray_equ, label = 'equ')
plt.legend()

cv2.imshow('gray_dark', np.hstack((gray, gray_equ)))
cv2.waitKey(0)
cv2.destroyAllWindows()

均衡化前后灰度值对比 .

import cv2
import numpy as np
import matplotlib.pyplot as plt

lena = cv2.imread('./lena.png')
gray = cv2.cvtColor(lena, cv2.COLOR_BGR2GRAY)
gray_dark = gray - 40    # lena变黑
gray_bright = gray + 40  # lena 变亮
# 查看各自的直方图
hist_gray = cv2.calcHist([gray], [0], None, [256], [0, 255])
hist_dark = cv2.calcHist([gray_dark], [0], None, [256], [0, 255])
hist_bright = cv2.calcHist([gray_bright], [0], None, [256], [0, 255])
# 画出直方图
plt.plot(hist_gray, label = 'gray')
plt.plot(hist_dark, label = 'dark')
plt.plot(hist_bright, label = 'bright')
plt.legend()

# 进行均衡化处理
dark_equ = cv2.equalizeHist(gray_dark)
bright_equ = cv2.equalizeHist(gray_bright)
# 查看均衡化之后的直方图
hist_dark_equ = cv2.calcHist([dark_equ], [0], None, [256], [0, 255])
hist_bright_equ = cv2.calcHist([bright_equ], [0], None, [256], [0, 255])

cv2.imshow('gray_dark', np.hstack((gray_dark, dark_equ)))
cv2.imshow('gray_dark_bright', np.hstack((gray_dark, bright_equ)))
cv2.waitKey(0)
cv2.destroyAllWindows()