OpenCV 图像拼接

图像拼接是计算机视觉中的一个重要应用，它可以将多张有重叠区域的图像拼接成一张更大的图像。

常见的应用场景包括全景图生成、卫星图像拼接等。

OpenCV 是一个强大的计算机视觉库，提供了丰富的工具来实现图像拼接。

本文将详细介绍如何使用 OpenCV 进行图像拼接，重点讲解特征点检测和匹配的技术。

应用场景

全景图生成: 将多幅图像拼接成一幅全景图。
地图拼接: 将多幅地图图像拼接成一幅更大的地图。
医学图像处理: 将多幅医学图像拼接成一幅完整的图像。

图像拼接的基本流程

图像拼接的基本流程可以分为以下几个步骤：

图像读取：读取需要拼接的图像。
特征点检测：在每张图像中检测出关键点（特征点）。
特征点匹配：在不同图像之间匹配这些特征点。
计算变换矩阵：根据匹配的特征点计算图像之间的变换矩阵。
图像融合：将图像按照变换矩阵进行拼接，并进行融合处理以消除拼接痕迹。

接下来，我们将详细讲解每个步骤的实现。

1. 图像读取

首先，我们需要读取需要拼接的图像。OpenCV 提供了 cv2.imread() 函数来读取图像。

实例

import cv2

# 读取图像
image1 = cv2.imread('image1.jpg')
image2 = cv2.imread('image2.jpg')

# 检查图像是否成功读取
if image1 is None or image2 is None:
print("Error: 无法读取图像")
exit()

2. 特征点检测

特征点检测是图像拼接的关键步骤。OpenCV 提供了多种特征点检测算法，如 SIFT、SURF、ORB 等。这里我们以 SIFT 为例进行讲解。

实例

# 创建 SIFT 检测器
sift = cv2.SIFT_create()

# 检测特征点和描述符
keypoints1, descriptors1 = sift.detectAndCompute(image1, None)
keypoints2, descriptors2 = sift.detectAndCompute(image2, None)

detectAndCompute() 函数会返回两个值：关键点（keypoints）和描述符（descriptors）。关键点是图像中的显著点，描述符是对这些关键点的描述，用于后续的匹配。

3. 特征点匹配

在检测到特征点后，我们需要在不同图像之间匹配这些特征点。OpenCV 提供了 BFMatcher 或 FlannBasedMatcher 来进行特征点匹配。

实例

# 创建 BFMatcher 对象
bf = cv2.BFMatcher()

# 使用 KNN 匹配
matches = bf.knnMatch(descriptors1, descriptors2, k=2)

# 应用比率测试，筛选出好的匹配
good_matches = []
for m, n in matches:
if m.distance < 0.75 * n.distance:
good_matches.append(m)

knnMatch() 函数会返回每个特征点的两个最佳匹配。我们通过比率测试（Lowe's ratio test）来筛选出好的匹配点。

4. 计算变换矩阵

在得到好的匹配点后，我们可以使用这些点来计算图像之间的变换矩阵。常用的变换矩阵有单应性矩阵（Homography），它可以将一张图像中的点映射到另一张图像中。

实例

# 提取匹配点的坐标
src_pts = np.float32([keypoints1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
dst_pts = np.float32([keypoints2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)

# 计算单应性矩阵
H, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)

findHomography() 函数会返回一个 3x3 的单应性矩阵 H，它可以将 image1 中的点映射到 image2 中。

5. 图像融合

最后，我们使用计算出的单应性矩阵将图像进行拼接，并进行融合处理以消除拼接痕迹。

实例

# 获取图像尺寸
h1, w1 = image1.shape[:2]
h2, w2 = image2.shape[:2]

# 计算拼接后图像的尺寸
pts = np.float32([[0, 0], [0, h1], [w1, h1], [w1, 0]]).reshape(-1, 1, 2)
dst = cv2.perspectiveTransform(pts, H)
[x_min, y_min] = np.int32(dst.min(axis=0).ravel() - 0.5)
[x_max, y_max] = np.int32(dst.max(axis=0).ravel() + 0.5)

# 计算平移矩阵
translation_matrix = np.array([[1, 0, -x_min], [0, 1, -y_min], [0, 0, 1]])

# 应用平移矩阵进行图像拼接
result = cv2.warpPerspective(image1, translation_matrix.dot(H), (x_max - x_min, y_max - y_min))
result[-y_min:h2 - y_min, -x_min:w2 - x_min] = image2

# 显示拼接结果
cv2.imshow('Result', result)
cv2.waitKey(0)
cv2.destroyAllWindows()

warpPerspective() 函数会根据单应性矩阵 H 对 image1 进行透视变换，并将其与 image2 进行拼接。

应用实现

以下是使用特征点检测和匹配进行图像拼接的完整代码：

实例

import cv2
import numpy as np

# 1. 加载图像
image1 = cv2.imread("path/to/image1.jpg")
image2 = cv2.imread("path/to/image2.jpg")

# 2. 转换为灰度图
gray1 = cv2.cvtColor(image1, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(image2, cv2.COLOR_BGR2GRAY)

# 3. 特征点检测
sift = cv2.SIFT_create()
keypoints1, descriptors1 = sift.detectAndCompute(gray1, None)
keypoints2, descriptors2 = sift.detectAndCompute(gray2, None)

# 4. 特征点匹配
matcher = cv2.BFMatcher()
matches = matcher.knnMatch(descriptors1, descriptors2, k=2)

# 5. 筛选匹配点
good_matches = []
for m, n in matches:
if m.distance < 0.75 * n.distance:
good_matches.append(m)

# 6. 计算单应性矩阵
if len(good_matches) > 10:
src_pts = np.float32([keypoints1[m.queryIdx].pt for m in good_matches]).reshape(-1, 1, 2)
dst_pts = np.float32([keypoints2[m.trainIdx].pt for m in good_matches]).reshape(-1, 1, 2)
H, _ = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
else:
print("Not enough matches found.")
exit()

# 7. 图像变换
height1, width1 = image1.shape[:2]
height2, width2 = image2.shape[:2]
warped_image = cv2.warpPerspective(image1, H, (width1 + width2, height1))

# 8. 图像拼接
warped_image[0:height2, 0:width2] = image2

# 9. 显示结果
cv2.imshow("Stitched Image", warped_image)
cv2.waitKey(0)
cv2.destroyAllWindows()

返回顶部

菜鸟教程