Các giải thuật Feature matching (so khớp đặc trưng)

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

2.4. Lý thuyết xử lý ảnh và các hàm hỗ trợ bởi OpenCV

2.4.5. Các giải thuật Feature matching (so khớp đặc trưng)

Class lữu trữ kết quả so khớp của các giải thuật matching, bao gồm các thông tin như chỉ số của descriptor truy vấn (gọi là query), chỉ số của descriptor mẫu (được gọi là train), chỉ số hình ảnh trong tập mẫu và khoảng cách giữa các descriptors.

struct DMatch {

// query descriptor index int queryIdx;

// train descriptor index int trainIdx;

// train image index int imgIdx;

// distance between descriptors float distance;

};

DescriptorMatcher

Các giải thuật so khớp keypoints descriptors được bao bọc (wrapper) nhiều interface nhằm giúp dễ dàng cho việc chuyển đổi các giải thuật khác nhau để giải quyết cùng một vấn đề.

Tất cả các class cài đặt giải thuật descriptor matcher đều thừa kế DescriptorMatcher

interface.

class DescriptorMatcher : public Algorithm

Abstract class (lớp trừa tượng) cài đặt các giải thuật matching keypoint descriptors, bao gồm 2 nhóm:

• So khớp descriptors của một hình ảnh với một descriptors của một hình ảnh khác

• So khớp descriptors của một hình ảnh với một descriptors của một tập các hình ảnh Phạm vi bài toán của tôi thuộc trường hợp 1 do đó tôi sẽ giới thiệu chi tiết các hàm các hàm sử dụng ở trường hợp này.

DescriptorMatcher::match

So khớp query descriptors với train descriptors, tìm kết quả so khớp tốt nhất.

void DescriptorMatcher::match(const Mat& queryDescriptors, const Mat&

trainDescriptors, CV_OUT vector<DMatch>& matches, const Mat& mask = Mat()) const

Trong đó,

• queryDescriptors – Descriptors của hình ảnh query

• trainDescriptors – Descriptor của hình ảnh train

• matches – Kết quả của so khớp DescriptorMatcher::knnMatch

So khớp query descriptors với train descriptors, tìm đúng k kết quả so khớp thay vì 1 kết quả như DescriptorMatcher::match.

void DescriptorMatcher::knnMatch(const Mat& queryDescriptors, const Mat&

trainDescriptors, vector<vector<DMatch> >& matches, int k, const Mat& mask = Mat(), bool compactResult = false) const

Trong đó,

• matches – Kết của của so khớp, trong đó matches[i] chứa k hoặc ít hơn k kết quả

• k – Số lượng matches cần tìm trên mỗi query descriptor Các đối số còn lại giống như DescriptorMatcher::match. BFMatcher

Class cài đặt giải thuật Brute-Force matcher. Cách thức hoạt động khá đơn giản, nó lấy descriptor của từng keypoint ở query descriptor so với descriptor của tất cả keypoints ở train descriptor bằng cách tính toán các khoảng cách và trả về DMatch có distance nhỏ nhất.

Đây là phương pháp vét cạn nên tốn nhiều thời gian nhưng hiệu quả cao.

class BFMatcher : public DescriptorMatcher

Phương thức khởi tạo:

BFMatcher(int normType = NORM_L2, bool crossCheck = false)

Trong đó,

• normType – Các giá trị có thể sử dụng

◦ NORM_L1 , NORM_L2: thường được sử dụng với SIFT và SURF descriptors

◦ NORM_HAMMING: thường được sử dụng với ORB, BRISK, BRIEF

◦ NORM_HAMMING2: thường được sử dụng với ORB mà giá trị WTA_K = 3 và 4

• crossCheck – Chỉ thay đổi giá trị thành true nếu sử dụng giải thuật so khớp

DescriptorMatcher::knnMatch

FlannBasedMatcher

Class cài đặt giải thuật Flann-based matcher. FLANN (Fast Library for Approximate Nearest Neighbors) chứa một bộ sưu tập các giải thuật tối ưu cho việc tìm kiếm nhanh trong các tập dữ liệu lớn, có số chiều (dimensional) cao.

Đối với tập dữ liệu lớn, giải thuật này hiệu quả hơn giải thuật BFMatcher rất nhiều.

class FlannBasedMatcher: public DescriptorMatcher

Ví dụ 2.14: Tìm keypoints và tính descriptors của query image và train image sau đó kiểm tra xem query image có phải là train image hay không?

#include "opencv2/opencv.hpp"

using namespace cv;

Mat colorQueryImage, grayQueryImage, queryDescriptors;

vector<KeyPoint> queryKeyPoints;

Mat colorTrainImage, grayTrainImage, trainDescriptors;

vector<KeyPoint> trainKeyPoints;

int main(int argc, char const* argv[]) {

colorQueryImage = imread(argv[1], IMREAD_COLOR);

colorTrainImage = imread(argv[2], IMREAD_COLOR);

cvtColor(colorQueryImage, grayQueryImage, COLOR_BGR2GRAY);

cvtColor(colorTrainImage, grayTrainImage, COLOR_BGR2GRAY);

int nfeatures = 500;

float scaleFactor = 1.2f;

int nlevels = 8;

int edgeThreshold = 5;

int firstLevel = 0;

int WTA_K = 2;

int scoreType = ORB::FAST_SCORE;

int patchSize = 31;

ORB orb(nfeatures, scaleFactor, nlevels, edgeThreshold, firstLevel, WTA_K, scoreType, patchSize);

orb(grayQueryImage, noArray(), queryKeyPoints, queryDescriptors, false);

orb(grayTrainImage, noArray(), trainKeyPoints, trainDescriptors, false);

BFMatcher matcher(NORM_HAMMING);

vector<DMatch> matches;

matcher.match(queryDescriptors, trainDescriptors, matches);

// Only filter actual matches (or best matches) Point queryPoint, trainPoint;

for (size_t i = 0; i < matches.size(); i++) {

// Extract coordinates points from a keypoints set queryPoint = queryKeyPoints[matches[i].queryIdx].pt;

trainPoint = trainKeyPoints[matches[i].trainIdx].pt;

// Two points have actual match together if and

// only if coordinates absolute between them is less than 10

if (abs(queryPoint.x - trainPoint.x) > 10 || abs(queryPoint.y - trainPoint.y) > 10) {

matches.erase(matches.begin() + i);

i--;

} }

// Draw keypoints have best matches Mat imageMatches;

drawMatches(colorQueryImage, queryKeyPoints, colorTrainImage, trainKeyPoints, matches, imageMatches);

imshow("Draw matches", imageMatches);

waitKey(0);

return 0;

}