图像匹配(大图中找小图)最简单方法:aircv之find_template

我的开源项目SimpleRPA里面,一直使用aircv的find_template方法来做图像匹配,最常见的场景就是从屏幕截图中,查找预先截好的小图,来确定下一步鼠标点击的位置:

比如在下面的钉钉PC端主页面中:
dingding

我们来查找企业logo的位置:
tzding_logo_on_dingding.png

aircv是网易维护的一个小项目,里面有几个图像处理工具函数,它的安装很简单:

pip install aircv

其中被使用最多的,就是这个find_template方法,基本用法如下:

import aircv as ac

match_result = ac.find_template(image_origin, image_template, threshold, bgremove)

几个参数分别表示

  • image_origin:被查找的源图(上面实例中的钉钉主页面截图),要注意源图的宽和高,都必须大于或等于模板图
  • image_template:要查找的模板小图(上面实例中的logo)
  • threshold:最小置信度,在0到1之间。因为图像匹配并不需要每个像素精确一致,可以模糊匹配,所以这个值设定得越高,找到的区域就越接近模板图,但设得太高就有可能找不到。
  • bgremove:是否去除背景。如果这个值设置为True,那么函数内部会用Canny算子先提取图像轮廓,再做查找

返回值match_result是个dict结构:

match_result:{
    'result': (x,y),        #tuple,表示识别结果的中心点
    'rectangle':[            #二位数组,表示识别结果的矩形四个角
        [left, top],
        [left, bottom],
        [right, top],
        [right, bottom]
    ],
    'confidence': percentage   #识别结果的置信度,在0-1之间,越大越精准
}

这样我们就可以用返回值在图片上标出矩形框的位置:

import cv2
rect = match_result['rectangle']
cv2.rectangle(img_result, (rect[0][0], rect[0,1]), (rect[3][0], rect[3][1]), (0, 0, 220), 2)

dingding_found

这个find_template方法只返回一个最可信的结果,如果源图中有多个模板图,都想找回来
那么需要find_all_template函数,参数完全一样,只是返回值是个match_result数组。

但是这个库很久没有维护了,我给它提交了一个PR,也没人理,还是有一些坑的,以后再慢慢聊。

你可能感兴趣的