图像文本识别(OCR)算法融合界面自动化测试
xsobi 2024-12-08 19:32 1 浏览
引言
随着信息技术的飞速发展,图形用户界面(GUI)已成为现代软件应用不可或缺的一部分。这些界面不仅为用户提供了直观的操作体验,还承载着丰富的信息展示功能,包括富文本、图像等多种元素。然而,这也给自动化测试带来了新的挑战,尤其是当GUI包含大量动态变化的文本信息时,传统的基于固定元素定位或文本内容的测试方法往往显得力不从心,直接影响到自动化测试运行稳定性。
为了应对这一挑战,图像文本识别(OCR)技术逐渐在软件测试领域崭露头角。OCR技术是一种能够将图像中的文字内容转化为可编辑、可搜索的文本格式的技术。它利用计算机视觉和模式识别的方法,对图像中的文字进行定位、分割和识别,从而实现文字信息的自动提取。
将OCR技术融合到界面自动化测试中,具有显著的优势和潜力。首先,OCR技术可以自动捕捉和识别GUI中的文本信息,无需人工干预即可获取到准确的文本内容、文本定位信息,极大地提高了测试效率和准确性。其次,OCR技术能够处理动态变化的文本信息,使得测试脚本能够更加灵活地应对GUI的变化进行识别和结果校验。
图像文本识别的Python 实现
PaddleOCR 作为一款开源、免费、高效、精准的OCR工具,凭借其多语种支持、高精度、易用性和高效性等特点,在各个领域得到了广泛的应用。随着技术的不断进步和应用需求的日益增长,PaddleOCR将在自动化处理和智能识别领域发挥更大的作用。
接下来,将使用 PaddleOCR 离线模型对下图进行文本识别。
文本识别结果如下图:
代码示例:
示例中 Python 版本及依赖库
# Python 3.10
Pillow==10.4.0
paddleocr==2.8.0
opencv-python==4.10.0.84
paddlepaddle==2.6.1
以下代码为示例代码,首先通过opencv-python 对图像进行预处理,然后使用paddleocr 库识别图像中所有文本信息,输出文本的五点定位坐标、可信度值。
#!/usr/bin/env python
# -*- coding: UTF-8 -*-
import os
from PIL import Image
from paddleocr.tools.infer.utility import draw_ocr
from paddleocr import PaddleOCR
import cv2
# 本地模型地址
from config.deployment_config import INFERENCE_MODEL_PATH
def ocr_preprocess(_image_file_path):
image = cv2.imread(_image_file_path)
# 将输入图像转为灰度图
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
# 对灰度图使用 Ostu 算法
ret, th = cv2.threshold(gray, 0, 255, cv2.THRESH_OTSU)
image_pro = Image.fromarray(cv2.copyMakeBorder(th, 25, 25, 25, 25, cv2.BORDER_CONSTANT, value=[255, 255, 255]))
image_pro_path = os.path.join(os.path.dirname(_image_file_path), f"tmp_{os.path.basename(_image_file_path)}")
image_pro.save(image_pro_path)
# 初始化
ocr = PaddleOCR(
det_model_dir=os.path.join(INFERENCE_MODEL_PATH, 'det_infer'),
rec_model_dir=os.path.join(INFERENCE_MODEL_PATH, 'rec_infer'),
cls_model_dir=os.path.join(INFERENCE_MODEL_PATH, 'cls_infer'),
use_space_char=True,
use_angle_cls=True,
lang="ch", use_gpu=False)
ocr_result = ocr.ocr(image_pro_path)
# 图像中标注识别结果
image = Image.open(image_pro_path).convert('RGB')
boxes = [line[0] for line in ocr_result[0]]
txts = [line[1][0] for line in ocr_result[0]]
scores = [line[1][1] for line in ocr_result[0]]
ocr_image_result_show = draw_ocr(image, boxes, txts, scores, drop_score=0.8, font_path="simsun.ttc")
ocr_image_path = os.path.join(os.path.dirname(_image_file_path), f"ocr_{os.path.basename(_image_file_path)}")
Image.fromarray(ocr_image_result_show).save(ocr_image_path)
text_cor_coordinate = {}
# 遍历识别结果,获取坐标、可信度信息
for line in ocr_result:
for word_info in line:
# 获取识别结果的文字信息
text_info = word_info[1][0]
# 获取文字的坐标(中心点)
x1, y1 = word_info[0][0]
x2, y2 = word_info[0][2]
target_coords = ((x1 + x2) / 2, (y1 + y2) / 2)
text_cor_coordinate[text_info] = {
'left_top': (x1, y2),
'right_top': (x2, y2),
'left_bottom': (x1, y1),
'right_bottom': (x2, y1),
'center': target_coords,
'score': word_info[1][1]
}
return text_cor_coordinate
if __name__ == '__main__':
result = ocr_preprocess("WX20240708.png")
print(result)
输出结果:
{
"功能性测试质量目标之缺陷探测率O-DDP": {
"center": [
492.5,
161.0
],
"left_bottom": [
235.0,
150.0
],
"left_top": [
235.0,
172.0
],
"right_bottom": [
750.0,
150.0
],
"right_top": [
750.0,
172.0
],
"score": 0.9388514757156372
},
...
}
图像文本识别与UI自动化测试的融合思路
测试执行阶段的融合——获取文本坐标,驱动测试执行。
在使用selenium 进行界面自动化测试时,通常会使用元素定位的方式驱动相关的点击、输入等操作。除此之外,也可以通过传递页面坐标,使用ActionChains 方法实现相关操作的驱动。
- 首先,通过OCR 识别获取指定文本的坐标位置。
- 然后,selenium ActionChains 实现操作驱动,驱动后续进行相关键鼠操作。
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
dr = webdriver.Chrome()
dr.get('http://www.baidu.com')
# 鼠标右键点击
ActionChains(dr)\
.move_by_offset(200, 300)\
.context_click()\
.perform()
除此之外,除了selenium 的解决方案,OCR识别也可以与pyautogui 进行融合。
- 首先,通过OCR 识别获取指定文本的坐标位置,
- 然后,通过pyautogui.moveTo 实现鼠标移动,驱动后续进行相关键鼠操作。如
import pyautogui
def mouse_move_click(x, y, duration=0.25):
"""
先移动再单击左键
Args:
x: x轴坐标
y: y轴坐标
duration: 持续时间
Returns:
"""
pyautogui.moveTo(x=x, y=y)
time.sleep(0.5)
pyautogui.click()
测试校验阶段的融合——获取文本内容,驱动测试校验。
可通过精确、模糊、正则表达式等方式灵活的校验期望结果与识别结果。
特定文本类型的提取,可通过特定规则对OCR识别结果中的内容进行定向提取,再与期望结果进行比对。
可设计文本识别的可信度阈值,只有当识别的结果可信度大于设定阈值时,才会进行后续的相关校验。
相关推荐
- 好用的云函数!后端低代码接口开发,零基础编写API接口
-
前言在开发项目过程中,经常需要用到API接口,实现对数据库的CURD等操作。不管你是专业的PHP开发工程师,还是客户端开发工程师,或者是不懂编程但懂得数据库SQL查询,又或者是完全不太懂技术的人,通过...
- 快速上手:Windows 平台上 cURL 命令的使用方法
-
在工作流程中,为了快速验证API接口有效性,团队成员经常转向直接执行cURL命令的方法。这种做法不仅节省时间,而且促进了团队效率的提升。对于使用Windows系统的用户来说,这里有一套详细...
- 使用 Golang net/http 包:基础入门与实战
-
简介Go的net/http包是构建HTTP服务的核心库,功能强大且易于使用。它提供了基本的HTTP客户端和服务端支持,可以快速构建RESTAPI、Web应用等服务。本文将介绍ne...
- #小白接口# 使用云函数,人人都能编写和发布自己的API接口
-
你只需编写简单的云函数,就可以实现自己的业务逻辑,发布后就可以生成自己的接口给客户端调用。果创云支持对云函数进行在线接口编程,进入开放平台我的接口-在线接口编程,设计一个新接口,设计和配置好接口参...
- 极度精神分裂:我家没有墙面开关,但我虚拟出来了一系列开关
-
本内容来源于@什么值得买APP,观点仅代表作者本人|作者:iN在之前和大家说过,在iN的家里是没有墙面开关的。...
- window使用curl命令的注意事项 curl命令用法
-
cmd-使用curl命令的注意点前言最近在cmd中使用curl命令来测试restapi,发现有不少问题,这里记录一下。在cmd中使用curl命令的注意事项json不能由单引号包括起来json...
- Linux 系统curl命令使用详解 linuxctrl
-
curl是一个强大的命令行工具,用于在Linux系统中进行数据传输。它支持多种协议,包括HTTP、HTTPS、FTP等,用于下载或上传数据,执行Web请求等。curl命令的常见用法和解...
- Tornado 入门:初学者指南 tornados
-
Tornado是一个功能强大的PythonWeb框架和异步网络库。它最初是为了处理实时Web服务中的数千个同时连接而开发的。它独特的Web服务器和框架功能组合使其成为开发高性能Web...
- PHP Curl的简单使用 php curl formdata
-
本文写给刚入PHP坑不久的新手们,作为工具文档,方便用时查阅。CURL是一个非常强大的开源库,它支持很多种协议,例如,HTTP、HTTPS、FTP、TELENT等。日常开发中,我们经常会需要用到cur...
- Rust 服务器、服务和应用程序:7 Rust 中的服务器端 Web 应用简介
-
本章涵盖使用Actix提供静态网页...
- 我给 Apache 顶级项目提了个 Bug apache顶级项目有哪些
-
这篇文章记录了给Apache顶级项目-分库分表中间件ShardingSphere提交Bug的历程。说实话,这是一次比较曲折的Bug跟踪之旅。10月28日,我们在GitHub上提...
- linux文件下载、服务器交互(curl)
-
基础环境curl命令描述...
- curl简单使用 curl sh
-
1.curl--help#查看关键字2.curl-A“(添加user-agent<name>SendUser-Agent<name>toserver)”...
- 常用linux命令:curl 常用linux命令大全
-
//获取网页内容//不加任何选项使用curl时,默认会发送GET请求来获取内容到标准输出$curlhttp://www.baidu.com//输出<!DOCTYPEh...
- 三十七,Web渗透提高班之hack the box在线靶场注册及入门知识
-
一.注册hacktheboxHackTheBox是一个在线平台,允许测试您的渗透技能和代码,并与其他类似兴趣的成员交流想法和方法。它包含一些不断更新的挑战,并且模拟真实场景,其风格更倾向于CT...
- 一周热门
- 最近发表
-
- 好用的云函数!后端低代码接口开发,零基础编写API接口
- 快速上手:Windows 平台上 cURL 命令的使用方法
- 使用 Golang net/http 包:基础入门与实战
- #小白接口# 使用云函数,人人都能编写和发布自己的API接口
- 极度精神分裂:我家没有墙面开关,但我虚拟出来了一系列开关
- window使用curl命令的注意事项 curl命令用法
- Linux 系统curl命令使用详解 linuxctrl
- Tornado 入门:初学者指南 tornados
- PHP Curl的简单使用 php curl formdata
- Rust 服务器、服务和应用程序:7 Rust 中的服务器端 Web 应用简介
- 标签列表
-
- grid 设置 (58)
- 移位运算 (48)
- not specified (45)
- patch补丁 (31)
- strcat (25)
- 导航栏 (58)
- context xml (46)
- scroll (43)
- element style (30)
- dedecms模版 (53)
- vs打不开 (29)
- nmap (30)
- webgl开发 (24)
- parse (24)
- c 视频教程下载 (33)
- paddleocr (28)
- listview排序 (33)
- firebug 使用 (31)
- transactionmanager (30)
- characterencodingfilter (33)
- getmonth (34)
- commandtimeout (30)
- hibernate教程 (31)
- label换行 (33)
- curlpost (31)