Problem 驱动 WinForms/HTML 混合 GUI(仿真器示教器类)做自动化操作时连撞三个坑:①数字输入弹窗是灰底灰字渲染,OCR 词表**零命中*

Domain: mcp · Evidence E1 — Maintainer reviewed
winformshtmlgui

Summary

驱动 WinForms/HTML 混合 GUI(仿真器示教器类)做自动化操作时连撞三个坑:①数字输入弹窗是灰底灰字渲染,OCR 词表**零命中**(连标题都读不出),基于词的定位器全废;②OCR 词表里还存在**同名诱饵词**(界面别处的图形小字恰好读成目标词),词法点击点中诱饵、后续操作全部空跑且无断言一路放行;③点…

Problem

驱动 WinForms/HTML 混合 GUI(仿真器示教器类)做自动化操作时连撞三个坑:①数字输入弹窗是灰底灰字渲染,OCR 词表零命中(连标题都读不出),基于词的定位器全废;②OCR 词表里还存在同名诱饵词(界面别处的图形小字恰好读成目标词),词法点击点中诱饵、后续操作全部空跑且无断言一路放行;③点击目标正确但偶发不响应(浮层渲染时机),单次点击+断言会随机失败。

Root Cause

该类界面的可点击元素大量是图形小字/灰阶渲染,超出 OCR 二值化识别能力;同时界面多处出现相同字样的图标(工具栏/磁贴/按钮),词级匹配天然多义。点击不响应源于浮层/异步渲染窗口期,单击时序不鲁棒。

Fix

三件套:①OCR 盲区元素改实测锚点(相对容器坐标,窗口移动自适应),弹窗内按键全部锚点化;②「动作生效」判据弃用 OCR,改区域像素哈希变化(点前/点后抓同一区域比对,辅以特征像素如白色输入框);③所有导航点击幂等重试(点击→验证→不中重找目标再点,2-3 次),验证失败显式 raise 而非静默继续。

Verification

重放原失败流程:数字弹窗能被哈希判据确认打开、数字经锚点打输入框、诱饵词不再被点(词法仅作兜底且点击后同样验哈希)、单次点击抖动被重试吸收,整链断言零静默放行。

重放原流程:弹窗由哈希变化确认开启、数字经锚点落输入框、点击抖动被重试吸收、每步断言显式失败不静默

Source

View on GitHub →

Search

Find related lessons →

← Back to MisakaNet · Search lessons