目前安卓按键常用的文字识别有两大类，一是从xml提取界面文字，二是ocr图像识别文字。
两种方式各有优缺点：
从xml中提取文字：
优点：速度快、“识别”准确
缺点：不是所有的app都支持，游戏类的也不支持
ocr图像识别：
优点：所有都支持
缺点：速度慢一些，做不到百分百准确
下面根据这两大类来梳理一下按键中涉及到的命令方法；
这里只做简单介绍，具体操作可以在历史文章中搜索相关资料，先来说说xml提取界面文字的方法
山海插件getuixml命令的原理是通过uiautomator dump获取app上的页面元素，然后会保存到window_dump.xml文件，再通过读取window_dump.xml文件里面xml信息。
xml信息里面包括界面上元素的文字、元素的位置等信息，提取这些信息就得到我们想要的内容了。
当然由于xml是由大量代码组成，初学时会觉得有些费劲。
getuixml命令有个明显的缺点，识别速度不够快，通常需要几秒钟时间才能把读取到xml文件。
jsd插件的核心就是对xml文件的提取和处理，这里我加上了处理两个字，因为山海插件主要就是提取xml文件，后期对xml中有效内容的提取涉及到的命令很少。
jsd插件获取xml的方式不再是uiautomator dump了，而是安装一个jsd.apk文件，通过其获取xml，这么做有一个明显的优势就是提取xml速度大大提升，做到毫秒级提取。
同时jsd插件针对xml的提取做了很多命令，使得提取xml的后期处理变得容易很多。
element命令是按键自带界面元素命令，它的优点是提取速度比较快，缺点是只有简单的提取处理命令。
目前也有基于这个命令开发的elementEx插件。
关于xml提取文字就说这些，下面来说说ocr文字识别的几种方式。
所有ocr文字识别都是对于图像的查找。
制作字库的原理是把图片先变成黑白二值化图，然后把图像拆分，每一个拆分后的图像对应一个或者多个文字内容，如下图：
制作字库的方法我在基础课21课专门讲了，想学习的朋友可以去看看。
这里面有需要注意的细节：
①图片上的文字不要求是完整的。
比如这个图像我们也可以把它当做“按”字处理。
②同一个文字，可以对应多个图片
两个图片都可以对应“按”字。
③基于第②点字库在做的时候要多写几个，也就同一个文字有多个对应的图片，保证在发生细微变化后识别的准确性。
这一点对于初学者很容易忽略。
本地光学文字识别是按键助手新版本增加的命令Image.OcrText，相对于自己做字库，按键提供了一个现成的ocrlib字库，对于简单的文字识别来说，还是很好用的。
比较常用的是百度云识别，对接百度api，每天免费5万次，对于普通识别还是够用。
当然还有其他的api云识别，比如有道识别、优图识别等等，原理上都差不多。
前段时间我发了一个验证码文字识别api的文章，也是一样的原理。
这个插件也是关于图像处理的插件，借用它介绍中的一句话：这个虹鱼图灵识别工具适用于AI人工智能机器人、图形图像、颜色和文字识别领域的相关行业作为学习参考。
对于这方面感兴趣的朋友推荐去学一下。
我们遇到需要识别文字的时候，优先考虑用提取xml，如果不支持，再考虑用ocr识别，当然除了学习研究以外，不建议自己做字库，直接用云识别就挺好的。
关注微信