前段时间，我在 iOS 上做一个内嵌 WebView 相关的功能，遇到一个问题：一打开页面，就跳出了 App，跑到了外部浏览器里。
看过我之前分享的朋友可能知道，我比较早就开始用语音输入了。但这种连续交互的 UI 问题，靠口述描述，再截几张关键帧，还是挺麻烦的。
之前我用 Agent 做过视频分析和自动剪辑，就想，干脆直接把 Bug 的操作录屏发给它，像测试提 Bug 时附上一段视频那样：
基于原始截图整理的脱敏图，已隐藏附件文件名，并裁去具体地址和工程信息。
Agent 看过录屏，再结合代码，就给出了排查结果，省了不少来回描述的工夫。
它还从视频里发现了另一个 Bug：报错页面上的内容没有正确国际化，顺手也帮我修了一下 😂
实际原理很简单：Agent 自己抽帧看图，相当于在“看视频”。当时它把这段 21 秒的录屏按时间抽帧，再拼成一张关键帧大图，对照代码定位问题。
流程示意图，原图中的具体工程文件名已改为通用标识。
题外话，大家经常说，随着模型迭代，一些原本需要 Harness 或 Skill 补上的能力，会逐渐变成模型自己就能做的事。抽帧这件事，我就有过类似的体验：之前试过的模型，有时只会说自己看不了视频，需要通过 Skill 明确告诉它怎么处理；后来换了模型，同样的 Agent 就会自己抽帧了。
所以，下次碰到说不清楚的 UI 问题，也可以试试：直接把操作录屏发给 Agent。
评论