浏览器代理坐标陷阱：发现不等于修复

浏览器代理的坐标陷阱

浏览器代理让AI模型查看网页并执行点击等操作。坐标是屏幕上的像素位置，模型必须返回准确的坐标才能点击正确元素。然而，WebFovea论文（作者Jiangang Han）报告了一个令人不安的故障：截图与浏览器坐标不匹配，导致点击落在目标位置的四分之三处。例如，本应点击400像素远的位置，实际只点击了300像素。

缩放是罪魁祸首

问题出在运行模型的服务上。服务在模型查看截图前会缩小图片。论文估计，1920x1080的截图到达模型时约为1440x810，即原尺寸的四分之三。Anthropic的视觉文档也描述了类似行为：大图会被缩小以控制成本，模型返回的是缩放后图片上的坐标。但论文中的软件将这些坐标当作全尺寸屏幕坐标使用，因此每次点击都落在目标位置的四分之三处。

除了点击错误，WebFovea还报告了另外两个故障：模型生成的隐藏结束标记被输入到搜索框；在嵌套页面中点击有效，却被报告为无效果。

修复与提升

论文在2026年竞赛的四个提交中修复了这些故障，代理得分从31.0提升到57.0（满分100），使用同一模型。但每次提交包含多个修改，且网站可能变化，所以分数提升无法说明哪个修复最关键。

小规模实验：发现≠修复

为了探究“检测到故障”与“修复故障”之间的差距，作者搭建了一个包含四个短任务的小型网站，例如搜索记录和点击按钮。使用Anthropic的小型低成本模型Claude Haiku 5.5完成任务。保存了80个正确的决策，然后通过故意破坏的浏览器代码回放每个决策。检查器是查看页面并判断操作是否成功的代码。作者测量了检查器能否发现故障，以及代理（模型+驱动代码）能否完成任务。

结果发现，发现故障和绕过故障是不同的问题。这对任何要求AI工具点击网站的人（包括Web开发者）都有意义。

一个清晰的例子

测试页面显示编号按钮网格Item 0到Item 24。代理看到900像素宽的截图，被要求点击Item 15，它回答图像坐标(150,413)。浏览器视口宽1200像素。作者故意缩小截图以复现论文问题。正确执行器必须将图像坐标缩放到浏览器尺寸：1200/900=4/3，所以1504/3=200，4134/3≈550.67，点击(200,550.67)选中Item 15。损坏的执行器跳过缩放，直接发送(150,413)作为浏览器像素，落在Item 10上（Item 15上一行），因此选中了Item 10。

这个例子说明，检查器可能发现点击错误，但修复需要正确理解坐标系统并执行缩放。

对于开发者而言，坐标缩放是浏览器代理集成中不可忽视的环节。检查器只能发现错误，修复则需要确保执行器正确缩放。理解这些故障模式，有助于构建更可靠的AI代理。