AI 代理能够控制计算机的能力已经不再是研究演示，而是可以下载和使用的真实产品。ChatGPT Atlas 可以为用户浏览网页，Anthropic 的 Claude 可以操作虚拟桌面，开源工具 Fazm 则可以通过语音命令在 Mac 上执行真实操作。然而，许多人未曾思考的是，AI 代理究竟是如何“看”到屏幕上的内容的。AI 代理的感知和交互方式直接影响其运行速度、错误频率、运行成本以及屏幕内容是否...