这些常见问题解答 (FAQ) 介绍了在将计算机使用工具添加到 Copilot Studio 智能体时，您应了解的功能、用法、限制和安全措施。
什么是计算机使用工具？
计算机使用是可以添加到 Copilot Studio 智能体中的一种工具，用于自动化网站和应用程序上的任务。 您只需用自然语言提供任务描述，该工具便会据此自动执行鼠标点击和键盘操作。 例如，您可以指示该工具打开一个 PDF 文件，并利用其内容填写网页表单。 该工具通过视觉解析屏幕内容，并执行必要的点击和按键操作，模拟人类的交互行为。
警告
“计算机使用”工具功能强大，可自动执行跨网站和桌面应用程序的交互操作，但同时也涉及重要的安全考量。 在某些情况下，由于指令含糊不清或屏幕上出现意外内容，AI 可能会执行非预期的操作。 这些操作可能会影响您的设备、数据或关联账户的安全性，包括对个人、金融或企业系统的访问权限。
计算机使用工具能做什么？
计算机使用工具通过处理屏幕像素数据来理解屏幕内容，并使用虚拟鼠标点击和键盘输入来执行任务。 该工具能够管理多步骤工作流、处理意外情况，并动态适应屏幕变化。它无需专用 API 即可执行各种数字任务，例如浏览网站和填写表单。
“计算机使用工具”遵循基于三个步骤的迭代循环：
感知：它通过截屏来直观理解计算机屏幕的当前状态。
推理： 它通过“思维链”方法评估当前状态、先前操作及屏幕截图，从而能够有效地调整其操作。
执行：它执行点击、输入或滚动等操作，直至任务完成或需要进一步的用户输入。
该计算机使用工具的预期用途是什么？
该计算机使用工具旨在通过虚拟鼠标和键盘，实现用户与网站及应用程序交互的自动化。 在无法使用 API 的场景中，该工具尤为实用。
该计算机使用工具是如何进行评估的？ 哪些指标用于衡量表现？
在设计、开发和部署的各个阶段，该计算机使用工具均通过真实场景进行了严格评估。 评估方法包括研究、影响分析以及跨不同场景的测试，以衡量准确性、用户信任度和实用性。 定期监测定性与定量指标，以保持高性能和良好的用户体验。 此外，通过遵守既定的服务水平协议（SLA），该工具的可用性也得到了保障。
计算机使用工具有哪些局限性？ 用户在使用系统时，如何最大限度地减少计算机使用工具局限性带来的影响？
计算机使用是一项新兴技术，存在已知的安全风险和功能限制。 我们支持您去尝试此工具。 这项处于早期阶段的功能能够实现某些基于计算机的任务自动化，但其性能会因具体使用场景而存在较大差异。 为了有效且负责任地使用它，请了解其当前的局限性。
已知限制
- 成功率因任务而异：该工具在处理基于网页的任务时表现最佳（成功率约为80%），但在处理桌面应用程序时成功率会显著下降（成功率约为35%）。
- 性能不稳定：同一任务可能会因视觉或时间上的变化而产生不同的结果。
- 某些 UI 控件的困难：计算机使用可能难以与非标准或动态接口元素（如下拉列表、日期选取器或自定义小组件）交互。
- 循环和卡死状态：在某些情况下，当屏幕显示与预期不符或发生不可预测的变化时，智能体可能会陷入循环或卡死。
- 处理复杂任务的挑战：虽然该工具在执行简单操作时效果良好，但在处理复杂的图形界面或涉及精细文本操作的任务时可能会遇到困难。
-
不适用于敏感或高风险用例：本工具不适用于：
- 在招聘、医疗保健或金融等敏感领域进行推荐或评分
- 进行金融交易
- 实施有害行为，例如发送垃圾邮件或传播虚假信息
- 未经适当授权将数据分享至组织外部
如何最大限度地减少限制
为提高可靠性，您应在配置任务时提供清晰、详细的说明，以减少错误并提高任务成功率。
什么是人工监督功能？
重要提示
计算机使用智能体可能遭遇有害指令或恶意指令，通常称为提示注入攻击——隐藏在截图、网页或其他输入中的命令试图以非预期方式影响操作。 为降低这些风险，请在可信且隔离的环境中运行计算机使用，并在执行任何指令前进行严格的验证检查。
计算机运行过程中可能会遇到歧义或信息缺失的情况。 例如，缺少必需的值，或者存在多种合理的解释。 在这种情况下，人工监督功能可让使用计算机的智能体暂停执行，并向已授权且已配置的人工审核员发出澄清请求。 审核员可通过电子邮件或在 Copilot Studio 中使用智能体的运行活动图进行响应。 计算机使用智能体接收到响应后，将从流程图中暂停的步骤继续执行。
可靠性与局限性
产品主导的评估表明，人工监督功能通常能按预期工作，但可能会出现故障或表现出用户无法预料的行为。 由于澄清请求是由概率模型行为触发的，因此并非在所有需要人工暂停的情况下都会触发。 此外，在无需暂停的情况下也可能触发该请求。 不应将澄清请求视为安全保障措施，亦不可保证系统在执行前必定要求人工确认。
并非自定义规则的强制执行机制
人工监督请求并不能保证您定义的规则、政策或约束条件得到执行。 您应针对每种可能的情景采取更合适的控制措施（例如：明确的说明、受限环境、最小权限账户、允许列表及其他操作保障措施），而非依赖澄清请求来提供信息或防止意外操作。
哪些操作因素和设置可确保计算机使用工具的有效且负责任使用？
当提供清晰且详细的用户说明时，该计算机使用工具才能发挥最佳效果。 用户应就网站或应用程序的交互操作提供精确的提示，以提高任务执行过程中的可靠性和准确性。 为了增强可视性和控制力，请在工具配置页面中指派一名或多名授权审核员，以启用人工监督功能。 当模型检测到潜在恶意指令时，这些审核员将收到通知，以验证并决定是否继续或停止运行。
如何对计算机使用工具提供反馈？
对计算机使用工具有什么反馈吗？ 电子邮件 computeruse-feedback@microsoft.com。