计算机使用的人工监督

注释

本文中的功能由 标准线束驱动,标准线束使用了《许可》中描述的由 标准线束驱动的代理计费选项。 了解如何访问 Access 标准代理和代理流程中的标准功能。

使用人工监督时,计算机使用代理在需要确认或更多信息时,会升级到在人工监督设置中配置的人员。

注释

计算机使用智能体可能遭遇提示注入攻击,即隐藏在截图、网页或其他输入中的指令试图以非预期方式影响操作。 为降低此风险,请在可信隔离环境中运行这些智能体,并在执行任何指令前实施强健的验证检查。

各型号功能支持

下表列出了支持人类监督功能的模型。

模型提供者 版本 地位 支持人工监督
Azure OpenAI 使用代理V1的OpenAI计算机 退休 是的
Azure OpenAI 使用计算机的代理(CUA) 积极 是的
Anthropic 克劳德十四行诗 4.5 积极 是的

审核代理与计算机使用情况

执行过程中,当使用电脑的代理需要确认或补充信息时,可以通过Outlook邮件向配置的人类审核员发送审查请求。 它还能在 高级计算机使用活动面板中显示内联复习卡。

概率AI模型行为会触发人工审核请求。 这种行为意味着模型可能不会在所有需要暂停的场景中触发这些请求,也可能在不需要暂停时触发这些请求。 不要把人工审核或澄清请求当作万无一失的保障,也不要保证系统在继续前总是会征求人工意见。

注释

  • 只有计算机使用工具的制造商会收到人工审核请求,并可通过 高级计算机使用活动面板访问冗长日志。 如果你在机器设置中选择 “终端用户凭证” ,最初设置连接的人会收到这些请求,但前提是这些请求也被列为指定的人工审核员之一。
  • 要在代理活动地图内的“使用代理活动”侧面板内内查看人工审核请求,您需要在环境中开启 高级计算机使用日志 。 若活动地图未显示高级计算机使用活动界面,可能是管理员已关闭该环境的此功能。

下表列出了人工审核邮件请求包含的主要信息:

领域 Description
使用工具的代理 Copilot Studio 代理的名称。
计算机使用工具 触发请求的计算机使用工具名称。
对话 指向计算机使用工具当前正在运行的代理活动的深层链接。
请求超时 请求超时的日期和时间
请求人 计算机使用工具的创建者(连接所有者)。
提供缺少的信息 用于提交到计算机工具的响应的文本框。
提交 提交已输入文本响应的按钮 对于确认请求,输入 “是 ”确认,输入 “否 ”拒绝。

响应人工评审请求

要响应人工审核请求,您可以通过电子邮件回复,或使用智能体活动地图中的计算机使用活动面板内联回复。 内联响应需要在环境中开启 高级计算机日志 。 在这两种情况下,如果未提供响应,工作流将保持暂停,并在到达电子邮件中指定的超时时自动停止。

Important

人类监督系统基于概率 AI 模型行为。 虽然系统包含系统提示和其他约束,但有时可能会生成不必要的澄清请求。 该功能可能在预期触发时未能触发,也可能在当前上下文中要求提供不应提供的信息,包括潜在的敏感信息。

因此,审核员在回应人工监督请求时应谨慎判断,不应提交用户名、密码、PIN码、信用卡信息或社会保障号码等敏感信息。 根据您组织的配置,人工审核请求的响应可能会持续存在您的Dataverse环境或Purview审计日志中,并且可能对组织内的授权用户可见。

通过电子邮件答复

人工评审请求电子邮件包括有关代理、工具和对话的详细信息,以及请求的特定信息或澄清。 仔细查看请求,以确定是否有足够的信息来响应。 如果适用,请在指定的文本字段中输入响应,然后选择“ 提交”。

内联回复

  1. 在人工评审请求电子邮件中选择 “对话” 链接以打开代理的活动映射。
  2. 找到与配置的计算机使用工具匹配的计算机使用操作,并打开其侧面板。
  3. 在侧边面板的活动区域查看活动列表。 等待人工审核的活动会在模型生成的响应旁边标有一个等待指示器。
  4. 仔细查看请求,并确定是否有足够的信息来响应。 如果适用,请在指定的文本字段中输入响应,然后选择“ 提交”。

关闭人工监督

Important

关闭人类监督并不意味着使用计算机的智能体完全自主。 当需要确认或澄清时,客服仍会暂停。 如果没有配置审核员,这些请求就没有可路由的方向,因此当代理暂停时会话会失败。 至少配置一个审查员。

要关闭人工监督,请进入电脑使用工具的“人类监督”部分,将所有审核员从 “分配请求 ”列表中移除。

计算机使用工具常见问题解答