注释
本文中的功能由 标准线束驱动,标准线束使用了《许可》中描述的由 标准线束驱动的代理计费选项。 了解如何访问 Access 标准代理和代理流程中的标准功能。
使用测试集来评估和优化你的代理如何处理真实世界的响应场景。 本文解释了如何修改测试集的名称和设置,管理用于认证的用户配置文件和连接,编辑或删除单个测试用例,以及删除整个测试集或结果。 这些步骤有助于确保评估反映正确的用户情境,并保持对知识源和工具的安全访问。
你可以选择三种测试方法,也称为评分器,来评估代理的反应:质量、相似性和文本匹配。 有关不同测试方法的详细信息,请参阅测试方法。
编辑测试集的详细信息
你可以更改测试集的详细信息,比如它使用哪个账户进行身份验证以及测试方法。
访问你经纪人的 评估 页面。
选择测试集。
在测试集中,选择要编辑的测试案例。
可选地,更改测试集的名称。
添加或修改测试方法。 每种测试方法测量的数值不同,且需要不同的配置。 要了解如何设置每种测试方法,请参见 选择测试方法。
测试方法 措施 测试集类型 计分 配置 整体质量 基于特定品质的测试用例的响应(s)有多好 单个响应或对话 评分满分为100%。 无 比较含义 测试用例答案的意义与预期答案的匹配程度 单个响应 评分满分为100%。 合格分数,预期答案 工具使用 测试用例是否使用了所有预期的资源或者仅使用了一些预期的资源 单个响应 通过/不通过 预期能力 关键词匹配 测试用例是否使用了全部或任何预期的关键词或短语 单个响应或对话 通过/不通过 预期关键词或短语 文本相似性 测试用例答案文本与预期答案的匹配程度 单个响应 评分满分为100%。 合格分数,预期答案 完全匹配 测试用例的答案是否完全符合预期答案 单个响应 通过/不通过 预期答案 自定义 测试用例的响应是否符合定义的条件或期望。 单个响应或对话 通过/失败(通过定义的标签条件) 名称、评估说明、标签 选择 “管理配置文件 ”以添加帐户,或选择当前配置文件以管理连接或选择其他配置文件。 自动化测试使用所选测试账户的认证。 了解更多内容,请参阅 管理用户档案和联系人。
注释
当Copilot Studio生成测试用例或运行评估时,它将使用连接的帐户的身份验证凭据来访问代理的知识源和工具。 生成的测试用例可以包括连接的帐户可以访问的敏感数据。 任何有权访问代理的制造商还可以查看链接到该代理的测试集。
管理用户配置文件和连接(预览)
[本部分是预发行文档,可能会更改。]
你可以通过使用与自己账户不同的认证来运行测试集。 这种认证方法允许您的代理访问完成目标所需的知识源和工具。
可以使用用户配置文件来模拟特定的用户体验。 例如,主管的用户配置文件可以访问与实习生的用户配置文件不同的知识源,代理返回的结果也不同。
Important
本文包含 Microsoft Copilot Studio 预览版文档,有可能会有变动。
预览功能不适合生产使用且功能可能受限。 这些功能在正式发布之前可用,以便你可以提前访问并提供 反馈。
如果您在构建可投入生产的代理,请参阅 Microsoft Copilot Studio 概述。
Important
当你选择用户配置文件时,可以查看并验证你的代理所使用的连接器。 如果你选择了除了用来登录 Copilot Studio 的账户以外的账户,比如测试账户,Copilot Studio 会认证该用户配置文件并获取用户现有的连接。 你可以在进行评估前配置、审查并保存这些连接。
测试结果 展示了所使用的用户配置文件。
注释
当Copilot Studio生成测试用例或运行评估时,它将使用连接的帐户的身份验证凭据来访问代理的知识源和工具。 生成的测试用例可以包括连接的帐户可以访问的敏感数据。 任何有权访问代理的制造商还可以查看链接到该代理的测试集。
使用用户身份验证的代理评估需要通过 Microsoft Copilot Studio 连接器进行访问。 如果你的管理员关闭了这个连接,你就无法通过评估工具运行测试。 有关详细信息,请参阅 Copilot Studio 连接器和数据组。
在测试集中新增或修改用户个人资料:
打开一个测试集,然后选择 管理配置文件。
选择 “用户 ”下拉菜单,然后:
- 选择你想使用的用户账户,或者
- 选择 添加账户,然后登录该账户。
对于带有警告的连接,请选择连接。 将现有连接改为正常连接,选择 重新连接 尝试重建现有连接,或选择 创建新连接 尝试新连接。 工作连接点用绿色勾号标记。
对于新连接,输入请求的连接详情,然后选择 连接。
当所有连接都正常时,选择 保存。
当“ 管理配置文件和连接 ”弹窗消失后,选择 保存 以更新测试集,包含所选用户配置文件和连接。
删除测试集或测试结果
你可以删除不再需要的测试用例或测试集。
- 访问你经纪人的 评估 页面。
- 在 测试集 部分,通过以下任一步骤删除测试集:
- 选择测试卡上的三个点(...),然后选择 删除。
- 选择测试集打开它,然后在配置测试集窗格中选择三个点(...),然后选择删除。
- 在 “最近结果 ”部分,请执行以下任一步骤删除测试结果:
- 将鼠标悬停在你想删除的测试结果上,选择三个点(...),然后选择 删除测试。
- 选择测试结果打开它,然后在评估摘要窗格中选择三个点(...),然后选择删除。