通过 KPI 和分析工具衡量并改善智能体性能

了解智能体的性能对于增强用户体验和实现业务目标非常关键。 Copilot Studio 智能体包含内置分析和关键绩效指标 (KPI),并可选择创建自定义分析和报告。 您可以通过定期审查这些指标并发现问题,持续优化智能体的性能。

衡量参与率

对话智能体的参与率可衡量分析会话分类为已参与的百分比。 当用户与智能体互动,或智能体向用户发送初始消息时,会话将以未参与状态开始。 当触发自定义主题时,或者当对话进入以下系统主题之一时,会话将变为已参与:对话推进、呈报或回退。

高参与率意味着智能体能够成功引导用户进入主题。 低参与率表示主题覆盖存在缺口,或用户对智能体的能力不了解。 你可以在智能体的分析仪表板上监控参与率。

衡量智能体参与度中了解详细信息。

跟踪会话结果

会话结果决定会话结束时的状态。 已参与会话的记过可以是已解决、已放弃或已呈报。

  • 已解决会话成功结束。

    • 当触发“对话结束”主题且用户确认其查询已得到解答时,将产生已确认的已解决结果。 用户可以填写客户满意度评分 (CSAT)。 因此,建议将对话设计为以“对话结束”主题结束。

    • 当会话在未获得用户确认的情况下结束,但智能体的逻辑判定为已解决时,就会出现隐含已解决的结果。

  • 已升级会话发生于智能体进入“升级”主题或使用“转接对话”节点时。

  • 已放弃会话发生于会话在未解决或未升级的情况下结束时。

您可以在智能体的分析仪表板中找到对话结果。

详情请参见衡量智能体结果

选择分析策略

Copilot Studio为每个智能体提供详细分析,提供对使用模式及其他关键绩效指标的洞察。 更多详情请参阅分析概述。 你可以在自定义报表中使用 Copilot Studio 生成的分析数据。 创建自定义报表时,规划数据的存储方式和位置。 更多详情参见制定自定义分析策略

定义优化策略

持续优化使用 Copilot Studio 构建的智能体,以提高投资回报率和客户满意度。

每月审查智能体的性能,并重点关注以下指标:

  • 偏转率:通过自助服务完成请求的百分比。
  • 解决率:以解决结果结束的会话百分比。
  • 参与率:参与的会话百分比。
  • 低解决率主题:每个主题的解决率。
  • 未识别的话语:未触发任何自定义主题的短语。
  • 按渠道分析:用于识别渠道间性能差异的指标。

更多详情请参阅偏转概述

收集用户的点赞和点踩反馈和评论

用户可以通过点赞和点踩按钮,对智能体发送的任何消息进行反馈。 当用户选择反应按钮时,提示用户在评论中留下更详细的反馈。 你可以在 Copilot Studio 的智能体分析选项卡中查看过去 28 天内的所有反馈和评论。

有关详细信息,请参阅反应

按主题分析用户问题

Copilot Studio 会分析所有触发生成式 AI 回复的用户问题,并将其分组到常见主题中。 主题有助于创作者了解用户提出了哪些问题,以及智能体的表现如何。 您可以浏览每个主题的所有相关问题及其回复质量指标。

了解更多内容,请参见按主题分析用户问题

在 Copilot Studio 套件中查看对话关键绩效指标

用于跟踪智能体绩效的对话关键绩效指标 (KPI) 还作为 Copilot Studio 套件的一部分提供。

Copilot Studio 套件提供了以下优势:

  • 在 Dataverse 中存储智能体的汇总指标
  • 保留 KPI 数据以进行长期跟踪
  • 设定用于跟踪关键绩效指标 (KPI) 的具体变量,例如 Net Promoter Score (NPS)
  • 一同保存完整的对话记录和关键绩效指标记录
  • 基于示例 Power BI 报告扩展并创建自定义报告

了解更多信息,请参阅使用 Copilot Studio Kit 中的对话 KPI 跟踪智能体代表绩效

后续步骤

了解如何分析会话量、会话质量和回访使用模式等信号,帮助理解用户如何与您的智能体进行互动。