Om agentutvärdering

Note

Funktionerna i denna artikel drivs av standardkabeln, som använder faktureringsalternativen som beskrivs i Licensiering för agenter som drivs av standardkabeln. Lär dig hur du får tillgång till standardfunktioner i Access standardagenter och agentflöden.

När AI-agenter tar på sig kritiska roller i affärsprocesser blir behovet av pålitlig, upprepbar testning avgörande. Agentutvärdering låter dig generera tester som simulerar verkliga scenarier för din agent. De här testerna omfattar fler frågor och konversationer snabbare än manuell testning från fall till fall. Sedan kan du mäta noggrannheten, relevansen och kvaliteten på svaren i agentens interaktioner baserat på den information som agenten kan komma åt. Genom att använda resultaten från testuppsättningen kan du optimera din agents beteende och validera att din agent uppfyller dina affärs- och kvalitetskrav.

Varför använda automatiserad testning?

Agentutvärdering erbjuder automatiserad, strukturerad testning. Det hjälper till att upptäcka problem tidigt, minskar risken för dåliga svar och upprätthåller kvaliteten i takt med att agenten utvecklas. Denna process ger en automatiserad, upprepbar form av kvalitetssäkring till agenttestning. Den ser till att agenten uppfyller företagets noggrannhets- och tillförlitlighetsstandarder och ger insyn i hur den presterar. Det har andra styrkor än att testa genom att använda testchatten.

Du kör utvärderingar och ser resultat med hjälp av Copilot Studio-gränssnittet, via Power Platform REST API:er eller genom att lägga till åtgärder i verktyg, flöden eller Power Automate.

Agentutvärdering mäter korrekthet och prestanda, inte AI-etik eller säkerhetsproblem. En agent kan klara alla utvärderingstester men ändå till exempel ge ett olämpligt svar på en fråga. Kunder bör fortfarande använda ansvarsfulla AI-granskningar och innehållssäkerhetsfilter. utvärderingar ersätter inte dessa granskningar och filter.

Begränsningar i Government Community Cloud

Agentutvärdering i Government Community Cloud (GCC)-miljöer har följande begränsningar:

  • Tillverkare kan inte lägga till en användarprofil i sina testuppsättningar. Tillverkare kan dock fortfarande köra utvärderingar utan en användarprofil.

  • Tillverkare kan inte använda likhetstestmetoden för utvärderingar. Alla andra testmetoder finns tillgängliga.

Hur agentutvärdering fungerar

Copilot Studio använder ett testfall för varje agentutvärdering. Ett testfall är en enda interaktion som simulerar hur en användare interagerar med din agent. Interaktionen kan vara en enskild fråga eller en hel konversation.

Ett testfall kan också inkludera det svar du förväntar dig att din agent ska svara. Ett exempel:

  • Frågan: Vilka är dina öppettider?

  • Det förväntade svaret: Vi har öppet måndag till fredag, kl. 09.00–17.00.

Genom att använda agentutvärdering kan du generera, importera eller manuellt skriva en grupp testfall. Denna grupp av testfall kallas ett testuppsättning. Ett testset tillåter dig att:

  • Kör flera testfall som täcker ett brett spektrum av funktioner samtidigt, istället för att ställa en fråga till din agent en i taget.

  • Analysera din agents prestation med en lättsmält aggregerad poäng och zooma även in på enskilda testfall.

  • Testa förändringar hos dina agenter med samma testuppsättning, så att du har en objektiv standard för att mäta och jämföra förändringar i prestation.

  • Skapa snabbt nya testuppsättningar eller modifiera befintliga för att täcka förändrade agenters kapacitet eller krav.

Varje testset kan utvärdera din agent med flera testmetoder samtidigt.

Du kan också välja en användarprofil som ska fungera som stimulerad användare. Agenten kan vara konfigurerad att svara olika användare på olika sätt, eller tillåta tillgång till resurser på olika sätt.

När du väljer en testuppsättning och kör en agentutvärdering skickar Copilot Studio frågorna i testfallen, registrerar agentens svar, jämför svaren mot förväntade svar eller en kvalitetsstandard och tilldelar en poäng till varje testfall. Du kan också se detaljer, transkription och aktivitetskarta för varje testfall samt vilka resurser din agent använde för att skapa svaret.

Skapa en omfattande utvärderingsstrategi

Innan du kör utvärderingar definierar du hur framgång ser ut för din agent och bestämmer vilka scenarier som är viktigast för dina affärsresultat. En tydlig strategi hjälper dig att välja rätt testmetoder, prioritera testfall med hög effekt och tolka resultat med rätt kontext.

Integrera utvärderingar i automatiserade flöden

Agentutvärdering stöder automatisering så att tillverkare kan köra utvärderingar utan manuella åtgärder. Genom att använda REST-API:er eller Power Platform-anslutningsappar kan du programmatiskt utlösa utvärderingskörningar och integrera testning i automatiserade arbetsflöden, till exempel CI/CD-pipelines (kontinuerlig integrering och kontinuerlig distribution). Med den här metoden kan du köra testuppsättningar i stor skala och verifiera agentbeteendet när ändringar införs, utan att kräva manuell körning i Copilot Studio.

Testchatt kontra agentutvärdering

Varje testmetod ger dig olika insikter om din agents egenskaper och beteende:

Testchatt:

  • Tar emot och svarar på en fråga i taget. Det är svårt att upprepa samma tester flera gånger.

  • Låter dig testa en hel session med flera meddelanden.

  • Låter dig interagera med din agent som användare genom att använda ett chattgränssnitt.

Agentutvärdering:

  • Kan skapa och köra flera testfall samtidigt med hjälp av en testuppsättning. Du kan upprepa tester genom att testa med samma testuppsättning.

  • Kan testa en fråga och ett svar per testfall eller en konversation per testfall. Du har dock mindre kontroll över konversationerna än vid användning av testchatten.

  • Välj olika användarprofiler för att simulera olika användare utan att behöva genomföra interaktionerna själv.

När du testar en agent, använd både testchatten och agentutvärderingen för att få en fullständig bild av din agent.

Språkstöd i agentutvärdering

Copilot Studio-agenter stödjer olika språk. Om du konfigurerar din agent att stödja flera språk kan du välja önskat språk för en given utvärdering.

För en flerspråkig agent har följande utvärderingskomponenter specifika beteenden:

Frågegenerering

Standardspråket är det språk du främst använder när du matar in utvärderingsindata. Välj det språk du vill använda för att genomföra utvärderingen När du kör fler utvärderingar är utdata på samma språk som indatan.

Graderns körning

När du utvärderar en flerspråkig agent används metoden "jämför betydelse" för att jämföra det förväntade svaret med agentens svar. Om ett problem relaterat till flera språk uppstår identifierar systemet en avvikelse, bedömaren "jämför betydelse" underkänner svaret, och svaret markeras som underkänt på grund av språkinkonsekvens.

Förklaringsresultat

Vid samtal med flera turer med en flerspråkig agent ger agenten sina förklaringar på samma språk som den använder i sina svar.

Limitations

För närvarande stöder agentutvärdering inte Fabric-dataagenter.

  • Last updated on