Automatisoi agenttien arviointeja Power Platform -ohjelmointirajapinnan avulla

Copilot Studio tarjoaa tekijöille työkaluja, joilla he voivat jatkuvasti arvioida agentin suorituskykyä suorittamalla automatisoituja testejä ennalta määritetyille testijoukoille käyttämällä Power Platform REST -ohjelmointirajapintaa. REST-ohjelmointirajapinnan avulla voit käynnistää agenttien arviointeja ohjelmallisesti osana kehityksen työnkulkujasi, esimerkiksi agenttipäivitysten, julkaisuvahvistusten tai regressiotestauksen aikana.

Arviointien automatisoinnilla voit:

  • Vahvista agentin laatu muutosten tekemisen jälkeen.
  • Suorita toistuvia suorituskykytarkistuksia tuotantoa tai valmisteluagentteja vastaan.
  • Sisällytä agenttien testaus CI/CD-putkiin.
  • Tunnista agentin toiminnan regressiot kehityksen elinkaaren varhaisessa vaiheessa.

Edellytykset

  • Sinulla on kohdeagentin botin tunnus ja ympäristön tunnus.
  • test set luotu Copilot Studio kohdeagenttiasi varten.
  • Microsoft Entra ID (OAuth 2.0) myöntämä käyttöoikeustietue. Saat tunnuksen kohdasta Todentaminen.
    • Hanki käyttöoikeustietue sovelluksen rekisteröinnin asiakastunnuksella, jonka laajuus on määritetty Power Platform -ohjelmointirajapinnassa.

Yleiskatsaus arviointien suorittamiseen REST-ohjelmointirajapinnan avulla

Jos haluat suorittaa arvioinnin Power Platform -ohjelmointirajapinnan avulla, toimi seuraavasti:

  1. Täytä edellytykset.
  2. Etsi ja nouda käytettävän testijoukon testijoukon tunnus .
  3. Suorita arviointi.
  4. Nouda tulokset käyttämällä arvioinnin suoritustunnusta.

Kun pyyntö onnistuu, arviointi suoritetaan asynkronisesti ja tuottaa tuloksia, jotka voit tarkastella Copilot Studio.

Ohjelmointirajapintatoiminnot arviointien automatisointia varten

Copilot Studio tukee REST-ohjelmointirajapinnan toimintoja, joiden avulla voit käynnistää ohjelmallisesti arviointeja agentistasi olemassa olevan testijoukon avulla.

Lisätietoja Siitä, milloin ja miten Power Platform -ohjelmointirajapintaa käytetään, on seuraavissa ohjeissa:

Hae agenttitestikokoelmat

  • Päätepiste: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets?api-version=2024-10-01
  • Tarkoitus: nouda testijoukon tunnukset ja muut tiedot tietylle agentille.
  • Vastaus: Palauttaa testijoukkojen luettelon value , joka sisältää seuraavat tiedot:
    • auditInfo: Aikaleimat ja käyttäjätunnukset kunkin testijoukon luomista ja muokkaamista varten
    • displayName: Testijoukon nimi.
    • id: Testijoukon tunnus. Käytä Aloita agentti -arviointi -kohdassa käytettävän testijoukon valintaan.
    • description: Testijoukon kuvaus.
    • state: Testijoukon tila. Käytettävissä olevan testijoukon tila Activeon .
    • totalTestCases: Testitapausten määrä testijoukossa.

Lisätietoja on kohdassa Luetteloiden tekijän arviointitestijoukot.

Hae agenttitestijoukon tiedot

  • Päätepiste: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}?api-version=2024-10-01
  • Tarkoitus: Nouda tietyn testijoukon tiedot testijoukon tunnuksella.
  • Vastaus: Palauttaa yhden kohteen tiedot Hae agenttitestijoukkovastaus -matriisissa.

Lisätietoja on kohdassa Luetteloiden tekijän arviointitestijoukot.

Agentin arvioinnin aloittaminen

  • Päätepiste: POST https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}/run?api-version=2024-10-01
  • Tarkoitus: Suorita testijoukon arviointi käyttämällä testijoukon -id Voit myös sisällyttää käyttäjäprofiilinyhteyksien todentamiseen arviointisuorituksen aikana. Käytä mcsConnectionId tätä käyttäjäprofiilin määrittämiseen. Jos et lisää - mcsConnectionId kutsuasi, arviointi suoritetaan ilman todentamista.
  • Vastaus: Palauttaa seuraavat tiedot:
    • runId: Arviointisuorituksen tunnus. Käytä tätä tunnusta arviointitietojen noutamiseen.
    • lastUpdatedAt: Kun suorituksen tila päivitettiin viimeksi.
    • executionState: Suorituksen tila, kun arviointia suoritetaan.
    • state: Suorituksen nykyinen tila.
    • totalTestCases: Arviointiin käytetyn testijoukon testitapausten kokonaismäärä.
    • testCasesProcessed: Viimeisen päivityksen yhteydessä arvioitujen testitapausten kokonaismäärä.

Lue lisää kohdasta Maker-arvioinnin testijoukko.

Agentin testisuoritusten hakeminen

  • Päätepiste: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns?api-version=2024-10-01
  • Tarkoitus: nouda matriisi kaikista aiemmista suoritista.
  • Vastaus: Matriisin jokainen kohde sisältää samat arvot kuin Hae agenttitestin suoritustiedot -kohdassa.

Lisätietoja on luetteloiden tekijän arviointitestin suorituksissa.

Hanki agentin testin suoritustiedot

  • Päätepiste: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns/{TestRunId}?api-version=2024-10-01
  • Tarkoitus: Nouda arvioinnin tiedot käyttämällä runId halutun arviointikierroksen suorittamiseen.
  • Vastaus: Palauttaa seuraavat tiedot:
    • id: Arviointisuorituksen tunnus. Käytä tätä tunnusta arviointitietojen noutamiseen.
    • environmentId: Agentin ympäristön tunnus.
    • cdsBotId: Kohdeagentin tunnus.
    • ownerId: Sen käyttäjän tunnus, joka aloitti arvioinnin.
    • testSetId: Arvioinnissa käytetyn testijoukon tunnus.
    • state: Arvioinnin edistymisen tila.
    • startTime: Kun arviointi alkoi.
    • endTime: Kun arviointi päättyi, jos se päättyi.
    • name: Arvioinnin nimi.
    • totalTestCases: Testijoukon testitapausten kokonaismäärä.
    • mcsConnectionId: Arviointisuorituksessa käytetyn käyttäjäprofiilin Copilot Studio yhteyden yhteystunnus. null jos käyttäjäprofiilia ei ole yhdistetty.
    • testCasesResults: Luettelo arviointisuorituksen testitapauksista. Sisältää seuraavat:
      • testCaseId: Testitapauksen tunnus.
      • state: Testitapauksen valmistumistila.
      • metricsResults: Kunkin testitapauksen testimenetelmän tiedot ja tulokset. Sisältää seuraavat:
        • type: Testimenetelmä.
        • result: Tämän testitapauksen testin lopullinen tulos. Sisältää seuraavat:
          • data: Tuloksen tiedot. Tarkat arvot riippuvat testimenetelmästä. Lue lisää Power Platform -ohjelmointirajapinnan ohjeista. Yleisen laatutestin vastaus sisältää seuraavat:
            • abstention: Vastasiko agentti kyselyyn.
            • relevance: Onko vastaus merkityksellinen.
            • completeness: Onko vastaus täydellinen.
        • status: Testitapauksen tila .
        • errorReason: Jos ilmeni virhe, virheen syy.
        • aiResultReason: Testitapauksen tuloksen tekoälyn selitys.

Lisätietoja on kohdassa Hae tekijän arviointitestin suorittaminen.

Microsoft Studio Connector -tunnuksen käyttäminen arviointeihin

Käynnistä agentin arviointi voit halutessasi lisätä Microsoft Studio Connector -tunnuksen kutsuun käyttäjäprofiilina arviointia varten. Etsi oma :mcsConnectionId

  1. Siirry kohtaan Power Automate.
  2. Avaa Yhteydet-sivu .
  3. Valitse Microsoft Copilot Studioyhteys.
  4. Kopioi URL-osoitteesta mcsConnectionId : .../connections/shared_microsoftcopilotstudio/{mcsConnectionId}/details
  • Last updated on