Automatisoi agenttien arviointeja Power Platform -ohjelmointirajapinnan avulla

Huomautus

Tämän artikkelin ominaisuudet perustuvat standardivaljaisiin, jotka käyttävät Lisensointi-osiossa kuvattuja laskutusvaihtoehtoja agenteille, jotka käyttävät standardivaljasta. Opi, miten pääset käsiksi standardeihin liittyviin ominaisuuksiin Accessin standardiagenteissa ja agenttivirroissa.

Copilot Studio tarjoaa tekijöille työkaluja, joilla he voivat jatkuvasti arvioida agentin suorituskykyä suorittamalla automatisoituja testejä ennalta määritetyille testijoukoille käyttämällä Power Platform REST -ohjelmointirajapintaa. REST-ohjelmointirajapinnan avulla voit käynnistää agenttien arviointeja ohjelmallisesti osana kehityksen työnkulkujasi, esimerkiksi agenttipäivitysten, julkaisuvahvistusten tai regressiotestauksen aikana.

Arviointien automatisoinnilla voit:

  • Vahvista agentin laatu muutosten tekemisen jälkeen.
  • Suorita toistuvia suorituskykytarkistuksia tuotantoa tai valmisteluagentteja vastaan.
  • Sisällytä agenttien testaus CI/CD-putkiin.
  • Tunnista agentin toiminnan regressiot kehityksen elinkaaren varhaisessa vaiheessa.

Edellytykset

  • Sinulla on kohdeagentin botin tunnus ja ympäristön tunnus.
  • test set luotu Copilot Studio kohdeagenttiasi varten.
  • Microsoft Entra ID (OAuth 2.0) myöntämä käyttöoikeustietue. Saat tunnuksen kohdasta Todentaminen.
    • Hanki käyttöoikeustietue sovelluksen rekisteröinnin asiakastunnuksella, jonka laajuus on määritetty Power Platform -ohjelmointirajapinnassa.

Yleiskatsaus arviointien suorittamiseen REST-ohjelmointirajapinnan avulla

Jos haluat suorittaa arvioinnin Power Platform -ohjelmointirajapinnan avulla, toimi seuraavasti:

  1. Täytä edellytykset.
  2. Etsi ja nouda käytettävän testijoukon testijoukon tunnus .
  3. Suorita arviointi.
  4. Nouda tulokset käyttämällä arvioinnin suoritustunnusta.

Kun pyyntö onnistuu, arviointi suoritetaan asynkronisesti ja tuottaa tuloksia, jotka voit tarkastella Copilot Studio.

Ohjelmointirajapintatoiminnot arviointien automatisointia varten

Copilot Studio tukee REST-ohjelmointirajapinnan toimintoja, joiden avulla voit käynnistää ohjelmallisesti arviointeja agentistasi olemassa olevan testijoukon avulla.

Lisätietoja Siitä, milloin ja miten Power Platform -ohjelmointirajapintaa käytetään, on seuraavissa ohjeissa:

Hae agenttitestikokoelmat

  • Päätepiste: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets?api-version=2024-10-01
  • Tarkoitus: nouda testijoukon tunnukset ja muut tiedot tietylle agentille.
  • Vastaus: Palauttaa testijoukkojen luettelon value , joka sisältää seuraavat tiedot:
    • auditInfo: Aikaleimat ja käyttäjätunnukset kunkin testijoukon luomista ja muokkaamista varten
    • displayName: Testijoukon nimi.
    • id: Testijoukon tunnus. Käytä Aloita agentti -arviointi -kohdassa käytettävän testijoukon valintaan.
    • description: Testijoukon kuvaus.
    • state: Testijoukon tila. Käytettävissä olevan testijoukon tila Activeon .
    • totalTestCases: Testitapausten määrä testijoukossa.

Lisätietoja on kohdassa Luetteloiden tekijän arviointitestijoukot.

Hae agenttitestijoukon tiedot

  • Päätepiste: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}?api-version=2024-10-01
  • Tarkoitus: Nouda tietyn testijoukon tiedot testijoukon tunnuksella.
  • Vastaus: Palauttaa yhden kohteen tiedot Hae agenttitestijoukkovastaus -matriisissa.

Lisätietoja on kohdassa Luetteloiden tekijän arviointitestijoukot.

Agentin arvioinnin aloittaminen

  • Päätepiste: POST https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testsets/{TestSetId}/run?api-version=2024-10-01
  • Tarkoitus: Suorita testijoukon arviointi käyttämällä testijoukon -id Voit myös sisällyttää käyttäjäprofiilinyhteyksien todentamiseen arviointisuorituksen aikana. Käytä mcsConnectionId tätä käyttäjäprofiilin määrittämiseen. Jos et lisää - mcsConnectionId kutsuasi, arviointi suoritetaan ilman todentamista.
  • Vastaus: Palauttaa seuraavat tiedot:
    • runId: Arviointisuorituksen tunnus. Käytä tätä tunnusta arviointitietojen noutamiseen.
    • lastUpdatedAt: Kun suorituksen tila päivitettiin viimeksi.
    • executionState: Suorituksen tila, kun arviointia suoritetaan.
    • state: Suorituksen nykyinen tila.
    • totalTestCases: Arviointiin käytetyn testijoukon testitapausten kokonaismäärä.
    • testCasesProcessed: Viimeisen päivityksen yhteydessä arvioitujen testitapausten kokonaismäärä.

Lue lisää kohdasta Maker-arvioinnin testijoukko.

Agentin testisuoritusten hakeminen

  • Päätepiste: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns?api-version=2024-10-01
  • Tarkoitus: nouda matriisi kaikista aiemmista suoritista.
  • Vastaus: Matriisin jokainen kohde sisältää samat arvot kuin Hae agenttitestin suoritustiedot -kohdassa.

Lisätietoja on luetteloiden tekijän arviointitestin suorituksissa.

Hanki agentin testin suoritustiedot

  • Päätepiste: GET https://api.powerplatform.com/copilotstudio/environments/{EnvironmentId}/bots/{BotId}/api/makerevaluation/testruns/{TestRunId}?api-version=2024-10-01
  • Tarkoitus: Nouda arvioinnin tiedot käyttämällä runId halutun arviointikierroksen suorittamiseen.
  • Vastaus: Palauttaa seuraavat tiedot:
    • id: Arviointisuorituksen tunnus. Käytä tätä tunnusta arviointitietojen noutamiseen.
    • environmentId: Agentin ympäristön tunnus.
    • cdsBotId: Kohdeagentin tunnus.
    • ownerId: Sen käyttäjän tunnus, joka aloitti arvioinnin.
    • testSetId: Arvioinnissa käytetyn testijoukon tunnus.
    • state: Arvioinnin edistymisen tila.
    • startTime: Kun arviointi alkoi.
    • endTime: Kun arviointi päättyi, jos se päättyi.
    • name: Arvioinnin nimi.
    • totalTestCases: Testijoukon testitapausten kokonaismäärä.
    • mcsConnectionId: Arviointisuorituksessa käytetyn käyttäjäprofiilin Copilot Studio yhteyden yhteystunnus. null jos käyttäjäprofiilia ei ole yhdistetty.
    • testCasesResults: Luettelo arviointisuorituksen testitapauksista. Sisältää seuraavat:
      • testCaseId: Testitapauksen tunnus.
      • state: Testitapauksen valmistumistila.
      • metricsResults: Kunkin testitapauksen testimenetelmän tiedot ja tulokset. Sisältää seuraavat:
        • type: Testimenetelmä.
        • result: Tämän testitapauksen testin lopullinen tulos. Sisältää seuraavat:
          • data: Tuloksen tiedot. Tarkat arvot riippuvat testimenetelmästä. Lue lisää Power Platform -ohjelmointirajapinnan ohjeista. Yleisen laatutestin vastaus sisältää seuraavat:
            • abstention: Vastasiko agentti kyselyyn.
            • relevance: Onko vastaus merkityksellinen.
            • completeness: Onko vastaus täydellinen.
        • status: Testitapauksen tila .
        • errorReason: Jos ilmeni virhe, virheen syy.
        • aiResultReason: Testitapauksen tuloksen tekoälyn selitys.

Lisätietoja on kohdassa Hae tekijän arviointitestin suorittaminen.

Microsoft Studio Connector -tunnuksen käyttäminen arviointeihin

Käynnistä agentin arviointi voit halutessasi lisätä Microsoft Studio Connector -tunnuksen kutsuun käyttäjäprofiilina arviointia varten. Etsi oma :mcsConnectionId

  1. Siirry kohtaan Power Automate.
  2. Avaa Yhteydet-sivu .
  3. Valitse Microsoft Copilot Studioyhteys.
  4. Kopioi URL-osoitteesta mcsConnectionId : .../connections/shared_microsoftcopilotstudio/{mcsConnectionId}/details
  • Last updated on