Analizzare l'agente con metriche personalizzate (anteprima)

[Questo articolo è una documentazione preliminare soggetta a modifiche].

Usare il linguaggio naturale per definire fino a tre metriche personalizzate da creare Copilot Studio. Personalizzare le metriche personalizzate dell'agente per misurare i risultati dell'agente e l'impatto aziendale sui messaggi di conversazione. Le metriche personalizzate vengono calcolate in base alle trascrizioni dei messaggi dell'agente, incluso il contenuto inviato nei messaggi Schede adattive.

Visualizzare graficamente le metriche personalizzate come grafici ad anello etichettati in Metriche personalizzate nella pagina Analisi .

Proposta di valore chiave

Questa funzionalità usa l'intelligenza artificiale per creare un prompt che calcola i risultati di una metrica personalizzata definita usando il linguaggio naturale. La metrica si applica a un campionamento di dati di messaggi di conversazione (sessione). È possibile ottimizzare e iterare sulla vostra metrica prima di salvarla nel vostro agente. Creare fino a tre metriche personalizzate per agente. È possibile testare le metriche usando i dati di sessione di esempio ed esaminare i risultati usando il ragionamento predefinito. È quindi possibile perfezionare le metriche per riflettere meglio i risultati e l'impatto aziendale.

Creare una metrica personalizzata

1. Nella pagina Analisi dell'agente selezionare Metriche personalizzate sopra la scheda Riepilogo .

   

2. In Creare una metrica personalizzata descrivere ciò che si vuole misurare in linguaggio normale, in termini di risultati da tenere traccia in tutte le conversazioni.

   

3. Per ogni possibile risultato desiderato per la metrica definita, aggiungere una categoria di risultati e descrivere come l'intelligenza artificiale deve riconoscere quando si verifica questo risultato della metrica.

   Note

   • Per ogni metrica, è possibile definire fino a 10 categorie di risultati.
   • Tutti i risultati della sessione non corrispondenti vengono mappati alla categoria predefinita Altro.

4. Seleziona Avanti.

   L'intelligenza artificiale usa le descrizioni delle metriche e dei risultati e i metadati esistenti dell'agente per creare una richiesta. Il prompt calcola i risultati della nuova metrica in base ai dati della sessione. Il riquadro della nuova metrica personalizzata viene visualizzato nella scheda Anteprima .

5. Visualizzare in anteprima ed effettuare iterazioni sul prompt della metrica personalizzata. Il prompt viene usato per calcolare i risultati delle metriche personalizzate.

Modificare una metrica personalizzata

1. Nella pagina Analisi dell'agente selezionare i tre puntini (...) nel riquadro della metrica personalizzata che si vuole modificare e quindi selezionare Modifica.

2. In Crea una metrica personalizzata modificare una delle impostazioni seguenti in base alle esigenze:

   • Come si definisce il risultato aziendale, in Cosa vuoi misurare?.
   • Qualsiasi categoria di risultati, inclusa la modifica del testo di qualsiasi categoria o l'eliminazione di una categoria.
   • Aggiunta di una nuova categoria di risultati selezionando Aggiungi categoria.

3. Selezionare Avanti e quindi salva metrica.

4. Visualizzare in anteprima ed effettuare iterazioni sul prompt della metrica personalizzata. Il prompt viene usato per calcolare i risultati delle metriche personalizzate.

Visualizzare in anteprima e scorrere il prompt della metrica personalizzata

Usa la funzionalità di anteprima della metrica personalizzata per ottimizzare l'indicazione della metrica. Quando si testa la metrica personalizzata nel pannello Crea una metrica personalizzata, la metrica estrae i dati da un campionamento di un massimo di 20 sessioni.

1. Nella prima pagina di Crea una metrica personalizzata selezionare Avanti.

2. Selezionare Anteprima per visualizzare l'aspetto della metrica personalizzata quando viene visualizzata graficamente in un riquadro.

   

3. Selezionare Risultati per visualizzare un elenco di risultati per i dati campionati e una descrizione del motivo dell'intelligenza artificiale per ogni risultato.

   

4. Valutare se il ragionamento e i risultati sono corretti.

5. Selezionare Chiedi conferma per visualizzare una descrizione della comprensione dell'intelligenza artificiale di ciò che si vuole misurare e calcolare la metrica personalizzata e con le categorie di risultati. La scheda Prompt fornisce trasparenza e informazioni dettagliate su ciò che viene usata la logica sottostante per generare i risultati.

   

6. Se si vuole ottimizzare la richiesta per ottenere risultati più precisi o più pertinenti, apportare modifiche agli input forniti inizialmente nella prima pagina del pannello Crea una metrica personalizzata . Ripetere quindi il prompt modificato con i dati di esempio.

7. Selezionare Salva metrica.

   Il nuovo riquadro della metrica personalizzata viene visualizzato nella pagina Analisi in Metriche personalizzate.

   Dopo aver creato la metrica, è disponibile un calcolo una tantum dell'output della nuova metrica in base ai dati della sessione degli ultimi sette giorni. Il completamento di questo calcolo iniziale potrebbe richiedere del tempo, a seconda del numero di sessioni di cui dispone l'agente. Dopo il calcolo iniziale, è disponibile un calcolo giornaliero dell'output della metrica in base ai dati delle sessioni dell'ultimo giorno. Il calcolo giornaliero avviene di notte nel fuso orario e mantiene aggiornata la metrica.

   Tutti i calcoli, sia iniziali che notturni, per le metriche personalizzate vengono eseguiti su un campione delle sessioni e non su tutte le sessioni nel periodo di tempo.

Eliminare una metrica personalizzata

1. Nella pagina Analisi dell'agente selezionare i tre puntini (...) nel riquadro della metrica personalizzata che si vuole eliminare e quindi selezionare Elimina.

2. Nella finestra di dialogo di conferma selezionare Elimina.