Abilitare l'elaborazione prioritaria per i modelli Fonderia di Microsoft

L'elaborazione prioritaria offre prestazioni a bassa latenza con la flessibilità del pagamento in base al consumo. In questo articolo viene abilitata l'elaborazione delle priorità in una distribuzione del modello, si verifica il livello di servizio che ha elaborato le richieste e si monitorano i costi associati.

Prerequisiti

• Sottoscrizione di Azure : Crearne una gratuitamente.
• Un progetto Microsoft Foundry con un modello del tipo di distribuzione GlobalStandard o DataZoneStandard distribuito.
• Versioni di modello 2025-12-01 o successive.

Casi d'uso chiave

• Latenza coerente e bassa per le esperienze utente reattive.
• Semplicità con pagamento in base al consumo senza impegni a lungo termine.
• Traffico in ore lavorative o con picchi che trae vantaggio da prestazioni scalabili e convenienti. Facoltativamente, è possibile combinare l'elaborazione prioritaria con le unità elaborate assegnate (PTU) per la capacità i stato stabile e l'ottimizzazione dei costi.

Obiettivo di latenza

¹ Le richieste di contesto lunghe (ovvero le richieste stimate a più di 128.000 token del prompt) verranno declassate all'elaborazione standard e verranno addebitate alla tariffa dello standard.

² Calcolata come latenza di richiesta p50 su base 5 minuti.

Disponibilità dell'elaborazione prioritaria in base al tipo di distribuzione

L'elaborazione prioritaria può essere abilitata nelle distribuzioni standard Globale o standard Zona dati (Stati Uniti). Per informazioni sui prezzi, vedere la pagina dei prezzi di Azure OpenAI.

Abilitare l'elaborazione prioritaria a livello di distribuzione

È possibile abilitare l'elaborazione della priorità a livello di distribuzione e (facoltativamente) a livello di richiesta.

Nel portale Microsoft Foundry, attiva il toggle per l'elaborazione prioritaria nella pagina dei dettagli della distribuzione quando crei la distribuzione, oppure aggiorna l'impostazione di un modello già distribuito modificando i dettagli della distribuzione.

Dopo aver configurato una distribuzione del modello per l'uso dell'elaborazione prioritaria, è possibile iniziare a inviare richieste al modello.

Visualizzare le metriche di utilizzo

È possibile visualizzare la misura di utilizzo per la risorsa nella sezione Monitoraggio di Azure del portale di Azure.

Per visualizzare il volume di richieste elaborate dall'elaborazione standard rispetto all'elaborazione con priorità, suddivise per il livello di servizio (standard o priorità) presente nella richiesta originale:

1. Accedere a https://portal.azure.com.
2. Passare alla risorsa OpenAI Azure e selezionare l'opzione Metrics dal riquadro di spostamento a sinistra.
3. Nella pagina delle metriche, aggiungere la metrica richieste di Azure OpenAI. È anche possibile selezionare altre metriche come Azure latenza OpenAI, Azure utilizzo OpenAI e altri.
4. Selezionare Aggiungi filtro per selezionare la distribuzione standard per la quale sono state elaborate le richieste di elaborazione prioritarie.
5. Selezionare Applica suddivisione per suddividere i valori per ServiceTierRequest e ServiceTierResponse.

Per altre informazioni sul monitoraggio delle distribuzioni, vedere Monitor Azure OpenAI.

Monitorare i costi

È possibile visualizzare una suddivisione dei costi per le richieste di priorità e standard nella pagina di analisi dei costi del portale di Azure filtrando il nome della distribuzione e i tag di fatturazione come indicato di seguito:

1. Passare alla pagina di analisi dei costi nel portale Azure.
2. (Facoltativo) Filtrare in base alla risorsa.
3. Per filtrare in base al nome della distribuzione: aggiungere un filtro per tag di fatturazione> selezionare la distribuzione come valore, quindi scegliere il nome della distribuzione.

Per informazioni sui prezzi per l'elaborazione prioritaria, vedere la panoramica dei prezzi di Servizio Azure OpenAI.

Abilitare l'elaborazione della priorità a livello di richiesta

L'abilitazione dell'elaborazione della priorità a livello di richiesta è facoltativa. Sia l'API di completamento della chat che l'API delle risposte hanno un attributo service_tier facoltativo che specifica il tipo di elaborazione da usare per la gestione di una richiesta. Nell'esempio seguente viene illustrato come impostare service_tier su priority in una richiesta di risposta.

curl -X POST https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/responses \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $AZURE_OPENAI_AUTH_TOKEN" \
  -d '{
     "model": "gpt-4.1",
     "input": "This is a test",
     "service_tier": "priority"
    }'

Usare l'attributo service_tier per eseguire l'override dell'impostazione a livello di distribuzione. service_tier può accettare i valori auto, defaulte priority.

• Se non si imposta l'attributo, per impostazione predefinita viene impostato su auto.

• service_tier = auto indica che la richiesta usa il livello di servizio configurato nella distribuzione.

• service_tier = default indica che la richiesta usa i prezzi e le prestazioni standard per il modello selezionato.

• service_tier = priority indica che la richiesta utilizza il livello di priorità del servizio di elaborazione.

La tabella seguente riepiloga il livello di servizio che elabora le richieste in base alle impostazioni a livello di distribuzione e a livello di richiesta per service_tier.

Limitazioni

• Il servizio attualmente non supporta le distribuzioni standard regionali e le distribuzioni standard dell'area dati dell'UE.

• Il servizio potrebbe reindirizzare nuovamente alcune richieste di priorità all'elaborazione standard* durante questi scenari:

  • Se aumenti rapidi del numero di token di elaborazione prioritaria al minuto comportano il raggiungimento dei limiti di incremento graduale della velocità. Attualmente, il limite di frequenza viene definito come un aumento del traffico superiore al 50% di token al minuto in meno di 15 minuti.
  • Durante i periodi di picco delle richieste di elaborazione prioritaria.
  • Richieste di contesto lunghe inviate a determinati modelli elencati nella tabella di destinazione della latenza.

  Suggerimento

  Se si raggiungono regolarmente i limiti di frequenza, valutare l'acquisto di PTU in sostituzione o in aggiunta all'elaborazione prioritaria.

  * Il servizio fattura le richieste elaborate dal livello di servizio standard a tariffe standard. Le richieste elaborate dal livello di servizio standard includono service_tier = default nella risposta, mentre le richieste elaborate dal livello di elaborazione prioritario includono service_tier = priority nella risposta.

Risoluzione dei problemi

Contenuto correlato

• Larghezza di banda allocata
• Gestione del traffico di spillover
• Tipi di distribuzione
• Monitoraggio Azure OpenAI
• Informazioni sui costi associati alla PTU