Hantera realtidsförutsägelser med ML-modellslutpunkter (förhandsversion)

Viktigt!

Den här funktionen är i förhandsversion.

Microsoft Fabric låter dig leverera realtidsprognoser från ML-modeller genom att använda säkra, skalbara och lättanvända online-endpoints. De flesta Fabric-modeller inkluderar dessa endpoints som inbyggda egenskaper, och de kräver ingen installation för att starta fullt hanterade realtidsdistributioner.

Du kan aktivera, konfigurera och fråga efter modellslutpunkter med hjälp av ett offentligt REST API. Du kan också komma igång direkt från Fabric-gränssnittet med hjälp av en low-code-miljö för att aktivera modellslutpunkter och förhandsgranska förutsägelser direkt.

Screenshot som visar en ML-modell i Fabric med en inbyggd slutpunktsegenskap för realtidsförutsägelser.

Förutsättningar

  • Din tenant har slutpunkter för maskininlärningsmodeller aktiverade som standard. Om administratören vill inaktivera den här funktionen kan de inaktivera klientväxeln för ML-modellslutpunkter i Fabric administratörsportalen.

Begränsningar

  • Ändpunkter är för närvarande tillgängliga för en begränsad uppsättning ML-modelltyper, inklusive Keras, LightGBM, Sklearn och XGBoost.
  • Slutpunkter är för närvarande inte tillgängliga för modeller med tensor-baserade scheman eller inga scheman.

Anmärkning

Slutpunkter för maskininlärning har stöd för modeller som tränats med AutoML.

Kom igång med modellslutpunkter

ML-modeller i Fabric levereras förbyggda med online-endpoints som du kan använda för att leverera realtidsprognoser. Varje registrerad modellversion har en dedikerad endpoint-URL, som du kan hitta under rubriken Endpoint details i Fabric-gränssnittet. Denna URL slutar med en delsökväg som anger den specifika versionen (till exempel /versions/1/score).

Skärmbild som visar egenskaperna för en ML-modellslutpunkt, som kan användas för att hantera förutsägelser i realtid.

Modellslutpunkter har följande egenskaper:

Fastighet Beskrivning Standardinställning
Standardversion Denna egenskap (Yes eller No) indikerar om versionen är satt som modellens standard för att leverera reella förutsägelser. Du kan anpassa standardversionen i modellens inställningar. No
Status Den här egenskapen anger om slutpunkten är redo att hantera förutsägelser. Statusen kan vara Inactive, Activating, Active, Deactivatingeller Failed. Endast aktiva slutpunkter kan hantera förutsägelser. Inactive
Automatisk viloläge Den här egenskapen (On eller Off) anger om slutpunkten, när den är aktiv, ska skala ned kapacitetsanvändningen till noll i avsaknad av trafik. Om auto-viloläge är på, går endpointen in i ett viloläge efter fem minuter utan inkommande förfrågningar. Det första anropet för att aktivera en inaktiv slutpunkt innebär en kort fördröjning. On

Aktivera modellslutpunkter

Du kan aktivera modellslutpunkter direkt från Fabric-gränssnittet. Gå till den version som du vill använda för realtidsförutsägelser och välj Aktivera slutpunkt för versionen i menyfliksområdet.

Skärmbild som visar hur du aktiverar en ML-modellslutpunkt från Fabric interface.

Ett toastmeddelande visar att Fabric förbereder din endpoint för att leverera prediktioner, och statusen för endpointen ändras till Activating. Bakom kulisserna startar Fabric den underliggande containerinfrastrukturen för att hosta din modell. Inom några minuter är slutpunkten redo att hantera förutsägelser.

Skärmbild som visar en ML-modellslutpunkt som nu aktiveras.

Varje slutpunkt har en status som visar om den är redo att leverera realtidsprognoser:

Status Beskrivning
Inactive Endpointen aktiveras inte för att leverera realtidsprognoser och den förbrukar inte Fabric-kapacitet.
Activating Slutpunkten konfigureras för att hantera realtidsförutsägelser. I bakgrunden konfigurerar Fabric den underliggande containerinfrastrukturen som värd för modellen. Inom några minuter är slutpunkten aktiv.
Active Slutpunkten är redo att hantera realtidsförutsägelser. I bakgrunden hanterar Fabric den underliggande infrastrukturen och skalar upp resursanvändningen baserat på inkommande trafik. Högre trafik resulterar i högre Fabric kapacitetsanvändning.
Deactivating Endpointen inaktiveras, så den levererar inte längre realtidsprognoser eller förbrukar Fabric-kapacitet. I bakgrunden demonterar Fabric den underliggande containerinfrastrukturen.

Anmärkning

ML-modeller kan ha stöd för aktiva slutpunkter för upp till fem versioner samtidigt. Om du vill visa förutsägelser från en sjätte version måste du först inaktivera en aktiv slutpunkt.

Hantera modellslutpunkter

För att få en översikt över modellens aktiva endpoints, välj Hantera endpoints från ribbon i gränssnittet. Varje modell har en anpassningsbar standardslutpunkt som hanterar förutsägelser från en version som du väljer. Du kan uppdatera standardversionen genom att använda rullgardinsmenyn i inställningspanelen.

Skärmbild som visar standard-URL:en för ML-modellens slutpunkt, som du kan konfigurera för att hantera förutsägelser från en viss version.

Viktigt!

Ställ in standardegenskapen till en aktiv version om du planerar att använda den. Om du inte sätter standardegenskapen, eller om du sätter den till en inaktiv version, misslyckas anrop till standard-endpointen.

Modellens endpoint-inställningar listar alla versioner med aktiva endpoints. Du kan ändra egenskapen för automatisk sömn för varje slutpunkt genom att växla växeln till På eller Av.

Skärmbild som visar hur du ändrar egenskapen för automatisk viloläge på ML-modellslutpunkter.

Tips/Råd

Aktiva slutpunkter med automatisk viloläge aktiverade går in i villäge efter fem minuter utan trafik. Det första samtalet för att väcka dem innebär en kort fördröjning. Du kanske vill inaktivera den här inställningen för slutpunkter i produktionsmiljö.

Frågemodellslutpunkter för realtidsförutsägelser

Du kan testa modellslutpunkter omedelbart genom att använda low-code-miljön i Fabric. Gå till en version med en aktiv slutpunkt och välj Förhandsgranska förutsägelser i menyfliksområdet i gränssnittet. Du kan skicka exempelförfrågningar till slutpunkten och få exempelprognoser i realtid genom att använda formulärfält som matchar modellens inmatningssignatur.

Skärmbild som visar den inbyggda förhandsversionen för att hämta exempelförutsägelser från en aktiv ML-modellslutpunkt.

Välj Autofill för att fylla i formulärfälten med slumpmässiga urvalsvärden. Du kan lägga till fler uppsättningar formvärden för att testa slutpunkten med flera indata. Välj Get predictions för att skicka din exempelförfrågan till slutpunkten.

Skärmbild som visar den formulärbaserade vyn för att skicka exempelbegäranden till en aktiv ML-modellslutpunkt.

Om du föredrar att formatera exempelbegäranden som JSON-nyttolaster använder du listruteväljaren för att ändra vyn.

Skärmbild som visar den JSON-baserade vyn för att skicka exempelbegäranden till en aktiv ML-modellslutpunkt.

Inaktivera modellslutpunkter

Du kan inaktivera modellslutpunkter direkt från Fabric-gränssnittet. Gå till en version som du inte längre behöver använda för realtidsprediktioner och välj Inaktivera versionsslutpunkt i menyfliksområdet i gränssnittet.

Skärmbild som visar hur du inaktiverar en ML-modellslutpunkt från Fabric-gränssnittet.

Ett toastmeddelande visas som anger att Fabric avvecklar din aktiva distribution, och statusen för slutpunkten ändras till Deactivating. Endpointen kan inte leverera realtidsprognoser om du inte aktiverar den igen.

Skärmbild som visar en ML-modellslutpunkt som nu inaktiveras.

Du kan inaktivera slutpunkter för flera versioner samtidigt från modellens inställningsfönster. Välj Hantera ändpunkter från bandet i gränssnittet och välj en eller flera aktiva ändpunkter att avaktivera.

Skärmbild som visar hur du inaktiverar flera ML-modellslutpunkter samtidigt från Fabric interface.

Förbrukningshastighet

Värdskap av aktiva modellslutpunkter förbrukar Fabric-kapacitetsenheter (CUs). Endpunkter körs på beräkningsnoder och kan automatiskt skala upp till tre noder beroende på inkommande trafik. Fakturering beräknas per nod medan en slutpunkt är aktiv. Följande tabell visar CU-förbrukningen för en aktiv ML-modell-endpoint.

Åtgärd Operationsmätenhet Förbrukningshastighet
Modellslutpunkt 1 modellslutpunkt (version) per sekund per nod 5 CU sekunder

Följande tabell visar exempelscenarier och deras motsvarande konsumtionsnivåer och timkostnader.

Scenario Beskrivning Förbrukningshastighet Timkostnad
Modeller med inaktiva slutpunkter Dessa modeller har inga aktiva versionsslutpunkter och ingen associerad resursanvändning. De innebär ingen extra kostnad. 0 CU sekunder 0 CU-timme
Modeller med aktiva men inaktiva slutpunkter Dessa modeller har en eller flera aktiva versionslutpunkter, men utan regelbunden trafik skalar alla ändpunkter till noll, vilket automatiskt minskar kostnaderna. 5 CU sekunder 0,42 CU-timmar
Modeller med en aktiv slutpunkt och konstant låg trafik Dessa modeller har bara 1 aktiv versionsslutpunkt som betjänar förutsägelser, men utan tillräckligt med trafik för att utlösa en fullständig utskalning. En nod kan hantera all trafik. Ändpunkter för andra versioner kan vara inaktiva eller vilande. 5 CU sekunder 5 CU-timmar
Modeller med 1 aktiv slutpunkt och konstant hög trafik Dessa modeller har endast en aktiv versionsslutpunkt som levererar prediktioner, med tillräckligt med trafik för att utlösa en fullständig uppskalning. Andra versionsslutpunkter kan vara inaktiva eller overksamma. 15 CU sekunder 15 CU-timmar
Modeller med 5 aktiva slutpunkter och konstant hög trafik Dessa modeller har 5 aktiva versionsslutpunkter (den aktuella gränsen) som betjänar förutsägelser, var och en med tillräckligt med trafik för att utlösa en fullständig utskalning. 75 CU sekunder 75 CU-timmar

Appen Fabric Kapacitetsmått visar den totala kapacitetsanvändningen för modellslutpunktsåtgärder under namnet "Modellslutpunkt". Dessutom kan användare se en sammanfattning av sina faktureringskostnader för Model Endpoint-användning under faktureringsposten "ML Model Endpoint Capacity Usage CU".

Modellslutpunktsåtgärden klassificeras som bakgrundsåtgärder.

Förbrukningsfrekvensen kan ändras när som helst. Microsoft använder rimliga ansträngningar för att meddela via e-post eller via produktmeddelande. Ändringarna träder i kraft på det datum som anges i Microsoft Release Notes eller Microsoft Fabric Blog. Om någon ändring av modellslutpunkten i Fabric Consumption Rate väsentligt ökar de kapacitetsenheter (CU) som krävs för användning, kan kunderna utnyttja avbokningsalternativen som är tillgängliga för den valda betalningsmetoden.

Relaterat innehåll

  • Last updated on