Referens för lokal CLI i Foundry

Den här artikeln innehåller en omfattande referens för kommandoradsgränssnittet foundry Local (CLI). CLI organiserar kommandon i logiska kategorier som hjälper dig att hantera modeller, styra den lokala servern och underhålla din lokala cache.

Förutsättningar

• Installera Foundry Local.
• En lokal terminal där foundry CLI är tillgängligt.
• Se till att du har internetåtkomst vid första nedladdningarna (exekveringsleverantörer och modeller).
• Azure RBAC: Inte tillämpligt (körs lokalt).
• Om du har en Intel NPU på Windows installerar du Intel NPU-drivrutinen för optimal NPU-acceleration.

Installera Foundry Local

Installera Foundry Local med hjälp av pakethanteraren för operativsystemet.

• Windows: Öppna en terminal och kör:

  winget install Microsoft.FoundryLocal
  

• macOS: Öppna en terminal och kör:

  brew tap microsoft/foundrylocal
  brew install foundrylocal
  

  Du kan också ladda ned installationsprogrammet från foundry-samples-GitHub-lagringsplatsen.

Kontrollera installationen:

foundry --version

Kontrollera att du har administratörsbehörighet för att installera programvara.

Snabbverifiering

Kör dessa kommandon för att bekräfta att CLI är installerat och att tjänsten kan nås.

1. Visa CLI-hjälp:

    foundry --help
   

   Det här kommandot skriver ut användningsinformation och listan över tillgängliga kommandogrupper.

   Referens: Översikt

2. Kontrollera serverstatusen:

foundry server status '''

Det här kommandot skriver ut om Foundry Local-daemonen körs och innehåller dess lokala slutpunkt.

Referens: Serverkommandon

Översikt

Använd den inbyggda hjälpen för att utforska kommandon och alternativ.

CLI organiserar kommandon i följande grupper:

• Modell: model, cache
• Kör: run, chat, complete, transcribe
• Server: server
• Installation:config
• Hjälp: status, report

I följande tabell sammanfattas de högsta kommandona:

Modellkommandon

I följande tabell sammanfattas kommandona som rör hantering och körning av modeller:

Ordning av modellista

När flera modell-ID-varianter är tillgängliga för ett alias visar modelllistan modellerna i prioritetsordning. Den första modellen i listan är den modell som körs när du anger modellen med alias.

Filtrering av modelllista

Använd de explicita alternativen för foundry model list att begränsa eller expandera resultatet.

Examples

foundry model list --device gpu
foundry model list --type chat
foundry model list --search qwen
foundry model list --cached
foundry model list --loaded
foundry model list --variants

De här exemplen filtrerar eller expanderar modelllistan med hjälp av de alternativ som stöds.

Referens: Filtrering för modellista

Köra en modell interaktivt

Kör en modell och interagera med den direkt i terminalen:

foundry chat qwen2.5-0.5b

Foundry Local laddar ned modellen vid första körningen och startar sedan en interaktiv session. Ange en uppmaning om att få ett svar:

Why is the sky blue?

Serverkommandon

I följande tabell sammanfattas kommandona som rör hantering och körning av den lokala foundry-tjänsten:

Lokal server med fast port

Om du vill starta den lokala tjänsten på en fast port och hålla daemon igång använder du --port med --idle-timeout 0:

foundry server start --port 39839 --idle-timeout 0

Om daemonen redan körs och du behöver tillämpa en ny port startar du om den med samma alternativ:

foundry server restart --port 39839 --idle-timeout 0

Kontrollera url:en för den lokala slutpunkten genom att köra:

foundry server status

Cachekommandon

I följande tabell sammanfattas kommandona för att hantera den lokala cachen där modeller lagras:

Exekveringsleverantörer

Körningstjänster är maskinvaruspecifika accelerationsbibliotek som kör modeller så effektivt som möjligt på din enhet.

Inbyggda exekveringsleverantörer

Foundry Local innehåller processorkörningsprovidern, WebGPU-körningsprovidern och CUDA-körningsprovidern.

Processorkörningsprovidern använder Microsoft Linear Algebra Subroutines (MLAS) för att köra på valfri CPU och är CPU-återställning för Foundry Local.

WebGPU-körningsprovidern använder Dawn, den interna implementeringen av det webbaserade API:et, för acceleration på alla GPU:er och är GPU-återställning för Foundry Local.

CUDA-körningsprovidern använder NVIDIA CUDA för acceleration på NVIDIA GPU:er. Det kräver en NVIDIA GeForce RTX 30-serie och senare med en lägsta rekommenderad drivrutinsversion 32.0.15.5585 och CUDA version 12.5. Det omfattas av följande licensvillkor: Licensavtal för NVIDIA Software Development Kits – EULA.

Utförandetjänst för plugin-program

Körningsprovidrar som anges i följande tabell är tillgängliga för dynamisk nedladdning och registrering på Windows, beroende på enhets- och drivrutinskompatibilitet. De omfattas av de licensvillkor som anges.

Foundry Local laddar automatiskt ned dessa exekveringsleverantörer vid första körningen. Leverantörerna för pluginutförande uppdateras automatiskt när nya versioner är tillgängliga.

Använda Open WebUI med den lokala servern

Anslut Open WebUI till Foundry Local för ett webbläsarbaserat chattgränssnitt som körs helt på enheten.

1. Starta en modell och lämna terminalen öppen:

foundry run qwen2.5-0.5b

1. Get your local endpoint URL:

```bash
foundry server status

Kopiera slutpunkts-URL:en. Foundry Local tilldelar en dynamisk port varje gång tjänsten startas.

1. Installera och starta Open WebUI och öppna http://localhost:8080 sedan i webbläsaren.

2. Anslut Open WebUI till Foundry Local:

   1. Gå till Inställningar>Administratörsinställningar>Anslutningar och aktivera direktanslutningar.
   2. Gå till Inställningar>Anslutningar>Hantera direktanslutningar och välj +.
   3. Ange URL tillhttp://localhost:PORT/v1 (ersätt PORT med porten från steg 2) och Auth till Ingen.
   4. Välj Spara.

3. Välj en modell i listrutan och börja chatta.

Uppgradera Foundry Local

Kör kommandot för operativsystemet för att uppgradera Foundry Local.

• Windows:

  winget upgrade --id Microsoft.FoundryLocal
  

• macOS:

  brew upgrade foundrylocal
  

Avinstallera Foundry Local

Kör kommandot för operativsystemet för att avinstallera Foundry Local.

• Windows:

  winget uninstall Microsoft.FoundryLocal
  

• macOS:

  brew rm foundrylocal
  brew untap microsoft/foundrylocal
  brew cleanup --scrub
  

Felsökning

Problem med tjänstanslutning

Om du ser det här felet när du kör ett kommando som foundry model list:

Exception: Request to local service failed.
Uri: http://127.0.0.1:0/foundry/list

The requested address is not valid in its context. (127.0.0.1:0)

Please check service status with 'foundry server status'.

Starta om tjänsten:

foundry server restart

Det här kommandot åtgärdar fall där servern körs men inte är tillgänglig på grund av ett portbindningsproblem.

Mer felsökningsvägledning finns i Metodtips och felsökning.