LLM's en agents op Azure Databricks bevragen

Azure Databricks biedt meerdere manieren om query's uit te voeren op grote taalmodellen (LLM's), basismodellen en geïmplementeerde agents. Kies een interactieve gebruikersinterface, SQL, REST API's of clientbibliotheken, afhankelijk van uw werkstroom.

AI-speeltuin

De AI Playground is een no-code chatomgeving in je Azure Databricks-werkruimte voor het invoeren van prompts en het vergelijken van LLMs. Gebruik het om te experimenteren met prompts, parameters zoals temperature en max tokens af te stemmen, en tool-calling agents en vraag-en-antwoordbots zij aan zij te prototypen voordat u overstapt op code.

Basismodellen

Azure Databricks bedient foundation-modellen native als model-API's (model services) via Unity AI Gateway. Elke accountgebruiker kan de pay-per-token-modellen in het system.ai schema aanroepen zonder enige opstelling. Kies de model-API's die bij jouw behoeften passen:

• Systeemgeleverde model-API's insystem.ai: Modellen die native worden bediend door Azure Databricks, klaar om te query'en met de OpenAI-compatibele SDK, native provider API's, of ai_query. Zie Querymodel-API's (modelservices).
• Aangepaste model-API's: Maak je eigen modellen aan wanneer je modellen nodig hebt buiten de standaardinstellingen, of om de belasting te verdelen en fallbacks in te stellen.

Queryagenten

Nadat u een agent hebt gebouwd en geïmplementeerd, voert u een query uit op de agent vanuit uw toepassing. Agents kunnen worden gehost op Databricks Apps of Model Serving-endpoints. Azure Databricks ondersteunt drie querymethoden:

• Databricks OpenAI-client: Aanbevolen voor nieuwe applicaties, met native streaming en volledige functionaliteitsondersteuning.
• OpenAI-compatibele REST API: Taalonafhankelijk, werkt met elk platform dat al de OpenAI API gebruikt.
• ai_query: Vraag legacy agents die op Model Serving eindpunten worden gehost vanuit SQL.

Gegevens verrijken met BEHULP van AI Functions

AI Functions zijn ingebouwde SQL-functies die LLM's en andere modellen toepassen op gegevens die zijn opgeslagen in Azure Databricks. Voer ze uit vanuit Databricks SQL, notebooks, Lakeflow-pijplijnen of werkstromen om ondersteuningstickets te classificeren, entiteiten te extraheren uit documenten, inhoud samen te vatten of tekst op batchschaal te vertalen.

Kies tussen twee stijlen van functies:

• Taakspecifieke functies zoals ai_classify, ai_extract en ai_parse_document zijn geoptimaliseerd voor één taak en Azure Databricks beheerde, door onderzoek ondersteunde systemen.
• ai_query is de algemene functie. Maak je eigen prompt en kies een ondersteund foundationmodel. Zie Gebruik ai_query.

Zie Klantenbeoordelingen analyseren met BEHULP van AI Functions voor een end-to-end-voorbeeld.