在 Azure Databricks 上查询 LLM 和代理

Azure Databricks提供了多种方式来查询大型语言模型（LLM）、基础模型和已部署的代理。 根据工作流选择交互式 UI、SQL、REST API 或客户端库。

AI 试验场

AI Playground是Azure Databricks工作区中用于提示和比较 LLM 的无代码聊天环境。 使用它来测试提示词、调整温度和最大令牌数等参数，并并排搭建工具调用代理和问答机器人的原型，然后再开始编写代码。

基础模型

Azure Databricks 通过 Unity AI Gateway 原生作为模型 API（模型服务）为基础模型提供服务。 每个账户用户都可以在模式中调用按代币付费的模型 system.ai ，无需设置。 选择符合您需求的模型API：

• 系统提供的模型APIsystem.ai：由Azure Databricks原生服务的模型，准备通过兼容OpenAI的SDK查询，使用本地提供者API或ai_query。 参见查询模型API（模型服务）。
• 自定义模型API：当你需要超出默认的模型，或用于分散负载和设置备用时，可以 自行创建 。

查询智能体

生成并部署代理后，请从应用程序 查询代理 。 代理可以托管在 Databricks 应用或模型服务终结点上。 Azure Databricks支持三种查询方法：

• Databricks OpenAI 客户端：推荐用于新应用，支持原生流媒体和完整功能支持。
• 兼容OpenAI的REST API：语言无关，支持任何已经支持OpenAI API的平台。
• ai_query：查询托管在模型服务端点上的遗留代理，从SQL中获取。

使用 AI 函数扩充数据

AI 函数是内置 SQL 函数，可将 LLM 和其他模型应用于存储在Azure Databricks中的数据。 从 Databricks SQL、笔记本、Lakeflow 管道或工作流运行它们，以分类支持票证、从文档中提取实体、汇总内容或批量翻译文本。

在两种函数样式之间进行选择：

• 特定任务函数（如 ai_classify、ai_extract 和 ai_parse_document）针对单一任务进行了优化，并使用由 Azure Databricks 托管、以研究为基础的系统。
• ai_query 是通用函数。 创建你自己的提示词，选择任何支持的基础模型。 请参阅 “使用 ai_query”。

有关端到端示例，请参阅 使用 AI Functions 分析客户评论。