Databricks Feature Store 和旧版 Workspace Feature Store 发布说明

此页面列出了 Unity Catalog 中的 Databricks 特征工程客户端和 Databricks 工作区特征存储客户端的版本。 这两个客户端都可用于 PyPI： databricks-feature-engineering 和 databricks-feature-store。

图书馆用于以下目的：

  • 创建、读取和写入功能表。
  • 基于特征数据训练模型。
  • 将功能表发布到在线应用商店，以便提供实时服务。

有关使用说明，请参阅 Databricks Feature Store。 有关 Python API 文档，请参阅功能工程Python API。

Unity Catalog 客户端中的特征工程适用于 Unity Catalog 的特征和特征表。 工作区特征存储客户端适用于工作区特征存储中的特征和特征表。 这两个客户端都预安装在用于机器学习的 Databricks Runtime 中。 通过 PyPI (databricks-feature-engineering) 安装 pip install databricks-feature-engineering 后，它们也可在 Databricks Runtime 上运行。 如果用于单元测试，两个客户端均可以在本地或 CI/CD 环境中使用。

有关 Databricks Runtime 和 Databricks Runtime ML 版本的客户端版本兼容性，请参阅特征工程兼容性对照表。 旧版 Databricks 工作区特征存储客户端在 PyPI 上作为 databricks-feature-store 提供。

databricks-feature-engineering 0.16.1

  • create_training_set 和 score_batch 现在会在可用时复用离线物化聚合特征，从而加快训练集创建和批量推理。 请参阅 具体化功能视图。
  • RequestSource 功能不再需要实体列和时间序列列。
  • 修复了 create_training_set 中不正确的 First 和 Last 结果。 这些聚合现在默认包含空值；添加 filter_condition 以排除值为 null 的输入列。
  • 修复了当源行包含 null 值时，compute_features 会返回 0 或 null 的问题。
  • 漏洞修复和改进。

databricks-feature-engineering 0.16.0

  • 功能视图公共预览版：
    • 功能视图现已进入公开预览。 FeatureEngineeringClient 上的 is_beta_feature_view() 和 list_beta_feature_views() 实用工具可识别出在 Beta API 下注册并需要迁移到 Public Preview 表示形式的功能。
    • Feature.clone() 方法有助于将 Beta 功能视图迁移到公共预览版。
    • create_pipeline 对于功能视图，已弃用;请改用具体化功能 API。
  • 流式功能：
    • StreamSource 现已可在 create_feature() 中用于定义由 Kafka 或 Delta 源提供支持的流式特性。
    • create_training_set 现在支持基于使用 StreamSource 定义的功能进行训练。
    • FeatureEngineeringClient 上新增了用于管理流式要素源的 create_stream、get_stream、update_stream、delete_stream 和 list_streams 方法。
    • StreamingMode materialize_features 的触发器选择微批量物化。
  • 其他改进：
    • 新的 list_features() API 在FeatureEngineeringClient目录或架构中列出功能。
    • 新的 grant_feature_serving_access() 实用程序授予在线提供物化特征服务所需的权限，并提供一种 dry_run 模式，可在应用前预览访问权限。
    • DeltaTableSource.from_sql() 现在直接接受 SparkSession 。
    • DeltaTableSource.dataframe_schema 替换已弃用 schema_json 的参数。
    • RollingWindow 替换已删除 ContinuousWindow 的别名。
    • 已从RollingWindow中移除已弃用的offset参数；请改用delay。
    • 删除了对包含默认目录的 2 部分 Unity 目录名称的支持。
    • 漏洞修复和改进。

databricks-feature-engineering 0.15.0

  • RequestSource （Beta）：
    • 新的 RequestSource 类支持在请求时根据直接传递给模型的数据计算特征，而无需查找特征表。
    • create_feature()、 create_training_set()、 score_batch()和 compute_features() 所有支持 RequestSource支持的功能。
    • log_model 自动将 RequestSource 特征连接到模型签名中。
  • ColumnSelection （Beta）：
    • 新 ColumnSelection 类允许从功能源中选择特定的输出列，从而启用更精细的功能定义。
    • 支持 create_feature()、create_training_set()、compute_features() 和 log_model。
  • 其他改进：
    • 用于 materialize_features 的新 TableTrigger 触发器类型可在 Delta 表更新时触发具体化。
    • score_batch 现在在 Databricks Runtime 无服务器运行时上运行。
    • DeltaTableSource.from_sql() 现在拒绝不支持的 SQL 子句，例如 GROUP BY 和 ORDER BY。
    • RequestSource.from_dataframe() 从现有 DataFrame 推断请求架构。
    • 从 databricks-feature-engineering中删除 Flask 依赖项。
    • 漏洞修复和改进。

databricks-feature-engineering 0.14.0

  • 批处理声明性功能（Beta）：
    • 声明性功能 API，用于将声明性功能定义存储为具有聚合和时间窗口的 Unity 目录函数。
    • 具体化功能 API 使用可配置的 cron 计划将功能自动批量具体化到在线商店。
    • 在 Unity Catalog 中，已注册模型的在线服务可使用具体化特征。
    • 支持使用 SlidingWindow 和 TumblingWindow 类进行滑动窗口和滚动窗口处理，以便在 create_training_set() 中计算特定时间点的正确特征。
    • filter_condition 参数允许在计算功能时筛选源数据。
  • 其他改进：
    • 新 list_online_stores() API 列出了目录或架构中的所有在线商店。
    • 支持 usage_policy_id 在创建或更新在线商店时进行账单跟踪。
    • 改进了在线商店被删除或不可用时的错误消息。
    • Bug 修复和性能改进。

databricks-feature-engineering 0.13.0

  • 用于管理 Databricks 托管的在线特征存储库的 API。
  • publish_table()现在接受source_table_name和online_table_namepublish_mode参数，用于更清晰的表规范。
  • 在创建或更新在线存储库时支持 read_replica_count，以提升读取可扩展性。
  • 漏洞修复和改进。

databricks-feature-engineering 0.12.1

  • 支持特性查询的默认值。
  • 漏洞修复和改进。

databricks-feature-engineering 0.11.0

  • 添加对 mlflow 版本 3.0 的支持。
  • 漏洞修复和改进。

databricks-feature-engineering 版本 0.10.2

  • 添加对 mlflow 版本 2.20.0 及更高版本的支持。
  • 添加对 numpy 版本 2.x 的支持。
  • 漏洞修复和改进。

databricks-feature-engineering 0.9.0

  • 支持在prebuilt_env调用中使用score_batch。
  • 改进了使用 Photon 的时间点特征联接性能。
  • 漏洞修复和改进。

databricks-feature-engineering 0.8.0

  • 支持在 params 调用中使用 score_batch，从而允许将其他参数传递给模型进行推理。
  • 漏洞修复和改进。

databricks-特征工程 0.7.0

databricks-feature-engineering 0.6.0

  • 除了现有的 Tempo 支持外，现在还支持使用本机 Spark 运行时间点联接。 非常感谢 Semyon Sinchenko 提议这个想法！
  • 现在支持将 StructType 用作 PySpark 数据类型。 联机服务不支持 StructType。
  • write_table 现在支持写入启用了 液态聚类的表。
  • timeseries_columns 的 create_table 参数已重命名为 timeseries_column。 现有工作流可以继续使用 timeseries_columns 参数。
  • score_batch 现在支持 env_manager 参数。 有关详细信息，请参阅 MLflow 文档。

databricks-feature-engineering 0.5.0

  • 通过 update_feature_spec 中新的 API databricks-feature-engineering，用户可更新 Unity Catalog 中 FeatureSpec 的所有者。

databricks-feature-engineering 0.4.0

  • 一些错误修复与改进。

Databricks-特征工程 0.3.0

databricks 特征库 0.17.0

  • databricks-feature-store 已弃用。 此包中的所有现有模块均在 databricks-feature-engineering 0.2.0 及更高版本中提供。 有关详细信息，请参阅 Python API。

databricks-feature-engineering 0.2.0

  • databricks-feature-engineering 现在包含 databricks-feature-store 中的所有模块。 有关详细信息，请参阅 Python API。

databricks-feature-store 0.16.3

  • 修复了将 AutoML 与功能表配合使用时的超时 bug。

databricks-feature-engineering 0.1.3

  • UpgradeClient 中的小幅改进。

databricks-feature-store 0.16.2

  • 现在可以创建特性与功能服务的端点。 有关详细信息，请参阅特性和功能服务。

databricks-feature-store 0.16.1

  • 一些错误修复与改进。

databricks-feature-engineering 0.1.2 和 databricks-feature-store 0.16.0

  • 一些错误修复与改进。
    • 修复了使用某些工作区设置记录的不正确的作业世系 URL。

databricks-feature-engineering 0.1.1 (Databricks特性工程)

  • 一些错误修复与改进。

databricks-feature-engineering 0.1.0

  • PyPI 上现正式推出 Unity Catalog 中的特征工程 Python 客户端

databricks特性商店（databricks-feature-store）0.15.1

  • 一些错误修复与改进。

databricks-feature-store 0.15.0

  • 现在可以在记录模型时自动推断和记录输入示例。 要执行此操作，请在调用 infer_model_example 时将 True 设置为 log_model。 此示例基于 training_set 参数中指定的训练数据。

databricks-feature-store 0.14.2

  • 修复了从 MariaDB 连接器/J >=2.7.5 发布到 Aurora MySQL 时出现的 bug。

databricks-feature-store 0.14.1

  • 一些错误修复与改进。

databricks-feature-store 0.14.0

从 0.14.0 开始，必须在 primary_keys 参数中指定时间戳键列。 时间戳键是“主键”的一部分，用于唯一标识特征表中的每一行。 与其他主键列一样，时间戳键列不能包含 NULL 值。

在以下示例中，DataFrame user_features_df 包含以下列：user_id、ts、purchases_30d 和 is_free_trial_active。

0.14.0 及更高版本

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)

0.13.1 及更低版本

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)

databricks-feature-store 0.13.1

  • 一些错误修复与改进。

databricks-feature-store 0.13.0

  • 现在所需的最低 mlflow-skinny 版本是 2.4.0。
  • 如果提供的数据帧不包含所有必需的查找键，则创建训练集会失败。
  • 在 Unity Catalog 中记录使用特征表的模型时，会自动使用模型记录 MLflow 签名。

databricks-feature-store 0.12.0

  • 现在可以使用 drop_online_table API 删除在线商店。

databricks-feature-store 0.11.0

  • 在已启用 Unity Catalog 的工作区中，现在可以将工作区和 Unity Catalog 特征表发布到 Cosmos DB 联机存储。 这需要 Databricks Runtime 13.0 ML 或更高版本。

databricks-feature-store 版本 0.10.0

  • 一些错误修复与改进。

databricks-feature-store 0.9.0

  • 一些错误修复与改进。

databricks-feature-store 0.8.0

  • 一些错误修复与改进。

Databricks 特性存储 0.7.1

  • 添加 flask 作为依赖项以修复使用 score_batch 对模型评分时缺少依赖项的问题。

databricks-feature-store 软件版本 0.7.0

  • 一些错误修复与改进。

databricks特性商店 0.6.1

  • PyPI 的 Databricks 特征存储客户端的初始公共版本。
  • Last updated on