示例数据集

Azure Databricks 提供各种示例数据集,这些数据集由第三方提供给用户在 Azure Databricks 工作区中使用。

Unity Catalog 数据集

Unity Catalog 提供对 samples 目录中的许多示例数据集的访问。 可以在目录资源管理器 UI中查看这些数据集,并通过使用模式,在笔记本<catalog-name>.<schema-name>.<table-name>中直接引用它们。

下表列出了 samples 目录中的可用架构:

数据集 说明
databricks datasets 卷中的基于文件的示例数据集,用于构建数据管道。
nyctaxi 纽约市的出租车行程记录。
tpcds_sf1 来自 TPC-DS 基准的小型数据集(约 1 GB)。
tpch 来自 TPC-H 基准的大型数据集(约 1 TB)。
wanderbricks 包含用户、住宿、预订、评论等功能齐全的模拟旅行预订平台。

Databricks(数据砖)

架构databricks包含datasets卷,该卷托管一组Azure Databricks提供的文件数据集,可用于生成和测试数据管道。 若要列出可用的数据集,请运行:

SQL

LIST '/Volumes/samples/databricks/datasets/'

Python

display(dbutils.fs.ls("/Volumes/samples/databricks/datasets/"))

nyctaxi

架构 nyctaxi 包含表 trips,其中包含纽约市出租车行程的详细信息。 以下示例返回此表中的前 10 条记录:

SQL

SELECT * FROM samples.nyctaxi.trips LIMIT 10

Python

display(spark.read.table("samples.nyctaxi.trips").limit(10))

tpcds_sf1

tpcds_sf1 架构包含来自 TPC-DS 基准测试 的数据。 若要列出此架构中的表,请运行:

SQL

SHOW TABLES IN samples.tpcds_sf1;

Python

display(spark.sql("SHOW TABLES IN samples.tpcds_sf1"))

有关如何使用此数据集评估系统性能的更多指南,请参阅 使用 TPC-DS 示例数据集来评估系统性能

tpch

tpch 架构包含 TPC-H 基准中的数据。 若要列出此架构中的表,请运行:

SQL

SHOW TABLES IN samples.tpch

Python

display(spark.sql("SHOW TABLES IN samples.tpch"))

wanderbricks

架构 wanderbricks 包含模拟旅行预订平台数据集。 有关数据集表的详细信息 wanderbricks ,请参阅 Wanderbricks 数据集

CSV 格式的第三方示例数据集

Azure Databricks 的内置工具可将第三方示例数据集作为逗号分隔值 (CSV) 文件快速上传到 Azure Databricks 工作区。 一些常用的第三方示例数据集以 CSV 格式提供:

示例数据集 将示例数据集下载为 CSV 文件…
松鼠普查 在 Data 网页中,单击 Park Data、
Squirrel Data 或 Stories 。
OWID 数据集集合 在 GitHub 存储库中,单击“数据集”文件夹。 单击包含目标数据集的子文件夹,然后单击数据集的 CSV 文件。
Data.gov CSV 数据集 在搜索结果网页上,单击目标搜索结果,然后在 CSV 图标旁边单击“下载”。
Diamonds(需要 Kaggle 帐户) 在数据集网页的“数据”选项卡中,单击 diamonds.csv 旁边的下载图标。
NYC Taxi Trip Duration(需要 Kaggle 帐户) 在数据集网页的“数据”选项卡中,在sample_submission.zip旁边单击
下载图标。 若要查找数据集的 CSV 文件,请提取下载的 ZIP 文件的内容。

若要在 Azure Databricks 工作区中使用第三方示例数据集,请执行以下操作:

  1. 按照第三方的说明将数据集以 CSV 文件格式下载到本地计算机。
  2. 从本地计算机将 CSV 文件上传到 Azure Databricks 工作区。
  3. 若要处理导入的数据,请使用 Databricks SQL 查询数据。 或者,可以使用笔记本将数据加载为数据帧

库中的第三方示例数据集

一些第三方在中包含示例数据集,例如 Python 包索引 (PyPI) 包或综合 R 存档网络 (CRAN) 包。 有关详细信息,请参阅库提供商的文档。

装载到 DBFS 的 Databricks 数据集 (databricks-datasets)

Azure Databricks 建议不要在已启用 Unity Catalog 的 Databricks 工作区中的大多数用例中使用 DBFS 和已装载云对象存储。 Azure Databricks 中提供了一些装载到 DBFS 的示例数据集

注意

Databricks 数据集的可用性和位置随时可能会更改,恕不另行通知。

浏览已装载到 DBFS 的 Databricks 数据集

若要从 Python、Scala 或 R 笔记本浏览这些文件,可以使用 Databricks Utilities (dbutils) 引用。 以下代码列出了所有可用的 Databricks 数据集。

Python

display(dbutils.fs.ls('/databricks-datasets'))

Scala(编程语言)

display(dbutils.fs.ls("/databricks-datasets"))

R

%fs ls "/databricks-datasets"