Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Hiermee stelt u het opslagniveau in om de inhoud van het DataFrame over bewerkingen te behouden na de eerste keer dat het wordt berekend. Dit kan alleen worden gebruikt om een nieuw opslagniveau toe te wijzen als het DataFrame nog geen opslagniveau heeft ingesteld. Als er geen opslagniveau is opgegeven, wordt dit standaard ingesteld op (MEMORY_AND_DISK_DESER).
Syntaxis
persist(storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_DESER)
Parameterwaarden
| Kenmerk | Typ | Beschrijving |
|---|---|---|
storageLevel |
StorageLevel | Opslagniveau dat moet worden ingesteld voor persistentie. De standaardwaarde is MEMORY_AND_DISK_DESER. |
Retouren
DataFrame: Persistent DataFrame.
Aantekeningen
Het standaardopslagniveau is gewijzigd zodat MEMORY_AND_DISK_DESER het overeenkomt met Scala in 3.0.
Gegevens in de cache worden gedeeld in alle Spark-sessies in het cluster.
Examples
:::opmerking: serverloze compatibiliteit
Databricks raadt aan om af te stappen van DataFrame.persist(), omdat dit niet compatibel is met de serverless compute-architectuur van Databricks. Materialiseer in plaats daarvan tussenliggende resultaten naar een Delta-tabel als hergebruik duur is.
:::
df = spark.range(1)
df.persist()
# DataFrame[id: bigint]
df.explain()
# == Physical Plan ==
# InMemoryTableScan ...
from pyspark.storagelevel import StorageLevel
df.persist(StorageLevel.DISK_ONLY)
# DataFrame[id: bigint]