Overview of migrating Azure Synapse Spark to Fabric

Brug denne artikel som udgangspunkt for migrering af Azure Synapse Spark-arbejdsbelastninger til Microsoft Fabric. Det hjælper dig med at beslutte, hvilken vejledning du skal bruge, hvad der kan migreres direkte, og hvor manuel refaktorering eller validering stadig er nødvendig.

Fabric Data Engineering understøtter lakehouse, notebook, environment, Spark jobdefinition og pipeline elementer. De fleste Synapse Spark-migreringer involverer en kombination af item-migration, ændringer i dataadgang, metadata-migration, koderefaktorering og validering efter migrationen.

Før du migrerer

Før du begynder, skal du bekræfte, at Fabric Data Engineering er det rette sted for din arbejdsbyrde. Gennemgå Spark-runtime-, sikkerhedsmodellen, poolmodellen, miljømodellen og dataadgangsmønstrene, som din nuværende Synapse-implementering afhænger af.

Start med disse artikler:

Hvis du migrerer et eksisterende Synapse-arbejdsområde, skal du planlægge at oprette eller bruge et eksisterende Fabric-arbejdsområde som migreringsmål. Denne artikel dækker ikke fuld arbejdsområdeprovisionering eller migrering af arbejdsbelastninger uden Spark.

Hvad kan du migrere?

Synapse-til-Fabric-migration spænder normalt over flere arbejdsstrømme.

Migrationsområde Typisk omfang Primær vejledning
Planlægning og vurdering Inventory Spark-pools, notesbøger, Spark Job-definitioner, lake-databaser, linkede tjenester og blokeringer Fase 1: Migrationsstrategi og planlægning
Elementer, koderefaktorering, pools, konfigurationer og biblioteker Notebooks, Spark Job Definitions, Spark pools, lake database-mapping, mssparkutils, linkede services, filstier, katalog-API'er, connector-autentificering, miljøer, brugerdefinerede pools, Spark-egenskaber, bibliotekskompatibilitet Fase 2: Spark arbejdsbelastningsmigrering
Hive Metastore og sømetadata Databaser, tabeller, partitioner, administrerede vs. eksterne tabeller Fase 3: Hive Metastore og datamigrering
Dataadgang og pipelines OneLake-genveje, ADLS Gen2-adgang, kopieringsaktiviteter, pipeline-migration Overfør data og pipelines
Sikkerhed, validering og cutover Roller, forbindelser, governance, verifikation, cutover-planlægning Fase 4: Sikkerheds- og governance-migration

Vælg din migrationsvej

Brug den vej, der matcher dit mål.

  • Du har brug for en end-to-end migrationsplan. Start med den 4-fasede best practices-serie. Dette er det bedste indgangspunkt for de fleste produktionsmigrationer.
  • Du vil gerne flytte understøttede Spark-genstande hurtigt. Start med Spark Migration Assistant og brug derefter refaktorerings- og valideringsartiklerne til at lukke hullerne.
  • Du behøver kun hjælp med ét område. Brug de opgavespecifikke artikler til notesbøger, Spark Job-definitioner, pools, biblioteker, Hive Metastore-metadata eller data-/pipeline-migration.

For de fleste teams er den hurtigste måde at gribe en Synapse Spark-migration an på:

  1. Anmeldelse Sammenlign Fabric og Azure Synapse Spark: Key Differences.
  2. Læs fase 1: Migrationsstrategi og planlægning.
  3. Kør Spark Synapse for at Fabric Spark Migration Assistant hvor det er relevant.
  4. Refaktorere notebooks, Spark-jobs, pools og biblioteker ved hjælp af Fase 2: Spark workload migration.
  5. Valider dataadgang, metadata, sikkerhed og cutover-parathed ved hjælp af de resterende bedste praksis-artikler.

Skærmbillede, der viser overførselsscenarierne.

Migrering fra Synapse Spark til Fabric er som regel en copy-and-adapt-proces snarere end en direkte flytning på stedet. Du kan migrere mange assets hurtigt, men du bør stadig forvente at validere runtime-adfærd, erstatte Synapse-specifikke integrationer og tilpasse sikkerhed, metadata og driftsmønstre med Fabric.

Best practices-serien

Brug best practices-serien til en struktureret, end-to-end migrationssti:

Opgavespecifikke migrationsartikler

Hvis du har brug for målrettet vejledning til en specifik migrationsopgave, kan du bruge disse artikler:

Relateret indhold

  • Last updated on