Trasformare i file strutturati in tabelle Delta

Usare le trasformazioni rapide per convertire i file strutturati in tabelle Delta interrogabili. Se i dati di origine sono già in un formato tabulare come CSV, Parquet, JSON o Excel, le trasformazioni di file copiano e converteno automaticamente i dati in formato Delta Lake in modo da poterli eseguire query usando SQL, Spark o Power BI senza compilare pipeline ETL.

Per i file di testo non strutturati che richiedono l'elaborazione di intelligenza artificiale, come il riepilogo, la traduzione o l'analisi del sentiment, vedere Trasformazioni rapide (con tecnologia AI).

Le trasformazioni delle scorciatoie rimangono sempre sincronizzate con i dati di origine. Fabric Spark compute esegue la trasformazione e copia i dati a cui fa riferimento un collegamento OneLake in una tabella Delta gestita. Grazie alla gestione automatica degli schemi, alle funzionalità di appiattimento avanzato e al supporto per più formati di compressione, le trasformazioni rapide eliminano la complessità della compilazione e della gestione delle pipeline ETL.

Perché usare le trasformazioni rapide?

• Conversione automatica : Fabric copia e converte i file di origine in formato Delta senza orchestrazione manuale della pipeline.
• Sincronizzazione frequente : Fabric esegue il polling della scorciatoia ogni due minuti e sincronizza le modifiche.
• Individuazione di cartelle ricorsive : Fabric attraversa automaticamente le sottocartelle per rilevare e trasformare i file nell'intera gerarchia di directory.
• Output Delta Lake : la tabella risultante è compatibile con qualsiasi motore Apache Spark.
• Inherited governance – La scorciatoia eredita la provenienza di OneLake, le autorizzazioni e le politiche di Microsoft Purview.

Prerequisiti

Formati di file supportati

Le trasformazioni delle scorciatoie funzionano con le cartelle provenienti da qualsiasi origine dati supportata dai collegamenti OneLake.

Creare un collegamento rapido a una tabella con trasformazione dei dati

Una scorciatoia della tabella crea una singola tabella Delta nella cartella Tables di una lakehouse. Usarlo per trasformare file CSV, Parquet, JSON o Excel.

Per i file di Excel con più fogli, un collegamento a tabella combina i fogli selezionati in una tabella Delta. Se è necessaria una tabella Delta per foglio, creare invece un collegamento allo schema .

1. Nel lakehouse fare clic con il pulsante destro del mouse su uno schema nella cartella Tabelle e quindi scegliere Nuovo collegamento a tabella. Scegliere l'origine collegamento, ad esempio Azure Data Lake, Archiviazione BLOB di Azure, Dataverse, Amazon S3, GCP, SharePoint o OneDrive.

   

2. Selezionare la cartella con i file CSV, Parquet o JSON oppure selezionare la cartella che contiene i file .xlsx.

3. Nel passaggio Trasforma configurare le impostazioni per la conversione Delta:

   • File CSV:

     • Delimitatore – selezionare il carattere usato per separare le colonne, ad esempio virgola, punto e virgola, pipe, tabulazione, simbolo e commerciale oppure spazio.
     • Prima riga come intestazioni : indica se la prima riga contiene nomi di colonna.

   • File di Excel:

     • Prima riga come intestazioni : indica se la prima riga contiene nomi di colonna.
     • Fogli da includere : selezionare tutti i fogli o solo un sottoinsieme di fogli. È possibile selezionare i fogli in base al nome, all'indice o usando modelli con caratteri jolly (ad esempio, Sales_* corrisponde ai fogli Sales_Q1 e Sales_2026). La corrispondenza con caratteri jolly non fa distinzione tra maiuscole e minuscole.

4. Esaminare la configurazione della scorciatoia. Nel passaggio Anteprima collegamenti è anche possibile configurare queste impostazioni prima di selezionare Crea:

   • Nome collegamento : selezionare l'icona a forma di matita per modificare il nome del collegamento.
   • Includi sottocartelle – Attiva l'elaborazione ricorsiva dei file nelle sottodirectory annidate. Questa opzione è selezionata per impostazione predefinita per le nuove trasformazioni. Deselezionare la casella di controllo se si desidera elaborare solo la cartella di primo livello.

5. Tieni traccia degli aggiornamenti e visualizza i log in Gestisci l'hub di monitoraggio delle scorciatoie.

Fabric Spark compute crea la tabella Delta e mostra l'avanzamento nel riquadro Gestisci shortcut.

Per i file di Excel, la tabella Delta risultante include __filepath__ e __sheetname__ colonne di metadati in modo da poter tracciare ogni riga nel relativo file e foglio di origine.

Creare un collegamento a uno schema con la trasformazione dei dati

Una scorciatoia dello schema crea più tabelle Delta che appaiono sotto un nuovo schema nella cartella Tables di una lakehouse. Usarlo quando una cartella di lavoro di Excel include più fogli e si desidera una tabella Delta per foglio.

I tasti di scelta rapida dello schema con la trasformazione dei dati sono attualmente disponibili solo per i file di Excel (.xlsx). Richiedono anche una lakehouse con schemi abilitati. Per ulteriori informazioni, vedere schemi Lakehouse.

1. Nel lakehouse fare clic con il pulsante destro del mouse sulla cartella Tabelle e quindi scegliere Nuovo collegamento allo schema.

   

2. Selezionare l'origine dati per questo collegamento e passare alla cartella che contiene i .xlsx file.

3. Nel passaggio Trasforma configurare le impostazioni per la conversione Delta:

   • Prima riga come intestazioni : indica se la prima riga contiene nomi di colonna.
   • Fogli da includere : selezionare tutti i fogli o solo un sottoinsieme di fogli. È possibile selezionare fogli in base al nome, all'indice o usando i modelli con caratteri jolly.

   

4. Esaminare la configurazione della scorciatoia. Nel passaggio Anteprima collegamenti è anche possibile configurare queste impostazioni prima di selezionare Crea:

   • Nome collegamento : selezionare l'icona a forma di matita per modificare il nome del collegamento.
   • Includi sottocartelle – Attiva l'elaborazione ricorsiva dei file nelle sottodirectory annidate. Questa opzione è selezionata per impostazione predefinita per le nuove trasformazioni. Deselezionare la casella di controllo se si desidera elaborare solo la cartella di primo livello.

5. Tieni traccia degli aggiornamenti e visualizza i log in Gestisci l'hub di monitoraggio delle scorciatoie.

L'ambiente di calcolo Spark di Fabric crea tabelle Delta separate per i fogli selezionati e le mantiene sincronizzate con i file di origine. I nomi dei fogli vengono automaticamente sanificati in nomi di tabella validi. Ad esempio, un foglio denominato Sales Data (Q1) diventa Sales_Data_Q1.

Funzionamento della sincronizzazione

Dopo il caricamento iniziale, calcolo di Fabric Spark:

• Esegue il polling della destinazione del collegamento ogni due minuti.
• Rileva file nuovi o modificati e aggiunge o sovrascrive le righe di conseguenza.
• Rileva i file eliminati e rimuove le righe corrispondenti.

Quando il supporto per le sottocartelle è abilitato, il sistema individua ed elabora in modo ricorsivo i file in tutte le sottodirectory nidificate all'interno della cartella di destinazione.

Monitorare e risolvere i problemi

Le trasformazioni shortcut includono il monitoraggio e la gestione degli errori per tenere traccia dello stato di inserimento e diagnosticare i problemi.

1. Apri il lakehouse e fai clic con il pulsante destro del mouse sul collegamento che alimenta la trasformazione.

2. Selezionare Gestisci collegamento.

3. Nel riquadro dei dettagli è possibile visualizzare:

   • Stato : ultimo risultato dell'analisi e stato di sincronizzazione corrente.

   • Cronologia aggiornamenti : elenco cronologico delle operazioni di sincronizzazione con conteggi delle righe ed eventuali dettagli degli errori.

   • Includi sottocartelle : indica se la trasformazione della sottocartella è abilitata (Sì o No).

     

4. Visualizzare altri dettagli nei log per la risoluzione dei problemi.

   

Limitazioni

Le limitazioni seguenti si applicano attualmente alle trasformazioni dei tasti di scelta rapida.

Limitazioni generali

• Formato di origine: Sono supportati i file CSV, JSON, Parquet ed Excel.
• Coerenza dello schema di file: I file devono condividere uno schema identico.
• Disponibilità dell'area di lavoro: Disponibile solo negli elementi Lakehouse (non nei data warehouse o nei database KQL).
• Operazioni di scrittura: Le trasformazioni sono ottimizzate per la lettura. Le istruzioni MERGE INTO o DELETE dirette nella tabella di destinazione della trasformazione non sono supportate.
• Disponibilità dei tasti di scelta rapida dello schema: I collegamenti allo schema per le trasformazioni di file supportano solo i file di Excel.

Limitazioni csv

• Tipi di dati non supportati: Colonne di tipo di dati miste, Timestamp_Nanos, tipi logici complessi - MAP/LIST/STRUCT, binario non elaborato.

Limitazioni del parquet

• Tipi di dati non supportati: Timestamp_nanos, Decimale con INT32/INT64, INT96, Tipi di interi non assegnati - UINT_8/UINT_16/UINT_64, Tipi logici complessi - MAP/LIST/STRUCT.

Limitazioni JSON

• Tipi di dati non supportati: Tipi di dati misti in un array, blob binari non elaborati all'interno di JSON, Timestamp_Nanos.
• Appiattimento del tipo di dati della matrice: Il tipo di dati della matrice viene conservato nella tabella Delta ed è accessibile con Spark SQL e PySpark. Per ulteriori trasformazioni, usare Fabric Materialized Lake Views per il livello argento.
• Profondità di appiattimento: Le strutture annidate vengono appiattite fino a una profondità di cinque livelli. L'annidamento più approfondito richiede il preprocessamento.

Limitazioni di Excel

• Intervallo di celle: I dati sono sempre letti a partire dalla cella A1. Le cartelle di lavoro in cui i dati iniziano in una cella diversa o usano tabelle o intervalli denominati non possono essere utilizzate.
• Ignora righe: I banner del titolo, i preamboli dei metadati e i riepiloghi dei piè di pagina sopra o sotto i dati effettivi non possono essere esclusi. Vengono inseriti come righe di dati.
• Inferenza dello schema: L'inferenza dello schema è sempre abilitata per i file di Excel. Gli identificatori con zeri iniziali (ad esempio, codici ZIP come 02134 o ID dipendente come 001245) vengono convertiti in numeri interi, che rimuove gli zeri iniziali.
• Fogli nascosti: Tutti i fogli, inclusi i fogli nascosti e di sistema, vengono elaborati a meno che non vengano filtrati in modo esplicito in base al nome o all'indice.
• Formattazione valuta: Le celle formattate in valuta ( ad esempio , $1,234.56) vengono convertite in valori numerici semplici. Il simbolo di valuta viene rimosso.
• Etichette di riservatezza: Non è possibile elaborare cartelle di lavoro con etichette di riservatezza di Microsoft Purview.
• Righe danneggiate: Il lettore di Excel non supporta l'isolamento dei record danneggiato. Le righe danneggiate o di tipo non corrispondenti all'interno di un foglio non possono essere isolate e registrate separatamente.
• Limite foglio: I file con più di 25 fogli vengono ignorati.
• Formato legacy:.xls (formato binario legacy) è supportato su base di migliore sforzo e potrebbe presentare una fedeltà ridotta per la formattazione complessa. .xlsx è il formato consigliato.
• Valutazione della formula: Spark legge il valore memorizzato nella cache delle celle della formula. Se una cartella di lavoro non è stata salvata con valori calcolati, le celle della formula potrebbero apparire vuote o non aggiornate.

Limitazioni della sottocartella

• Disponibile solo per le nuove trasformazioni. Le trasformazioni esistenti non possono abilitare il supporto delle sottocartelle.
• Dopo aver abilitato il supporto per le sottocartelle, non può essere disabilitato.
• Le scorciatoie annidate all'interno della cartella di destinazione non vengono seguite. Vengono elaborati solo cartelle fisiche e file.
• L'inclusione selettiva o l'esclusione di sottocartelle specifiche non è supportata.
• Le cartelle annidate non funzionano con i collegamenti di SharePoint.

Usare il blog sulla roadmap dell'infrastruttura e sugli aggiornamenti dell'infrastruttura per ottenere informazioni sulle nuove funzionalità e versioni.

Pulizia

Per arrestare la sincronizzazione, eliminare la scorciatoia da Lakehouse Explorer.

L'eliminazione della trasformazione non comporta la rimozione dei file sottostanti.