Broncodebeheer in Azure Data Factory

Van toepassing op: Azure Data Factory Azure Synapse Analytics

Standaard opereren de UX-auteurs van Azure Data Factory rechtstreeks op basis van de datafactory-service. Deze ervaring heeft de volgende beperkingen:

• De Data Factory-service bevat geen opslagplaats voor het opslaan van de JSON-entiteiten voor uw wijzigingen. De enige manier om wijzigingen op te slaan, is via de knop Alles publiceren en alle wijzigingen worden rechtstreeks naar de data factory-service gepubliceerd.
• De Data Factory-service is niet geoptimaliseerd voor samenwerking en versiebeheer.
• De Azure Resource Manager (ARM) sjabloon die nodig is om Data Factory zelf te implementeren is niet inbegrepen.

Als u een betere ontwerpervaring wilt bieden, kunt u met Azure Data Factory een Git-opslagplaats configureren met Azure-opslagplaatsen of GitHub. Git is een versiebeheersysteem waarmee u eenvoudiger wijzigingen kunt bijhouden en kunt samenwerken. Dit artikel beschrijft hoe je een Git-repository configureert en erin werkt, met het benadrukken van best practices en een handleiding voor probleemoplossing.

U kunt ook verwijzen naar Continuous Integration and Delivery (CI/CD) in Azure Data Factory voor meer informatie over het grotere CI/CD-patroon, waarvan broncodebeheer een kritiek aspect is.

Bekijk de onderstaande zelfstudievideo van 15 minuten voor meer informatie over hoe Azure Data Factory integreert met Git:

Voordelen van Git-integratie

Hieronder volgt een lijst van enkele voordelen die Git-integratie biedt voor de schrijfervaring:

• Broncodebeheer: Naarmate uw data factory-workloads cruciaal worden, wilt u uw factory integreren met Git om verschillende voordelen voor broncodebeheer toe te passen, zoals de volgende:
  • Mogelijkheid om wijzigingen bij te houden/te controleren.
  • Mogelijkheid om wijzigingen te herstellen die fouten hebben geïntroduceerd.
• Gedeeltelijke opslag: wanneer u gebruik maakt van de Data Factory-service, kunt u wijzigingen niet opslaan als conceptversie en moeten alle publicatiebewerkingen de Data Factory-validatie doorstaan. Of je pipelines nu niet af zijn of je simpelweg geen wijzigingen wilt verliezen als je computer crasht, Git-integratie maakt incrementele wijzigingen van data factory-resources mogelijk, ongeacht in welke staat ze zich bevinden. Door een Git-repository te configureren, kun je wijzigingen opslaan, zodat je alleen kunt publiceren nadat je je wijzigingen naar tevredenheid hebt getest.
• Samenwerking en controle: als u meerdere teamleden hebt die bijdragen aan dezelfde fabriek, wilt u uw teamleden mogelijk met elkaar laten samenwerken via een codebeoordelingsproces. U kunt uw fabriek ook zo instellen dat niet elke inzender dezelfde machtigingen heeft. Sommige teamleden mogen mogelijk alleen wijzigingen aanbrengen via Git en alleen bepaalde personen in het team mogen de wijzigingen naar de fabriek publiceren.
• Betere CI/CD: Als je naar meerdere omgevingen deployt met een continu leveringsproces, maakt Git-integratie bepaalde acties eenvoudiger. Enkele van deze acties zijn:
  • Configureer uw release-pijplijn zodanig dat deze automatisch wordt geactiveerd zodra er wijzigingen zijn aangebracht in uw 'dev'-factory.
  • Pas de eigenschappen in uw factory aan die beschikbaar zijn als parameters in de Resource Manager-sjabloon. Het kan handig zijn om alleen de vereiste set eigenschappen als parameters te bewaren en alle andere hardcoded te hebben.
• Betere prestaties: Een gemiddelde fabriek met Git-integratie laadt tien keer sneller dan een die tegen de data factory-service schrijft. Deze prestatieverbetering komt doordat resources worden gedownload via Git.

Verbinding maken met een Git-opslagplaats

Er zijn vier verschillende manieren om een Git-opslagplaats te verbinden met uw data factory voor zowel Azure-opslagplaatsen als GitHub. Nadat u verbinding hebt gemaakt met een Git-opslagplaats, kunt u uw configuratie bekijken en beheren in de beheerhub onder Git-configuratie in de sectie Broncodebeheer .

Configuratiemethode 1: Startpagina

Selecteer op de startpagina van Azure Data Factory Opslagplaats voor code instellen bovenaan.

Configuratiemethode 2: Ontwerpcanvas

Selecteer in het Azure Data Factory UX-ontwerpcanvas de vervolgkeuzelijst Data Factory en selecteer vervolgens Codeopslagplaats instellen.

Configuratiemethode 3: Beheerhub

Ga naar de beheerhub in de Azure Data Factory Studio. Selecteer Git-configuratie in de sectie Broncodebeheer . Als er geen opslagplaats is verbonden, selecteert u Configureren.

Configuratiemethode 4: Tijdens het maken van de fabriek

Wanneer u een nieuwe gegevensfactory maakt in de Azure-portal, kunt u gegevens van git-opslagplaatsen configureren op het tabblad Git-configuratie.

Auteur met Azure-opslagplaatsen Git-integratie

Visuele creatie met Azure-opslagplaatsen Git-integratie ondersteunt broncodebeheer en samenwerking voor werk aan uw data factory-pijplijnen. U kunt een data factory koppelen aan een Azure-opslagplaatsen Git-organisatieopslagplaats voor broncodebeheer, samenwerking, versiebeheer, enzovoort. Eén Azure-opslagplaatsen Git-organisatie kan meerdere opslagplaatsen hebben, maar een Azure-opslagplaatsen Git-opslagplaats kan slechts aan één data factory worden gekoppeld. Als u geen Azure-opslagplaatsen organisatie of opslagplaats hebt, volgt u eze instructies om uw resources te maken.

instellingen voor Azure-opslagplaatsen

Het configuratiedeelvenster begeleidt u stapsgewijs bij het configureren van elk van de volgende instellingen voor de codeopslagplaats:

Instellingen voor het bewerken van opslagplaatsen

Als er aanpassingen moeten worden aangebracht in de instellingen van uw geconfigureerde Azure-opslagplaatsen Git-opslagplaats, kunt u ervoor kiezen om Edit.

U kunt uw publicatiebranch bijwerken en beslissen of u de knop Publiceren wilt uitschakelen vanuit de ADF-studio. Als u ervoor kiest om de knop Publiceren uit de studio uit te schakelen, wordt de knop Publiceren grijs weergegeven in de studio. Zo voorkomt u dat u de laatste geautomatiseerde publicatie-implementatie overschrijft.

Een andere Microsoft Entra-tenant gebruiken

De Azure-opslagplaatsen Git-opslagplaats kan zich in een andere Microsoft Entra tenant bevinden. Als u een andere Microsoft Entra-tenant wilt opgeven, moet u beheerdersmachtigingen hebben voor het Azure-abonnement dat u gebruikt. Zie Abonnementsbeheerder wijzigen voor meer informatie.

Uw persoonlijke Microsoft-account gebruiken

Als u een persoonlijke Microsoft-account voor Git-integratie wilt gebruiken, kunt u uw persoonlijke Azure opslagplaats koppelen aan de Active Directory van uw organisatie.

1. Voeg uw persoonlijke Microsoft-account toe aan de Active Directory van uw organisatie als gast. Zie Toevoegen Microsoft Entra B2B-samenwerkingsgebruikers in de Azure-portal voor meer informatie.

2. Meld u aan bij de Azure-portal met uw persoonlijke Microsoft-account. Schakel vervolgens over naar de Active Directory van uw organisatie.

3. Ga naar de sectie Azure DevOps, waar u nu uw persoonlijke opslagplaats ziet. Selecteer de opslagplaats en maak verbinding met Active Directory.

Na deze configuratiestappen is uw persoonlijke opslagplaats beschikbaar wanneer u Git-integratie instelt in de gebruikersinterface van Data Factory.

Zie Connect your Azure DevOps organization to Microsoft Entra ID (Uw Azure DevOps organisatie verbinden met Microsoft Entra ID voor meer informatie over het verbinden van Azure-opslagplaatsen met de Active Directory van uw organisatie.

Auteur met GitHub-integratie

Visuele creatie met GitHub-integratie ondersteunt broncodebeheer en samenwerking voor werk aan uw data factory-pijplijnen. U kunt een data factory koppelen aan een GitHub-accountopslagplaats voor broncodebeheer, samenwerking, versiebeheer. Eén GitHub-account kan meerdere opslagplaatsen hosten en elke opslagplaats kan worden gekoppeld aan meerdere gegevensfactory's. Door elke data factory te configureren voor het gebruik van een andere vertakking binnen dezelfde opslagplaats, kunt u afzonderlijke omgevingen (zoals ontwikkeling, fasering en productie) onderhouden tijdens het onafhankelijk beheren van hun configuraties. Als u geen GitHub account of opslagplaats hebt, volgt u eze instructies om uw resources te maken.

De GitHub-integratie met Data Factory ondersteunt zowel openbare GitHub (dat wil https://github.com), GitHub Enterprise Cloud en GitHub Enterprise Server. Je kunt zowel publieke als private GitHub-repositories gebruiken met Data Factory, zolang je lees- en schrijfrechten hebt voor de repository in GitHub. Als u verbinding wilt maken met een openbare opslagplaats, selecteert u de optie Gebruik koppelingopslagplaats, omdat die niet zichtbaar zijn in het vervolgkeuzemenu Opslagplaatsnaam. De GitHub enterprise-serverintegratie van ADF werkt alleen met officially ondersteunde versies van GitHub enterprise-server.

Voor opslagplaatsen die eigendom zijn van GitHub organisatieaccount, moet de beheerder de ADF-app autoriseren. Voor repositories die eigendom zijn van een GitHub-gebruikersaccount, kan een gebruiker met ten minste bevoegdheden als medewerker de ADF-app autoriseren. Deze machtiging geeft ADF-app geen directe toegang tot alle opslagplaatsen die eigendom zijn van het account/de organisatie, maar staat de ADF-app alleen toe namens de gebruiker toegang te krijgen tot opslagplaatsen op basis van de toegangsmachtigingen van de gebruiker.

GitHub-instellingen

In het configuratievenster ziet u de volgende instellingen voor GitHub opslagplaats:

Instellingen voor het bewerken van opslagplaatsen

Als er aanpassingen moeten worden aangebracht in de instellingen van uw geconfigureerde GitHub opslagplaats, kunt u ervoor kiezen om Bewerken.

U kunt uw publicatiebranch bijwerken en beslissen of u de knop Publiceren wilt uitschakelen vanuit de ADF-studio. Als u ervoor kiest om de knop Publiceren uit de studio uit te schakelen, wordt de knop Publiceren grijs weergegeven in de studio. Dit helpt voorkomen dat de laatste geautomatiseerde publicatie-implementatie wordt overschreven.

GitHub organisaties

Als u verbinding maakt met een GitHub organisatie, moet de organisatie toestemming verlenen aan Azure Data Factory. Een gebruiker met beheerdersmachtigingen voor de organisatie moet de onderstaande stappen uitvoeren om data factory verbinding te laten maken.

Verbinding maken met openbare GitHub of GitHub Enterprise Cloud voor het eerst in Azure Data Factory

Als u voor het eerst verbinding maakt met openbare GitHub of GitHub Enterprise Cloud vanuit Azure Data Factory, volgt u deze stappen om verbinding te maken met een GitHub organisatie.

1. Voer in het Git-configuratievenster de naam van de organisatie in het veld GitHub Account in. Er verschijnt een prompt om in te loggen op GitHub.
2. Meld u aan met uw gebruikersreferenties.
3. Je wordt gevraagd om Azure Data Factory te autoriseren als een applicatie genaamd AzureDataFactory. In dit scherm ziet u een optie om ADF toegang te verlenen tot de organisatie. Als u de optie voor het verlenen van machtigingen niet ziet, vraagt u een beheerder om de machtiging handmatig te verlenen via GitHub.

Zodra u deze stappen hebt uitgevoerd, kan uw factory verbinding maken met zowel openbare als privéopslagplaatsen binnen uw organisatie. Als u geen verbinding kunt maken, wis de browsercache en probeer het opnieuw.

Al verbonden met openbare GitHub of GitHub Enterprise Cloud met behulp van een persoonlijk account

Als u al verbinding hebt gemaakt met openbare GitHub of GitHub Enterprise Cloud en alleen machtigingen hebt verleend voor toegang tot een persoonlijk account, volgt u de onderstaande stappen om machtigingen aan een organisatie te verlenen.

1. Ga naar GitHub en open Settings.

   

2. Selecteer Toepassingen. Op het tabblad Geautoriseerde OAuth-apps ziet u AzureDataFactory.

   

3. Selecteer de toepassing en ververleent de toepassing toegang tot uw organisatie.

   

Zodra u deze stappen hebt uitgevoerd, kan uw factory verbinding maken met zowel openbare als privéopslagplaatsen binnen uw organisatie.

Verbinding maken met GitHub Enterprise Server

Als u verbinding maakt met GitHub Enterprise Server, moet u een persoonlijk toegangstoken gebruiken voor verificatie. Meer informatie over het maken van een persoonlijk toegangstoken in Het maken van een persoonlijk toegangstoken.

Bekende beperkingen voor GitHub

• U kunt script- en gegevensbestanden opslaan in een GitHub opslagplaats. U moet de bestanden echter handmatig uploaden naar Azure Storage. Een Data Factory-pijplijn uploadt niet automatisch script- of gegevensbestanden die zijn opgeslagen in een GitHub opslagplaats naar Azure Storage.

• GitHub Enterprise met een versie ouder dan 2.14.0 werkt niet in de Microsoft Edge browser.

• GitHub integratie met de data factory-hulpprogramma's voor het ontwerpen van visuals werkt alleen in de algemeen beschikbare versie van Data Factory.

Verbinding maken met Azure DevOps Server 2022

Als u verbinding maakt met Azure DevOps Server 2022, moet u een persoonlijk toegangstoken gebruiken voor verificatie. Meer informatie over het maken van een persoonlijk toegangstoken hier.

Maak verbinding met on-premises Azure DevOps door Azure DevOps Server URL en Azure DevOps Project Collection te verstrekken.

Geef het token met toegangsbereik op als lezen/schrijven voor code.

Versiebeheer

Met versiebeheersystemen (ook wel broncodebeheer genoemd) kunnen ontwikkelaars samenwerken aan code en wijzigingen bijhouden die in de codebasis worden aangebracht. Broncodebeheer is een essentieel hulpprogramma voor projecten voor meerdere ontwikkelaars.

Functiebranches maken

Elke Azure-opslagplaatsen Git-opslagplaats die is gekoppeld aan een data factory, heeft een samenwerkingsbranch. (main is de standaardsamenwerkingsbranch). Gebruikers kunnen ook feature branchs aanmaken door + Nieuwe Branch te selecteren in het branch dropdown.

Zodra het nieuwe branchvenster wordt weergegeven, voert u de naam van uw feature branch in en selecteert u een vertakking als basis om het werk op te baseren.

Wanneer je klaar bent om de wijzigingen van je feature branch naar je collaboration branch samen te voegen, selecteer dan in het branch-dropdown en kies Create pull request. Met deze actie gaat u naar Azure-opslagplaatsen Git, waar u pull-aanvragen kunt indienen, codebeoordelingen kunt uitvoeren en wijzigingen kunt samenvoegen in uw samenwerkingsbranch. (main is de standaardinstelling). U mag alleen publiceren naar de Data Factory-service vanuit uw samenwerkingsvertakking.

Publicatie-instellingen configureren

Data factory genereert standaard sjablonen van de Resource Manager van de gepubliceerde fabriek en slaat deze op in een branch met de naam adf_publish. Als u een aangepaste publicatiebranch wilt configureren, voegt u een publish_config.json bestand toe aan de hoofdmap in de samenwerkingsbranch. Bij het publiceren leest ADF dit bestand, zoekt het veld publishBranch en slaat alle Resource Manager sjablonen op de opgegeven locatie op. Als de vertakking niet bestaat, wordt deze automatisch door Data Factory gemaakt. Hieronder ziet u een voorbeeld van hoe dit bestand eruitziet:

{
    "publishBranch": "factory/adf_publish"
}

Azure Data Factory kan slechts één publicatiebranch tegelijk hebben. Wanneer u een nieuwe publicatiebranch opgeeft, verwijdert Data Factory de vorige publicatiebranch niet. Als u de vorige publicatiebranch wilt verwijderen, verwijdert u deze handmatig.

Codewijzigingen publiceren

Nadat je wijzigingen hebt samengevoegd in de samenwerkingsbranch (main is de standaard) – selecteer je Publish om je codewijzigingen handmatig in de hoofdbranch naar de Data Factory-service te publiceren.

In een zijvenster bevestigt u dat de publicatiebranch en openstaande wijzigingen juist zijn. Nadat u de wijzigingen hebt gecontroleerd, selecteert u OK om de publicatie te bevestigen.

Aanbevolen procedures voor Git-integratie

Machtigingen

Normaal gesproken wilt u niet dat elk teamlid gemachtigd is om de Data Factory bij te werken. De volgende machtigingsinstellingen worden aanbevolen:

• Alle teamleden moeten leesmachtigingen hebben voor de Data Factory.
• Alleen een selecte groep personen mag publiceren van de Data Factory. Hiervoor moeten ze de rol Data Factory-bijdrager op de resourcegroep hebben die de Data Factory bevat. Zie Roles en machtigingen voor Azure Data Factory voor meer informatie over machtigingen.

Het wordt aanbevolen om directe incheckingen niet toe te staan op de samenwerkingstak. Deze beperking kan helpen fouten te voorkomen, omdat elke check-in een pull-aanvraagbeoordelingsproces doorloopt dat wordt beschreven in het maken van functievertakkingen.

Wachtwoorden uit Azure Key Vault gebruiken

Het is raadzaam om Azure Key Vault te gebruiken om verbindingsreeksen of wachtwoorden of verificatie van beheerde identiteiten op te slaan voor gekoppelde Data Factory-services. Data factory slaat om veiligheidsredenen geen geheimen op in Git. Wijzigingen in gekoppelde services met geheimen, zoals wachtwoorden, worden onmiddellijk naar de Azure Data Factory-service gepubliceerd.

Het gebruik van Key Vault of beheerde identiteitsauthenticatie maakt continue integratie en implementatie ook eenvoudiger, omdat je deze geheimen niet hoeft te verstrekken tijdens het uitrollen van Resource Manager-templates.

Problemen met Git-integratie oplossen

Verouderde publicatiebranch

Hieronder ziet u enkele voorbeelden van situaties die een verouderde publicatiebranch kunnen veroorzaken:

• Een gebruiker heeft meerdere filialen. In één feature branch verwijderden ze een gekoppelde service die niet gekoppeld is aan Azure Key Vault (AKV) (niet-AKV gekoppelde services worden direct gepubliceerd, ongeacht of ze in Git zijn) en hebben ze de feature branch nooit samengevoegd met de collaboration branch.
• Een gebruiker heeft de data factory gewijzigd met behulp van de SDK of PowerShell
• Een gebruiker heeft alle resources naar een nieuwe vertakking verplaatst en voor het eerst geprobeerd te publiceren. Gekoppelde services moeten handmatig worden gemaakt bij het importeren van resources.
• Een gebruiker uploadt handmatig een niet-AKV-gekoppelde service of een Integration Runtime JSON. Ze verwijzen naar die resource vanuit een andere resource, zoals een dataset, gekoppelde dienst of pijplijn. Een service zonder AKV-koppeling die via de gebruikersinterface is gemaakt, wordt onmiddellijk gepubliceerd omdat de referenties versleuteld moeten worden. Als je een dataset uploadt die naar die gekoppelde dienst verwijst en probeert te publiceren, staat de gebruikersinterface dat toe omdat het in de Git-omgeving aanwezig is. Het wordt bij publicatie afgewezen omdat het niet bestaat in de data factory-service.

Als de publicatievertakking niet synchroon is met de hoofdvertakking en verouderde resources bevat ondanks een recente publicatie, kunt u een van de onderstaande oplossingen gebruiken:

Optie 1: Gebruik de Live-modus Overschrijven-functionaliteit

De code wordt gepubliceerd of overschreven vanuit uw samenwerkingsbranch in de livemodus. De code in uw opslagplaats wordt beschouwd als de bron van waarheid.

Codestroom:Samenwerkingsbranch -> Live modus

Optie 2: Verbinding verbreken en opnieuw verbinding maken met Git-opslagplaats

De code wordt geïmporteerd uit de livemodus in de samenwerkingsbranch. Het beschouwt de code in de livemodus als bron van waarheid.

Codestroom:Live-modus -> Samenwerkingstak

1. Uw huidige Git-opslagplaats verwijderen
2. Configureer Git opnieuw met dezelfde instellingen, maar zorg ervoor dat bestaande Data Factory-resources naar de opslagplaats importeren is geselecteerd en kies Samenwerkingsvertakking (dezelfde vertakking)
3. Maak een pull-aanvraag om de wijzigingen in de samenwerkingsbranch samen te voegen.

Kies de juiste methode zoals nodig.

Alle resources die worden weergegeven als nieuw bij publiceren

Tijdens het publiceren kunnen alle resources worden weergegeven als nieuw, zelfs als ze eerder zijn gepubliceerd. Dit kan gebeuren als de eigenschap lastCommitId opnieuw wordt ingesteld op de eigenschap repoConfiguration van de fabriek, hetzij door een fabrieks-ARM-sjabloon opnieuw te implementeren, hetzij door de eigenschap repoConfiguration van de fabriek bij te werken via PowerShell of de REST API. Door het publiceren van de middelen voort te zetten, kunt u het probleem oplossen. Om te voorkomen dat het opnieuw optreedt, moet u de factory repoConfiguratie-eigenschap niet bijwerken.

Overschakelen naar een andere Git-opslagplaats

Als u wilt overschakelen naar een andere Git-opslagplaats, gaat u naar de Git-configuratiepagina in de beheerhub onder Broncodebeheer. Selecteer Verbinding verbreken.

Voer de naam van uw data factory in en selecteer bevestig om de Git-opslagplaats te verwijderen die is gekoppeld aan uw data factory.

Nadat u de koppeling met de huidige opslagplaats hebt verwijderd, kunt u uw Git-instellingen configureren voor het gebruik van een andere opslagplaats en vervolgens bestaande Data Factory-resources importeren in de nieuwe opslagplaats.

Gerelateerde inhoud

• Zie Pijplijnen programmatisch bewaken en beheren voor meer informatie over het bewaken en beheren van pijplijnen.
• Zie Continuous Integration and Delivery (CI/CD) in Azure Data Factory om continue integratie en implementatie te implementeren.