Wat zijn Azure Machine Learning-pijplijnen?

VAN TOEPASSING OP:Azure CLI ml extension v2 (huidige)Python SDK azure-ai-ml v2 (huidige)

Een Azure Machine Learning-pijplijn is een werkstroom waarmee een volledige machine learning-taak wordt geautomatiseerd. Het standaardiseert best practices, ondersteunt teamsamenwerking en verbetert de efficiëntie.

Waarom zijn Azure Machine Learning-pijplijnen nodig?

Een pijplijn breekt een machine learning-taak in stappen. Elke stap is een beheerbaar onderdeel dat afzonderlijk kan worden ontwikkeld en geautomatiseerd. Azure Machine Learning beheert afhankelijkheden tussen stappen. Deze modulaire benadering:

De MLOps-praktijk standaardiseren en schaalbare teamsamenwerking ondersteunen

MLOps automatiseert het bouwen en implementeren van modellen. Pijplijnen vereenvoudigen dit proces door elke stap toe te brengen aan een specifieke taak, zodat teams onafhankelijk kunnen werken.

Een project kan bijvoorbeeld gegevensverzameling, voorbereiding, training, evaluatie en implementatie omvatten. Data engineers, wetenschappers en ML-engineers hebben elk hun eigen stappen. Stappen zijn het beste gebouwd als onderdelen en vervolgens geïntegreerd in één werkstroom. Pijplijnen kunnen worden geversied, geautomatiseerd en gestandaardiseerd door DevOps-procedures.

Trainingsefficiëntie en kostenreductie

Pijplijnen verbeteren ook de efficiëntie en verlagen de kosten. Ze gebruiken uitvoer van ongewijzigde stappen opnieuw en u kunt elke stap uitvoeren op de beste rekenresource voor de taak.

Aanbevolen procedures om aan de slag te gaan

U kunt een pijplijn op verschillende manieren bouwen, afhankelijk van uw beginpunt.

Als u nog niet bekend bent met pijplijnen, begin dan met het opsplitsen van bestaande code in stappen, het parametriseren van invoer en het onderbrengen van alles in een pijplijn.

Om op te schalen, gebruikt u pijplijnsjablonen voor veelvoorkomende problemen. Teams maken een fork van een sjabloon, werken aan toegewezen stappen en werken alleen hun deel zo nodig bij.

Met herbruikbare pijplijnen en onderdelen kunnen teams snel nieuwe werkstromen maken door bestaande onderdelen te klonen of te combineren.

U kunt pijplijnen bouwen met behulp van de GEBRUIKERSinterface van CLI, Python SDK of Designer.

Welke Azure-pijplijntechnologie moet ik gebruiken?

Azure biedt verschillende typen pijplijnen voor verschillende doeleinden:

Scenariobeschrijving Primaire persona Azure-aanbieding OSS-aanbieding Canonieke pijp Sterktes
Modelorkestratie (machinaal leren) Gegevenswetenschapper (Data scientist) Azure Machine Learning-pijplijnen Kubeflow-pijplijnen Gegevens -> Model Distributie, caching, code-first, hergebruik
Gegevensindeling (gegevensvoorbereiding) Data-ingenieur Azure Data Factory-pijplijnen Apache Airflow Gegevens -> Gegevens Sterk getypeerde beweging, datagerichte activiteiten
Code en app-orkestratie (CI/CD) App-ontwikkelaar/ops Azure-pijplijnen Jenkins Code + Model -> app/service De meest open en flexibele ondersteuning voor activiteiten, goedkeuringswachtrijen, fasen met goedkeuringsmomenten

Volgende stappen

Azure Machine Learning-pijplijnen voegen waarde toe vanaf het begin van de ontwikkeling.