Was ist der Azure-Daten-Explorer?

Azure Data Explorer ist eine vollständig verwaltete, leistungsstarke Big Data-Analyseplattform, die das Analysieren großer Datenmengen nahezu in Echtzeit vereinfacht. Die Azure Data Explorer-Toolbox bietet Ihnen eine End-to-End-Lösung für die Datenerfassung, Abfrage, Visualisierung und Verwaltung.

Durch die Analyse strukturierter, halbstrukturierter und unstrukturierter Daten über Zeitreihen hinweg und durch die Verwendung von maschinellem Lernen ist es Azure Data Explorer einfach, wichtige Erkenntnisse, Spotmuster und Trends zu extrahieren und Prognosemodelle zu erstellen. Azure Data Explorer verwendet ein herkömmliches relationales Modell und organisiert Daten in Tabellen mit stark typierten Schemas. Tabellen werden in Datenbanken gespeichert, und ein Cluster kann mehrere Datenbanken verwalten. Azure Data Explorer ist skalierbar, sicher, robust und unternehmensbereit. Er eignet sich für die Protokollanalyse, die Zeitreihenanalyse, IoT sowie allgemeine explorative Analysen.

Andere Dienste, die auf der Abfragesprache Kusto Query Language (KQL) basieren, erweitern Azure Data Explorer Funktionen. Zu diesen Diensten gehören Azure Monitor Logs, Application Insights und Microsoft Defender for Endpoint.

Wann sollten Sie Azure Data Explorer verwenden?

Bestimmen Sie anhand der folgenden Fragen, ob Azure Data Explorer die richtige Lösung für Ihren Anwendungsfall ist:

• Interaktive Analysen: Sind interaktive Analysen Teil der Lösung? Beispiel: Aggregation, Korrelation oder Anomalieerkennung
• Vielfalt, Geschwindigkeit, Volumen: Ist Ihr Schema vielfältig? Müssen Sie massive Datenmengen in nahezu Echtzeit aufnehmen?
• Datenorganisation: Möchten Sie Rohdaten analysieren? Beispielsweise daten, die kein vollständig kuratiertes Sternschema sind.
• Abfrageparallelität: Wird Azure Data Explorer von mehreren Benutzern oder Prozessen gleichzeitig genutzt?
• Build vs. Buy: Planen Sie die Anpassung Ihrer Datenplattform?

Azure Data Explorer eignet sich ideal für die Aktivierung interaktiver Analysefunktionen über hochschnelle, vielfältige Rohdaten. Bestimmen Sie anhand der folgenden Entscheidungsstruktur, ob Azure Data Explorer die richtige Lösung für Sie ist:

Weshalb ist der Azure-Daten-Explorer so einzigartig?

Datengeschwindigkeit, Vielfalt und Volumen

Mit dem Azure Data Explorer können Sie in wenigen Minuten Terabytes an Daten über die Warteschlangenaufnahme oder die Streamingaufnahme erfassen. Sie können Petabytes von Daten abfragen und erhalten die Ergebnisse innerhalb von Millisekunden bis Sekunden. Azure Data Explorer bietet eine hohe Geschwindigkeit (Millionen von Ereignissen pro Sekunde), niedrige Wartezeit (Sekunden) und eine linear skalierte Erfassung von Rohdaten. Erfassen Sie Ihre Daten in verschiedenen Formaten und Strukturen, die aus verschiedenen Pipelines und Quellen stammen.

Benutzerfreundliche Abfragesprache

Abfrage Azure Data Explorer mithilfe der Kusto Query Language (KQL), einer Open Source-Sprache, die das Azure Data Explorer Team erstellt hat. Die Sprache ist einfach zu verstehen und zu erlernen und sehr produktiv. Sie können einfache Operatoren und erweiterte Analysen verwenden. Azure Data Explorer unterstützt auch T-SQL.

Erweiterte Analyse

Verwenden Sie Azure Data Explorer für Zeitreihenanalysen mit einer großen Reihe von Funktionen, einschließlich Hinzufügen und Subtrahieren von Zeitreihen, Filtern, Regression, Saisonalitätserkennung, Geospatialanalyse, Anomalieerkennung, Scannen und Prognose. Zeitreihenfunktionen sind für die Verarbeitung tausender Zeitreihen in Sekunden optimiert. Die Mustererkennung ist mit Cluster-Plug-Ins einfach, die Anomalien diagnostizieren und Ursachenanalysen durchführen können. Sie können auch Azure Data Explorer Funktionen erweitern, indem Sie Python Code in KQL-Abfragen einbetten.

Benutzerfreundlicher Assistent

Das Abrufen von Daten ermöglicht den Datenaufnahmeprozess einfach, schnell und intuitiv. Die Azure Data Explorer Web-UI bietet eine intuitive und geführte Benutzeroberfläche, mit der Sie schnell mit dem Erfassen von Daten, dem Erstellen von Datenbanktabellen und Zuordnungsstrukturen beginnen können. Sie ermöglicht einmalige oder kontinuierliche Aufnahme aus verschiedenen Quellen und in verschiedenen Datenformaten. Tabellenzuordnungen und Schemata werden automatisch vorgeschlagen und lassen sich leicht ändern.

Vielseitige Datenvisualisierung

Die Datenvisualisierung hilft Ihnen, wichtige Erkenntnisse zu gewinnen. Azure Data Explorer bietet integrierte Visualisierungen und Dashboards mit Unterstützung für verschiedene Diagramme und Visualisierungen. Es verfügt über native Integration in Power BI, native Connectors für Grafana, Kibana und Databricks sowie ODBC-Unterstützung für Tableau, Sisense, Qlik und vieles mehr.

Automatische Erfassung, Verarbeitung und automatischer Export

Azure Data Explorer unterstützt serverseitige gespeicherte Funktionen, kontinuierliche Aufnahme und kontinuierlichen Export in Azure Data Lake Storage. Es unterstützt außerdem Aufnahmezeitzuordnungstransformationen auf serverseitiger Seite, Aktualisierungsrichtlinien und vorkompilierte geplante Aggregate mit materialisierten Ansichten.

Flow von Azure-Daten-Explorer

Die folgende Abbildung zeigt die verschiedenen Aspekte der Arbeit mit Azure-Daten-Explorer.

Wenn Sie mit Azure Data Explorer interagieren, folgen Sie in der Regel diesem Workflow:

1. Erstellen einer Datenbank: Erstellen Sie einen Cluster, und erstellen Sie dann eine oder mehrere Datenbanken in diesem Cluster. Jeder Azure Data Explorer Cluster kann bis zu 10.000 Datenbanken enthalten, und jede Datenbank kann bis zu 10.000 Tabellen enthalten. Die Daten in jeder Tabelle werden in Datenshards gespeichert, auch als "Extents" bezeichnet. Alle Daten werden automatisch basierend auf dem Zeitpunkt der Aufnahme indiziert und in Partitionen unterteilt. Diese Speicherarchitektur bedeutet, dass Sie eine große Menge unterschiedlicher Daten speichern können, und Sie erhalten schnellen Zugriff bei der Abfrage. Schnellstart: Erstellen eines Azure-Daten-Explorer-Clusters und einer Datenbank

2. Daten erfassen: Laden Sie Daten in Datenbanktabellen, sodass Sie diese abfragen können. Azure Data Explorer unterstützt verschiedene Erfassungsmethoden mit jeweils eigenen Zielszenarien. Diese Methoden umfassen Erfassungstools, Connectors und Plug-Ins für verschiedene Dienste, verwaltete Pipelines, die programmgesteuerte Erfassung mithilfe von SDKs und Direktzugriff auf die Erfassung. Erste Schritte mit dem Datenabruf.

3. Abfrage einer Datenbank: Azure Data Explorer verwendet Kusto Query Language, eine ausdrucksstarke, intuitive und hoch produktive Abfragesprache. Es bietet einen reibungslosen Übergang von einfachen Einzeilen zu komplexen Datenverarbeitungsskripts und unterstützt das Abfragen strukturierter, halbstrukturierter und unstrukturierter (Textsuche)-Daten. Die Sprache verfügt über eine Vielzahl von Abfrageoperatoren und -funktionen, einschließlich Aggregation, Filtern, Zeitreihenfunktionen, Geospatialfunktionen, Verknüpfungen und Vereinigungen. KQL unterstützt clusterübergreifende und datenbankübergreifende Abfragen und bietet umfangreiche Funktionen zum Analysieren von Formaten wie JSON und XML. Die Sprache unterstützt auch von Haus aus fortgeschrittene Analysen.

   Nutzen Sie die Webanwendung, um Abfragen auszuführen und ihre Abfrageergebnisse zu prüfen und zu teilen. Darüber hinaus können Sie Abfragen programmgesteuert (mit einem SDK) oder an einen REST-API-Endpunkt senden. Wenn Sie mit SQL vertraut sind, starten Sie mit dem Spickzettel für SQL zu Kusto und dem Schnellstart: Abfragen von Daten in der Azure Data Explorer-Webbenutzeroberfläche.

4. Visualisieren von Ergebnissen: Verwenden Sie unterschiedliche visuelle Anzeige Ihrer Daten in den nativen Azure Data Explorer Dashboards. Sie können Ihre Ergebnisse auch anzeigen, indem Sie Connectors zu einigen der führenden Visualisierungsdienste verwenden, z. B. Power BI und Grafana. Azure Data Explorer bietet auch ODBC- und JDBC-Connectorunterstützung für Tools wie Tableau und Sisense.

Feedback geben

Verwenden Sie die folgenden Ressourcen, um Feedback zu Azure Data Explorer und Kusto Query Language zu teilen:

• Fragen:
  • Stack Overflow
  • Microsoft Tech Community
• Übermitteln von Produktvorschlägen im Azure Feedbackforum

Zugehöriger Inhalt

• Schnellstart: Erstellen eines Azure-Daten-Explorer-Clusters und einer Datenbank
• Schnellstart: Erfassen von Daten aus einem Event Hub in Azure Data Explorer
• Schnellstart: Abfragen von Daten im Azure-Daten-Explorer
• Suchen eines Azure Data Explorer-Partners