Was ist DataOps? Umfangreiche Erklärungen zur Datenverarbeitung.

DataOps ist mehr als eine separate Technologieplattform, es ist ein Ansatz oder eine Methodik. Es vereint mehrere Datentechnologien und -verfahren zu einer integrierten Umgebung. Die Übertragung der Daten durch dieses System erfolgt problemlos von den Datenquellen über die Datenoptimierung und einem Daten-Repository bis zur Datennutzung und dadurch profitiert ihr Unternehmen. Ihre Technologien, Prozesse und Mitarbeiter sind dabei für effektive Ergebnisse wichtig.

Das DataOps-Framework kombiniert fünf wesentliche Elemente, die von den verwendeten Technologien bis zu einem umfassenden kulturellen Wandel reichen. Das erste Element ist die Aktivierung von Technologien, von denen viele vermutlich bereits in Ihrem Unternehmen vorhanden sind (z. B. IT-Automatisierung und Tools für das Datenmanagement). Auch KI- und ML-Technologien fallen in diese Kategorie. Das zweite Element ist eine adaptive Architektur, die kontinuierliche Neuentwicklungen bei wichtigen Technologien, Services und Prozessen unterstützt. Das dritte Element besteht aus der Anreicherung der Daten, indem diese für eine präzise Analyse in einen relevanten Kontext gestellt werden. Konkret geht es um intelligente Metadaten, die das System automatisch und oft schon während der Einspeisung erzeugt, um später wertvolle Zeit in der Datenpipeline zu sparen. Das vierte Element ist die DataOps-Methodik, mit der Ihre Analysen und Datenpipelines entsprechend der Data Governance und dem Modellmanagement erstellt und verfügbar gemacht werden.

An fünfter Stelle des DataOps-Frameworks steht das wichtigste und komplexeste Element: Unternehmenskultur und Mitarbeiter. Um das Potenzial von DataOps vollständig ausschöpfen zu können, muss in Ihrem Unternehmen eine Kultur der Zusammenarbeit zwischen Ihren IT- und Cloud-, Datenarchitektur- und Engineering-Experten auf der einen Seite und Datenkonsumenten wie Analytikern und Data Scientists auf der anderen Seite bestehen bzw. geschaffen werden. Nur dann können mit DataOps die richtigen Daten zur richtigen Zeit am richtigen Ort platziert werden, um eine echte Wertschöpfung zu erreichen.

Für eine DataOps-Architektur bedarf es beträchtlicher Anpassungsfähigkeit, da sich Datenanforderungen und Datennutzung schnell und kontinuierlich ändern. Parallel zum Wandel von geschäftlichen Prioritäten und Marktbedingungen entwickeln auch die Datenkonsumenten wie Analytiker, Data Scientists und Business Manager immer wieder neue Erfordernisse. Eine flexible Architektur akzeptiert diese Veränderungen und passt sich ihnen an, so das sich der Datenfluss und die Qualität der Erkenntnisse bei jedem Schritt verbessern können.

Eine erfogreiche DataOps-Architektur unterstützt und erfordert die Zusammenarbeit im gesamten Unternehmen. Wenn Datenkonsumenten auf Daten und Informationen für ihre Geschäftsinitiativen zugreifen, müssen sie in der Lage sein, die entsprechenden Daten genauso wie die Datenpipelines, durch die die Daten ankommen, schnell zu erstellen und zu gestalten. Außerdem muss die Architektur diese Datenverarbeitung so einfach und komfortabel wie möglich gestalten, um die Einführung und ein intelligentes Geschäftsmodelle zu fördern.

Auf diese Frage gibt es keine einfache Antwort. Wir geben Ihnen aber fünf wichtige Schritte oder Phasen vor, mit denen Sie das volle Potenzial Ihrer Daten realisieren können. Beginnen Sie mit der Überprüfung Ihres Technologieportfolios und Ihrer Prozesse, um Redundanzen zu eliminieren und die Kontrolle in Ihren Teams zu konsolidieren. Im zweiten Schritt stärken Sie Ihre Teams, um den Austausch zu fördern und Inkonsistenzen abzubauen, unter denen die Zusammenarbeit leidet. Drittens führen Sie DataOps-Praktiken in Ihren Teams und Datenpipelines ein. Die ist oft ein schwieriges Stadium, in dem Ihre Mitarbeiter im Interesse der Zusammenarbeit unbekannte Prozesse durchführen und anderen Teams vertrauen müssen, mit denen sie zuvor noch nicht gearbeitet haben.

In der vierten Phase haben Sie die Abläufe der Mitarbeiter entsprechend ausgerichtet und können daran gehen, Ihre Prozesse zu automatisieren. Automatisierung macht Ihre Datenpipelines effizienter und die Datenverarbeitung effektiver. Allerdings ist das erst der Anfang. Der fünfte und letzte Schritt besteht darin, Ihren Datenkonsumenten die Möglichkeit zu geben, sich die benötigten Daten selbst zu verschaffen. An diesem Punkt werden Daten zu Informationen und Erkenntnissen, mit denen Sie das Potenzial Ihrer DataOps-Lösung voll ausschöpfen können – ein Effekt, der im gesamten Unternehmen sichtbar wird. Vergessen Sie nicht, jede Komponente Ihrer Datenverarbeitung zu überdenken und Ihre Prozesse sorgfältig zu erfassen, damit Sie sie verbessern, anpassen und aktualisieren können, um weiterhin möglichst wertvolle Erkenntnisse zu gewinnen.

DataOps wird durch ein umfangreiches Bündel an Technologien und Prozessen ermöglicht, darunter Technologien für das Datenmanagement (Datenkataloge, Datenvirtualisierung, Datenpipelines, KI-Modellmanagement) sowie für Versionsverwaltung, Testautomatisierung, automatisierte Deployments, Release-Management, Laufzeitorchestrierung und sogar Kollaboration. Zur Automatisierung für Tests und Entwicklung werden KI- und ML-Technologien genutzt, um Prozesse und Workflows zu unterstützen und die manuelle Konfiguration zu vermeiden. Dabei müssen Sie sich darauf verlassen können, dass die gewählte Technologie die Hürden der Interoperabilität senkt. Unabhängig davon, ob Sie Ihre Technologien zu einer zentralen Basis zusammenführen oder einen Pool an interoperablen Technologien bilden, sollten diese Technologien in Ihren derzeitigen und künftigen Datenumgebungen einwandfrei funktionieren, seien es lokale, Cloud-, Multi-Cloud oder Hybrid-Umgebungen.

Intelligente Metadaten sind wichtig. Verwenden Sie intelligente Technologien mit umfangreichen AI- und ML-Komponenten. Die intelligenten Metadaten nutzen diese Technologien, um die Rückschlüsse zu verbessern, die damit geschlossen werden können. Wenn Sie Metadaten bei der Aufnahme automatisch erstellen, werden diese während der Laufzeit automatisch erkannt. Außerdem reduziert sich der manuelle Aufwand für Ihr Team erheblich, wenn Sie Datenobjekte entsprechend kennzeichnen. Dadurch beschleunigen Sie die Entwicklung Ihrer Datenpipelines sowie die Einführung und die effiziente Analyse durch Ihr Team.

DataOps ist eine Methodik und geistige Haltung, die in Ihrem Kern von Zusammenarbeit geprägt ist. Es gibt keine Einzelperson mit den Aufgaben eines Engineer und auch keine Berufsbezeichnung zur Sicherstellung des erfolgreichen Einsatzes von DataOps. Die Zusammenarbeit innerhalb Ihres Unternehmens erstreckt sich über die Mitarbeiter der IT-Abteilung, die Datenexperten und auch die Datenkonsumenten. Isolierte Denkansätze und Arbeitsbereiche werden von Zusammenarbeit über Teams hinweg und einem breit gefassten Verständnis abgelöst, demzufolge die Daten dem gesamten Unternehmen gehören.

Das heißt nicht, dass individuelle Kompetenzen von unternehmensübergreifenden Aktivitäten abgelöst werden, aber es bedeutet, dass Ihre Teams ihre vorhandenen Fertigkeiten unterschiedlich einsetzen. Data Engineering, Datenqualität, Datenprofilerstellung, Datenwissenschaft und Datenmanagement sind weiterhin notwendig und hilfreich. Damit wird nun Ihre Infrastruktur bei der Versorgung der Datenkonsumenten unterstützt, zu denen Ihre Data & Business Analysts zählen. Mit DataOps verbessern sie ihre Fähigkeiten zum eigenständigen und schnellen Untersuchen von Daten. Data Stewards wechseln die Aufgabe und kümmern sich ab jetzt um die Aufrechterhaltung der Datenqualität und die Verbesserung der Metadaten. Es gibt natürlich Data Engineers, die die Aufgabe haben, Daten einzuspielen und Datenlücken zu erkunden. Die Mitarbeiter der IT-Abteilung und des operativen Bereichs sind für Erhalt und Optimierung der Datenverarbeitung zuständig.

Da DataOps eine Methodik darstellt, ist es kein Produkt, das im Rahmen von Storage as a Service (SaaS) angeboten wird. Dennoch kann SaaS Teil eines DataOps-Verfahrens sein, mit dem Microservices, Orchestrierung und Datenverkehrsmanagement im gesamten Unternehmen ergänzt werden. Mehrere der von Ihnen benötigten DataOps-Tools sind im SaaS-Bereitstellungsmodell verfügbar.

Die knappe Antwort auf diese Frage lautet: Kein Unternehmen hat bisher das Potenzial von DataOps wirklich vollständig ausgeschöpft. Es ist ein permanenter Bedarf an Verbesserung zu erkennen. Gleichwohl sind einige Unternehmen weiter als der Großteil. Dabei handelt es sich oft um High-Tech-Unternehmen, die über große DevOps-Teams verfügen, die auch DataOps-Initiativen unterstützen. Im weiter gefassten Sinne setzen viele Unternehmen aber bereits eine Art von DataOps ein, ohne es zu wissen oder so zu benennen. Initiativen für Datenflexibilität orientieren sich oft stark an DataOps-Initiativen.

Wir sollten an dieser Stelle anmerken, dass wir DataOps in unserem eigenen Unternehmen einsetzen. Beispielsweise nutzen wir mithilfe von Objektspeichern und Pentaho eine Data-Lake-Architektur für Unternehmensanalysen, Reporting und eine IoT-Plattform. Dadurch haben wir unsere Effizienz gesteigert, Betriebskosten reduziert und neue Geschäftschancen hinzugewonnen. Wir haben eine 30%ige Verbesserung in Datenanalysevorgängen erreicht, eine Verbesserung von über 50% im Bereich Datenqualität und -konsistenz verzeichnen können und haben eine Senkung der Plattform-Betriebskosten von 20% erzielt. Wir nennen das den DataOps-Vorteil.

DataOps ist ein neueres Konzept, das weiter gefasst ist, als DevOps. Genau wie DevOps automatisiert, vereinfacht und stützt sich DataOps auf neue Zusammenarbeit zwischen Teams und Abteilungen. DevOps baut die Zusammenarbeit zwischen dem Enwicklungs- und dem operativen Bereich in der IT-Abteilung auf. DataOps erfordert und baut die Zusammenarbeit im gesamten Unternehmen auf – und zwar von der IT-Abteilung bis hin zu den Datenexperten und Datenkonsumenten. DevOps macht die IT-Abteilung effizienter. DataOps macht das gesamte Unternehmen effizienter.

Sowohl beim Einsatz von DevOps als auch von DataOps überdenken Unternehmen das ganze Problem, einschließlich der Ziele und suchen nach einer End-to-End-Lösung. DevOps erweitert den Umfang des Problems und betrachtet es nicht als Dev-Problem (Entwicklungsbereich) oder als Ops-Problem (operativer Bereich), sondern als DevOps-Problem. Beim Einsatz von DataOps geschieht dasselbe und dabei wird von Unternehmen der Datenverkehr in seiner Entstehung bis hin zu seiner Verwendung durchdacht, mit dem Unterschied, dass DataOps weit mehr Gruppen betrifft, da das gesamte Unternehmen auf Daten angewiesen ist. Außerdem ist DataOps ein komplexerer Ansatz. Beim Einsatz von DevOps gibt es im Wesentlichen eine Bereitstellungspipeline (Code zur Ausführung), beim Einsatz von DataOps hingegen gibt es Produktionsbereitstellung und Datenpipelines, wodurch Datenmodelle trainiert und die Übertragung von Daten ausgeführt werden. Diese Komponenten müssen kontinuierlich angepasst, verbessert und erfasst werden.

Eine aktuelle Studie von 451 Research mit dem Titel „DataOps: the foundation for agility, security and transformational change“ gibt interessante Einblicke in Unternehmen, die bereits mit DataOps-Methoden arbeiten. Der Bericht kommt zu folgendem Schluss:

• Das Konzept von DataOps wird meist mit der betrieblichen Effizienz in Verbindung gebracht, allerdings betreffen die Effizienzsteigerungen nicht nur die Flexibilität, sondern auch die Sicherheit und die Änderung durch Transformation.
• Von den Unternehmen, die sich bereits mit DataOps beschäftigen, ist sich die überwältigende Mehrheit einig, dass DataOps positive Auswirkungen auf ihr Unternehmen hat. Während Begriffe wie gesteigerte Flexibilität und Effizienz eng mit DataOps verbunden sind, werden Begriffe wie der größte Treiber, Priorität und Vorteil mit Sicherheit und Compliance in Verbindung gebracht.
• Die Unternehmen, die DataOps eingeführt haben, sind in Hinblick auf die Cloud-Umstellung und Ausführung digitaler Transformationsstrategien weiter fortgeschritten. Somit profitieren sie von einer besseren Positionierung, wenn es um einen Wettbewerbsvorteil gegenüber anderen Unternehmen geht.
• Darüber hinaus profitieren die Unternehmen, die DataOps frühzeitig einführen, insofern von Vorteilen, dass sich ihre Investitionen in Produkte, Services, Prozesse und betriebliche Veränderungen doppelt auszahlen können.
• Die Umfrageergebnisse bestätigen als solche unseren Eindruck, dass „DataOps“ als etablierter Begriff immer noch relativ unbekannt ist, aber dass ein immer größerer Einfluss auf den breiteren Markt in den kommenden Jahren erwartet werden kann.

Das sind wir von Hitachi Vantara. Wir sind der Vorreiter in Sachen DataOps und der Entwicklung in unserem eigenen Unternehmen. Wir arbeiten auch mit unseren Kunden und Partnern zusammen am Aufbau und der Optimierung einer eigenen DataOps-Methodik. Mit fast 110 Jahren Erfahrung im Bereich operative Technologie und über 60 Jahren im IT-Bereich hat Hitachi tiefere Einblicke in Sachen DataOps als irgend ein anderes Unternehmen.

Wir unterstützen unsere Kunden dabei, den Vorteil von DataOps für ihr Unternehmen anhand einer Reihe von Angeboten zu erkennen. Diese Angebote nennen wir Data-Stairway-to-Value (oder SEAM). Damit haben unsere Kunden folgende Vorteile:

SPEICHERUNG: Speichern, verwalten und schützen Sie Daten mit sehr niedrigen Kosten und dem passenden Service-Level für Edge-, private, Hybrid- und Multicloud-Lösungen.
ANREICHERUNG: Reichern Sie Daten mit Metadatenklassifizierung und -katalogisierung an, um den erforderlichen Kontext für Datenmanagement und Data Governance zu schaffen.
AKTIVIERUNG: Erkunden, integrieren und orchestrieren Sie Unternehmensdaten-Assets und nutzen Sie Analysen, um wertvolle Einblicke für jede Unternehmensinteraktion und -anwendung zu generieren.
MONETARISIERUNG: Liefern Sie Ergebnisse, die den ganzen wirtschaftlichen Nutzen erfassen, der in den Daten im Unternehmen unseres Kunden und darüber hinaus steckt.

Letztendlich ist es wichtig, dass sich unsere Kunden für Hitachi Vantara entscheiden, einen Partner, der mit ihnen gemeinsam an Innovationen und somit an der Umsetzung ihrer Vision arbeitet. Das bedeutet, dass wir immer vom Geschäftsergebnis ausgehen, das der Kunden erreichen möchte. Wir verknüpfen diesen Ansatz mit Fachkenntnissen, die nur wir haben und implementieren integrierte Systeme, die den Wert von Daten bei jedem Schritt unseres SEAM-Ansatzes maximieren. Exzellenz auf jeder Stufe ist die Grundlage, auf der der Erfolg zukünftiger Projekte aufbaut. Sie ermöglicht es unseren Kunden, die digitale Reife schrittweise zu erlangen und sichert ihnen beim Einsatz von DataOps den entscheidenden Vorteil.