Enorme Datenmengen und eine mühsame, teure und arbeitsintensive Extraktion und Aufbereitung von Datasets für Kunden
Optimierung der Datenextraktion und Standardisierung der für Kunden bereitgestellten Datasets mithilfe einer zentralen Datenintegrationsplattform und eines schlanken Datenverwaltungsprozesses
ElectraLink bildet mit seinem proprietären Datenübertragungsservice einen wichtigen Bestandteil der Energiebranche Großbritanniens und Nordirlands. An das Nachrichten- und Kommunikationsnetzwerk des Unternehmens sind mehr als 250 Gas- und Stromversorgungsunternehmen angeschlossen. Bei jedem Anbieterwechsel eines Kunden oder der Installation eines intelligenten Zählers werden Daten über das Netzwerk übertragen. Derzeit beläuft sich die zu bewältigende Datenmenge auf monatlich über 130 GB.
Dieses Datenvolumen wird sich demnächst erhöhen. Im Rahmen eines von der Regierung angeordneten Programms werden monatlich nahezu 300.000 intelligente Zähler installiert. In Großbritannien und Nordirland sollen bis 2020 mehr als 28 Millionen intelligente Zähler in Betrieb sein. Infolge des umfangreichen Programms steigt der Datenverkehr innerhalb des Datenübertragungsnetzwerks von ElectraLink jährlich um 25 %.
ElectraLink hat einen wahren Schatz an Informationen über den Energiemarkt angesammelt. Hinsichtlich des Zugriffs auf die Daten und deren Nutzung sind vom Anbieter jedoch Einschränkungen zu berücksichtigen. Energieversorger haben beispielsweise uneingeschränkten Zugriff auf ihre eigenen Daten, während sie die Daten anderer Lieferanten nur aggregiert und anonymisiert anzeigen können.
ElectraLink bietet diese Datendienste kommerziell an. Energiedaten sind nicht nur strukturiert und gut definiert, sondern auch komplex und extrem umfangreich.
Das Unternehmen führte Ad-hoc-Abfragen bisher in einem mühsamen, teuren und arbeitsintensiven Prozess aus, der je nach Anwendung variieren konnte. ElectraLink benötigte einen schlanken Datenverwaltungsprozess, um die Datenextraktion zu optimieren und die für Kunden bereitgestellten Datensätze zu standardisieren.
ElectraLink entschied sich für Pentaho Data Integration und Pentaho Business Analytics von Hitachi Vantara, um Daten aus verschiedenen Quellen in eine zentrale Plattform zu integrieren und nahezu in Echtzeit für Analysen verfügbar zu machen.
Die IT-Architektur des Unternehmens umfasst Amazon Web Services (AWS) als sichere Plattform für Cloud-Services, ein Vertica-Data Warehouse, Egnyte als FTP-Portal und Pentaho Data Integration zur Prozessautomatisierung und -orchestrierung für die Dataset-Erstellung. ElectraLink implementierte Pentaho Data Integration Ende 2016, plant im Rahmen seines Produktbereitstellungsmodells jedoch eine verstärkte Nutzung der Plattformfunktionen und -Dashboards.
ElectraLink lädt Datasets auf ein sicheres FTP-Portal, über das Kunden auf die Daten zugreifen können. Das gesamte Netzwerk für die Datenübertragung wird jede Nacht aktualisiert. „Wir fahren unsere Umgebungen hoch, führen die Abfragen aus, verpacken die Daten und stellen sie wieder auf den FTP-Servern bereit, damit die Kunden darauf zugreifen können“, erklärt Dan Hopkinson, Leiter der Netzwerk- und EMI-Dienste bei ElectraLink. „Wir lassen die Umgebungen möglichst kurz laufen, um die Kosten gering zu halten. Die Kostenkontrolle, Automatisierung, Optimierung und schlanke Prozesse sind für uns extrem wichtig.“
ElectraLink nutzt Pentaho Data Integration außerdem zur Erstellung eines Unternehmensglossars der Prozesse und Datenströme für Strom- und Gasdaten. Dies ist der erste Katalog der Energiebranche für zwei Kraftstoffe. Die Automatisierungsfunktionen von Pentaho tragen maßgeblich dazu bei, das Unternehmensglossar auf dem aktuellen Stand zu halten. „Wichtig ist, den Katalog mit Pentaho zu verknüpfen, damit wir nicht bei jeder Prozessänderung Code ändern müssen“, erklärt Hopkinson.
Das Unternehmen nutzt Pentaho Data Integration für die Verwaltung aller Benachrichtigungen und Automatisierungen. Dem nur vierköpfigen Team von Hopkinson bleibt dadurch mehr Zeit, sich auf die Entwicklung neuer Datendienste zu konzentrieren und bestehende Datasets für den abonnement- und volumenbasierten Verkauf an Kunden zu optimieren. „Wir haben eine Reihe von Produkten, angefangen von sehr einfachen Daten-Feeds, mit denen wir Daten im Prinzip nur auf Anfrage bereitstellen, bis hin zu wesentlich komplexeren Analyseprodukten“, erklärt Hopkinson.
ElectraLink hat beispielsweise ein Dataset entwickelt, das die komplette Energiegewinnung des gesamten Verteilernetzes von Großbritannien und Nordirland offenlegt. Im Gegensatz zum Stromnetz sind an das Verteilernetz all die kleinen Windparks, Solarparks und kleinen Generatoren angeschlossen. ElectraLink kann die eingebetteten Generatoren durch den Musterabgleich der Verbrauchsdaten identifizieren, die über das Netzwerk übertragen werden. „ElectraLink ist das einzige Unternehmen, das einen derart umfassenden Überblick über die Energiegewinnung in ganz Großbritannien hat. Es ist ein komplexes und enorm wertvolles Dataset“, so Hopkinson weiter.
Als Nächstes will ElectraLink die Daten mithilfe der Automatisierungsfunktionen von Pentaho über APIs zugänglich machen. Dritten können dadurch in Echtzeit auf die Daten zugreifen, etwa um Preisvergleiche anzustellen. Das Unternehmen möchte dadurch den Anbieterwechsel optimieren und vereinfachen, damit mehr Kunden davon profitieren können.
Rüsten Sie sich mit einer modernen Dateninfrastruktur für die wechselnden Anforderungen geschäftlicher Workloads von heute.
WEITERE INFORMATIONEN
Es ist eine Menge Arbeit, Hunderte Millionen Datenströme zu extrahieren und in aussagekräftige Informationen umzuwandeln, damit unsere Kunden ihre Energielogistik optimieren können. Pentaho erleichtert dies.
– Dan Hopkinson, Leiter des Bereichs Netzwerk- und EMI-Services bei ElectraLink