Fannie Mae automatisiert Designprozess für Data Lake, um Einblicke zu beschleunigen

Die Herausforderung

Aufnahme eines hohen täglichen Datasetvolumens

Fannie Mae wurde 1938 gegründet und steht vor den gleichen Herausforderungen wie viele andere etablierte Unternehmen, etwa Legacy-Umgebungen und Datensilos.

Mit einem Umsatz von 110 Mrd. US-Dollar ist Fannie Mae einer der größten Anbieter von Immobilienfinanzierungen und plante daher, sein stark datenzentriertes Geschäft zu transformieren, um zu einem agilen und reaktiveren Data Lake zu gelangen. Das Unternehmen wollte eine moderne Datenumgebung schaffen, die sicherstellt, dass die richtigen Daten zur richtigen Zeit den richtigen Personen zur Verfügung stehen.

Fannie Mae hatte einen Governance-Standard festgelegt, durch den jedes Dataset und jedes Feld im Data Lake vollständig dokumentiert wird. Dabei durchläuft jedes Dataset einen Designprozess, in dem er kuratiert und mit einer eindeutigen Kennung versehen wird, die unabhängig davon, wohin er kopiert wird, bei ihm bleibt. Jedes Dataset besitzt zudem einen durchdachten Satz von Eigenschaften, die zuerst eingetragen werden müssen, damit die Kennung ausgegeben werden kann.

Dieser Prozess machte die Daten zwar zugänglicher, nahm jedoch extrem viel Zeit in Anspruch. Von der Genehmigung des Designs bis zur tatsächlichen Generierung und Übertragung der Daten aus dem IMR-Designzeitsystem in den Data Lake konnten Tage, Wochen oder sogar Monate vergehen.

In der Zwischenzeit generierten mehrere Hochgeschwindigkeits-Apps von Fannie Mae jeden Tag mehr als 10 Millionen neue Dateien, wodurch der ohnehin langsame Designprozess zusätzlich belastet wurde. Da die neuen Dateien ebenfalls in den Data Lake integriert werden mussten, war eine API-basierte automatisierte Lösung erforderlich.

Die Lösung

Dataset-Vorabregistrierung und Metadaten-Versionsverlauf beschleunigen Analysen und Erkenntnisse
Im Rahmen der umfassenden Datentransformation in eine moderne Dateninfrastruktur integrierte Fannie Mae Lumada Data Catalog. Mit seinen umfangreichen APIs unterstützt Lumada Data Catalog großvolumige Anwendungen, durch die täglich Millionen von Dateien generiert werden, um die aufgenommenen Datasets vorab zu registrieren. Die Benutzeroberfläche ermöglicht die Validierung und Verwaltung von Metadaten für verschiedene Rollen, darunter Metadatenanalysten, Dateneigner, Data Governors und Geschäftsdatenbeauftragte. Geschäftsdatenbeauftragte bei Fannie Mae „stellen sicher, dass Daten vollständig im Besitz von Führungsverantwortlichen sind und von diesen gepflegt werden, und dass bei neuen Initiativen die Erstellung, fortlaufende Qualität und effektive Nutzung von Daten von Anfang an berücksichtigt werden“, so ein aktueller Forbes-Bericht.*

Der Metadaten-Versionsverlauf ermöglicht die Erfassung und Anzeige technischer Metadaten, die von der Einspeisungsanwendung bereitgestellt werden. Dazu gehören unter anderem Dateispeicherort, Dateigröße, Dateiformat, Uhrzeit der Aufnahme und Partition. Die Lösung erfasst ungelöste Schemaentwicklungen, um Abweichungsberichte zwischen gemeldeten und bevorzugten Schemas zu erstellen. Diese Daten werden dann geschäftlichen Endbenutzern in einer robusten Self-Service-„Marktplatz“-Benutzeroberfläche zur Verfügung gestellt. Die Benutzeroberfläche bietet komplexe benutzerdefinierte Eigenschaften, die einfach und zusammenhängend präsentiert werden, damit Endbenutzer die Daten schnell finden und nutzen können.

Das Ergebnis

Fannie Mae sorgt für bessere Geschäftsergebnisse
Durch Implementieren der Datenmanagement- und Analyselösung von Hitachi, die auf Lumada Data Services und Lumada Data Catalog aufbaut, ist es Fannie Mae gelungen, Geschäftsanwendern einen „Marktplatz“-Datenkatalog auf Self-Service-Basis zur Verfügung zu stellen. An jedes Dataset wurden katalogisierte benutzerdefinierte Eigenschaften angehängt, während APIs die automatische Verarbeitung der Datensets übernahmen. Auf diese Weise können täglich mehrere Millionen Dateien katalogisiert werden.

Letztendlich ermöglichen die Lösungselemente schnellere Analysen und Einblicke, die sich wiederum in besseren Geschäftsergebnissen niederschlagen. Wie Scott Richardson, Chief Data Officer bei Fannie Mae, sagt: „Wir denken über Geschäftsstrategien nach, die geeignet sind, unsere Mission voranzutreiben und das Kundenerlebnis mithilfe von Daten zu verbessern.“*

*Forbes-Bericht „How Fannie Mae is Creating a Modern Data Environment“

30. August 2018, 07:36 Uhr (EDT)