Piyush Chaudhary über IBM Spectrum Scale und Hadoop

[Videochat] „Autonomes Fahren profitiert von IBM Spectrum Scale und Hadoop“

Piyush Chaudhary (Kurzform: PC) ist ein äußerst erfahrener Software-Entwickler mit einer ansehnlichen IBM-Historie. Aus diesem Grund war es mir eine besonders große Freude, das nachfolgende Interview führen zu dürfen, in dem er eine ganze Menge über IBM Spectrum Scale im Allgemeinen sowie Spectrum Scale in Kombination mit Hadoop erzählt.

Zunächst einmal wollte ich gerne wissen, wovon PCs Vortrag während der IBM Spectrum Scale Strategy Days 2018 handelte.

httpss://twitter.com/mhuelskoetter/status/968783445257261056

Wenig überraschend sprach Piyush darin über die Kombination „IBM Spectrum Scale und Hadoop“, über die damit in Verbindung stehende Zusammenarbeit mit der Firma Hortonworks und präsentierte Anwendungsbeispiele, wie Hadoop-Lösungen von Hortonworks in Kombination mit IBM Spectrum Scale vielen Anwendern bei ihren Big-Data-Herausforderungen helfen.

Hortonworks Hadoop + IBM Spectrum Scale = High-Performance-Gespann

Um besser zu verstehen, was es mit IBM Spectrum Scale und Hadoop auf sich hat, wollte ich gerne den Zusammenhang zwischen beiden Techniken besser verstehen. Um es sowohl Hortonworks- als auch IBM-Anwendern so einfach wie möglich zu machen, bedient sich IBM eines relativ simplen Tricks.

So stellt IBM Spectrum Scale eine transparente Schicht zwischen der Storage-Hardware und dem Hadoop-eigenen Dateisystem HDFS (Hadoop Data File System) dar. Damit lassen sich Hadoop-Anwendungen innerhalb einer Spectrum Scale-basierten Storage-Umgebung nahezu ohne größere Anpassungen nutzen.

httpss://twitter.com/mhuelskoetter/status/968784138567323648

Was das für reale Hadoop-Spectrum-Scale-Anwendungen bedeutet, konnte PC anhand eines sehr prominenten Beispiels verdeutlichen. So setzt ein renommierter Automobilhersteller diese Analyse-Lösung im Bereich des autonomen Fahrens ein. Damit lassen sich die riesigen Datenmengen, die aufgrund der zahlreichen Sensoren innerhalb von fahrerlosen Fahrzeugen anfallen, blitzschnell und zuverlässig verarbeiten, speichern, analysieren und weiterverwenden.

Autonomes Fahren profitiert von Hadoop und IBM Spectrum Scale

Gerade beim Einspeisen der Sensordaten in die zugrunde liegenden Storagesysteme hilft die Kombination aus Spectrum Scale und Hadoop enorm, da die bereitgestellten Daten unmittelbar analysiert werden können, was wiederum Rückschlüsse in nahezu Echtzeit erlaubt. Die somit ermittelten Daten lassen sich zudem in völlig anderen Anwendungsszenarien nutzen, wie zum Beispiel in Simulatoren. Diese sollen zum Beispiel zeigen, wie sich die Verhaltensweisen der autonomen Fahrzeugen künftig verbessern lassen. An dieser Stelle können zusätzlich KI-Algorithmen dafür sorgen, dass die Simulatoren mithilfe der analysierten und aufbereiteten Datenbestände permanent bessere und zuverlässigere Ergebnisse hervorbringen.

Das Interview mit PC in voller Länge

 

Disclaimer: Für diesen Beitrag hat mich IBM Deutschland als (Video-)Blogger beauftragt.

Peter Ratuschni, Dt. Nationalbibliothek, über IBM Spectrum Scale

[Videochat] „Wichtige Infos und tolle Gespräche – darum bin ich auf diesem IBM-Event!“

Auf dem großen IBM Spectrum Scale Strategy Days-Event hatte ich die Gelegenheit, dieses Videointerview mit Peter Ratuschni von der Deutschen Nationalbibliothek zu führen. Darin spricht er von gesetzlichen Verpflichtungen, großen Datenmengen sowie interessanten und wichtigen Gesprächen mit IBM-Entwicklern zum Thema Software-definded Storage.

Da Herr Ratuschni für den gesamten IT-Bereich der Dt. Nationalbibliothek verantwortlich ist, trafen er und sein Team die Entscheidung, IBM Spectrum Scale für den Storage-Fuhrpark einzusetzen. Und das aus diversen Gründen. So hat die Dt. Nationalbibliothek den gesetzlichen Auftrag, sämtliche Publikationen in Deutschland für die Nachwelt zu archivieren und zu wissenschaftlichen Zwecken zur Verfügung zu stellen. Da auf diese Weise große Datenmengen zustande kommen, setzt die Dt. Nationalbibliothek zwei IBM-Speichersysteme vom Typ Elasctic Storage Server zu Präsentationszwecken ein, auf denen IBM Spectrum Scale implementiert wurde.

Schneller Datenzugriff mit eindeutigen Dateipfaden – das ermöglicht IBM Spectrum Scale

Diese Kombination führt laut Herrn Ratuschni zu verzögerungsfreien Zugriffen auf beliebige elektronische Dokumente innerhalb der riesigen Datenbestände der Dt. Nationalbibliothek. Doch nicht nur das schnelle Bereitstellen der gewünschte Objekte steht im Vordergrund, sondern auch der garantierte Zugriff über stets dieselben Dateipfade, was mit IBM Spectrum Scale ermöglicht wird. In Ergänzung zu Spectrum Scale kommt in der Dt. Nationalbibliothek auch IBM Spectrum Protect zum Einsatz. Diese Datensicherungslösung von IBM zielt vor allem auf virtuelle Storage-Umgebungen ab, weswegen sich die Dt. Nationalbibliothek genau dafür entschieden hat.

„Wichtige Infos und tolle Gespräche – darum bin ich auf diesem IBM-Event“

Natürlich hat mich auch interessiert, warum Herr Ratuschni auf der IBM Spectrum Scale-Veranstaltung war. Bereits zum dritten Mal dabei, sieht er das Event als sehr gute Möglichkeit, alle Neuigkeiten rund um die Software-defined Storage-Lösung von IBM zu konsumieren. Obendrein schätzt er die Gelegenheit, mit IBM-Entwicklern aus Deutschland und den USA zu sprechen und so drängende Fragen zu klären. Zudem waren Veränderungen rund um den Spectrum Scale-Service für Herrn Ratuschni von großem Interesse, die ebenfalls auf dem Event vorgestellt wurden.

Dt. Nationalbibliothek, SVA und IBM – ein erprobtes Team

Interessant wurde es auch am Ende des Interviews, als die Zusammenarbeit zwischen der Dt. Nationalbibliothek und IBM ins Gespräch kam. So habe ich gelernt, dass die Firma SVA aus Wiesbaden (die ich auch schon unterstützen durfte), den Rahmenvertrag mit dem Bund in Sachen IBM-Storageprodukte inne hält. Daraus ergibt sich laut Herrn Ratuschni eine sehr gute Zusammenarbeit zwischen der Dt. Nationalbibliothek, IBM und SVA, was vor allem das Beschaffen und Bereitstellen benötigter Storage-Lösungen betrifft.

Das komplette Videointerview mit Peter Ratuschni in voller Länge

Disclaimer: Für diesen Beitrag hat mich IBM Deutschland als (Video-)Blogger beauftragt.