Piyush Chaudhary über IBM Spectrum Scale und Hadoop

[Videochat] „Autonomes Fahren profitiert von IBM Spectrum Scale und Hadoop“

Piyush Chaudhary (Kurzform: PC) ist ein äußerst erfahrener Software-Entwickler mit einer ansehnlichen IBM-Historie. Aus diesem Grund war es mir eine besonders große Freude, das nachfolgende Interview führen zu dürfen, in dem er eine ganze Menge über IBM Spectrum Scale im Allgemeinen sowie Spectrum Scale in Kombination mit Hadoop erzählt.

Zunächst einmal wollte ich gerne wissen, wovon PCs Vortrag während der IBM Spectrum Scale Strategy Days 2018 handelte.

httpss://twitter.com/mhuelskoetter/status/968783445257261056

Wenig überraschend sprach Piyush darin über die Kombination „IBM Spectrum Scale und Hadoop“, über die damit in Verbindung stehende Zusammenarbeit mit der Firma Hortonworks und präsentierte Anwendungsbeispiele, wie Hadoop-Lösungen von Hortonworks in Kombination mit IBM Spectrum Scale vielen Anwendern bei ihren Big-Data-Herausforderungen helfen.

Hortonworks Hadoop + IBM Spectrum Scale = High-Performance-Gespann

Um besser zu verstehen, was es mit IBM Spectrum Scale und Hadoop auf sich hat, wollte ich gerne den Zusammenhang zwischen beiden Techniken besser verstehen. Um es sowohl Hortonworks- als auch IBM-Anwendern so einfach wie möglich zu machen, bedient sich IBM eines relativ simplen Tricks.

So stellt IBM Spectrum Scale eine transparente Schicht zwischen der Storage-Hardware und dem Hadoop-eigenen Dateisystem HDFS (Hadoop Data File System) dar. Damit lassen sich Hadoop-Anwendungen innerhalb einer Spectrum Scale-basierten Storage-Umgebung nahezu ohne größere Anpassungen nutzen.

httpss://twitter.com/mhuelskoetter/status/968784138567323648

Was das für reale Hadoop-Spectrum-Scale-Anwendungen bedeutet, konnte PC anhand eines sehr prominenten Beispiels verdeutlichen. So setzt ein renommierter Automobilhersteller diese Analyse-Lösung im Bereich des autonomen Fahrens ein. Damit lassen sich die riesigen Datenmengen, die aufgrund der zahlreichen Sensoren innerhalb von fahrerlosen Fahrzeugen anfallen, blitzschnell und zuverlässig verarbeiten, speichern, analysieren und weiterverwenden.

Autonomes Fahren profitiert von Hadoop und IBM Spectrum Scale

Gerade beim Einspeisen der Sensordaten in die zugrunde liegenden Storagesysteme hilft die Kombination aus Spectrum Scale und Hadoop enorm, da die bereitgestellten Daten unmittelbar analysiert werden können, was wiederum Rückschlüsse in nahezu Echtzeit erlaubt. Die somit ermittelten Daten lassen sich zudem in völlig anderen Anwendungsszenarien nutzen, wie zum Beispiel in Simulatoren. Diese sollen zum Beispiel zeigen, wie sich die Verhaltensweisen der autonomen Fahrzeugen künftig verbessern lassen. An dieser Stelle können zusätzlich KI-Algorithmen dafür sorgen, dass die Simulatoren mithilfe der analysierten und aufbereiteten Datenbestände permanent bessere und zuverlässigere Ergebnisse hervorbringen.

Das Interview mit PC in voller Länge

 

Disclaimer: Für diesen Beitrag hat mich IBM Deutschland als (Video-)Blogger beauftragt.

Peter Ratuschni, Dt. Nationalbibliothek, über IBM Spectrum Scale

[Videochat] „Wichtige Infos und tolle Gespräche – darum bin ich auf diesem IBM-Event!“

Auf dem großen IBM Spectrum Scale Strategy Days-Event hatte ich die Gelegenheit, dieses Videointerview mit Peter Ratuschni von der Deutschen Nationalbibliothek zu führen. Darin spricht er von gesetzlichen Verpflichtungen, großen Datenmengen sowie interessanten und wichtigen Gesprächen mit IBM-Entwicklern zum Thema Software-definded Storage.

Da Herr Ratuschni für den gesamten IT-Bereich der Dt. Nationalbibliothek verantwortlich ist, trafen er und sein Team die Entscheidung, IBM Spectrum Scale für den Storage-Fuhrpark einzusetzen. Und das aus diversen Gründen. So hat die Dt. Nationalbibliothek den gesetzlichen Auftrag, sämtliche Publikationen in Deutschland für die Nachwelt zu archivieren und zu wissenschaftlichen Zwecken zur Verfügung zu stellen. Da auf diese Weise große Datenmengen zustande kommen, setzt die Dt. Nationalbibliothek zwei IBM-Speichersysteme vom Typ Elasctic Storage Server zu Präsentationszwecken ein, auf denen IBM Spectrum Scale implementiert wurde.

Schneller Datenzugriff mit eindeutigen Dateipfaden – das ermöglicht IBM Spectrum Scale

Diese Kombination führt laut Herrn Ratuschni zu verzögerungsfreien Zugriffen auf beliebige elektronische Dokumente innerhalb der riesigen Datenbestände der Dt. Nationalbibliothek. Doch nicht nur das schnelle Bereitstellen der gewünschte Objekte steht im Vordergrund, sondern auch der garantierte Zugriff über stets dieselben Dateipfade, was mit IBM Spectrum Scale ermöglicht wird. In Ergänzung zu Spectrum Scale kommt in der Dt. Nationalbibliothek auch IBM Spectrum Protect zum Einsatz. Diese Datensicherungslösung von IBM zielt vor allem auf virtuelle Storage-Umgebungen ab, weswegen sich die Dt. Nationalbibliothek genau dafür entschieden hat.

„Wichtige Infos und tolle Gespräche – darum bin ich auf diesem IBM-Event“

Natürlich hat mich auch interessiert, warum Herr Ratuschni auf der IBM Spectrum Scale-Veranstaltung war. Bereits zum dritten Mal dabei, sieht er das Event als sehr gute Möglichkeit, alle Neuigkeiten rund um die Software-defined Storage-Lösung von IBM zu konsumieren. Obendrein schätzt er die Gelegenheit, mit IBM-Entwicklern aus Deutschland und den USA zu sprechen und so drängende Fragen zu klären. Zudem waren Veränderungen rund um den Spectrum Scale-Service für Herrn Ratuschni von großem Interesse, die ebenfalls auf dem Event vorgestellt wurden.

Dt. Nationalbibliothek, SVA und IBM – ein erprobtes Team

Interessant wurde es auch am Ende des Interviews, als die Zusammenarbeit zwischen der Dt. Nationalbibliothek und IBM ins Gespräch kam. So habe ich gelernt, dass die Firma SVA aus Wiesbaden (die ich auch schon unterstützen durfte), den Rahmenvertrag mit dem Bund in Sachen IBM-Storageprodukte inne hält. Daraus ergibt sich laut Herrn Ratuschni eine sehr gute Zusammenarbeit zwischen der Dt. Nationalbibliothek, IBM und SVA, was vor allem das Beschaffen und Bereitstellen benötigter Storage-Lösungen betrifft.

Das komplette Videointerview mit Peter Ratuschni in voller Länge

Disclaimer: Für diesen Beitrag hat mich IBM Deutschland als (Video-)Blogger beauftragt.

Dirk Thometzek von Rohde & Schwarz über IBM Spectrum Scale und SpycerBoxen

[Videochat] „Mit IBM Spectrum Scale gehen keine Daten verloren – trotz Speicherwechsel“

Während der IBM Spectrum Scale Strategy Days 2018, für die mich IBM als Videoblogger engagiert hatte, durfte ich dieses Videointerview mit Dirk Thometzek führen, der bei Rohde & Schwarz für den Bereich Storage Solutions verantwortlich ist. Während der viereinhalb Minuten habe ich erfahren, über welche Themen Herr Thometzek während seines Vortrags auf dem IBM-Event gesprochen hat, warum die IBM Spectrum Scale-Technik in der SpycerBox-Serie von Rohde & Schwarz eingesetzt wird und was diese Storage-Appliances besser können als andere.

In seinem Vortrag sprach Herr Thometzek vor allem über die R&S SpycerBoxen, die von Rohde & Schwarz seit Ende 2017 in zwei Ausprägungen angeboten werden: als R&S SpycerBox Ultra TL und als R&S SpycerBox Cell. Allerdings war die Redundanz, die Spectrum Scale standardmäßig bietet, für spezielle SpycerBoxen-Anwendungen nicht ausreichend. Daher hat das Entwicklerteam von Rohde & Schwarz einen Software-Layer „gebaut“, der beim Video-Playout, also z.B. beim Ausstrahlen von Fernsehbildern, eine unterbrechungsfreie Datenübertragung garantiert. Auch davon handelte sein Vortrag.

Werbeclips müssen unterbrechungsfreie ausgestrahlt werden – dafür sorgt Rohde & Schwarz

So sprach er beispielsweise von Werbung, die einen immer höheren monetären Wert erfährt. So kostet beispielsweise ein 30-sekündiger Werbeclip während der Superbowl-Halbzeitpause rund 5 Millionen Dollar. Damit wird schnell klar, dass das Abreißen des zugehörigen Datenstroms unter monetären Aspekten ziemlich fatale Auswirkungen hätte. Der R&S-Layer, der für den unterbrechungsfreien Datenübertragung sorgt, basiert auf einer Technik, die sich Virtual Storage Access (VSA) nennt. Damit können zwei Storage-Cluster, die unabhängig voneinander arbeiten, wie ein einziger dargestellt und genutzt werden.

Mit IBM Spectrum Scale gehen keine Daten mehr verloren – trotz Speicherplatzwechsel

Doch warum kommt ausgerechnet IBM Spectrum Scale bei Rohe & Schwarz zum Einsatz? Nun, das ist vor allem der Tatsache geschuldet, dass in der Medienbranche zahlreiche Anwendungen eingesetzt werden, die unterschiedlichste Daten erzeugen, die wiederum auf unterschiedlichen Datenträgern gespeichert werden.  Daraus folgt in vielen Fällen ein wahres „Datenchaos“, das große Datensilos zur Folge hat. Dabei wird nicht unterschieden zwischen wichtigen Daten, also „Hot Data“, und weniger wichtigen Daten, also „Cold Data“. Vor allem die kalten, also weniger genutzten Daten, belegen oft teuren Datenspeicher, was eine ziemliche Verschwendung von kostbaren Ressourcen bedeutet.

Genau an dieser Stelle kommt IBM Spectrum Scale zum Einsatz. Denn mithilfe von Features wie „Global Name Space“ und „Information Lifecycle Management“ können Daten unterschiedlicher Storage-Pools für den Anwender unbemerkt verschoben werden, ohne dass sich die Zugriffspfade ändern. Folge: Daten liegen virtuell stets am gleichen Ort, obwohl sie zwischenzeitlich auf einem anderen Speicherelement „gelandet“ sein können, da sie vom teuren Speicher auf einen günstigeren transferiert wurden.

R&S SpycerBoxen genügen höchsten technischen Ansprüchen – bei der Datenraten und IOPS

In diesem Kontext wollte ich wissen, was die R&S SpycerBoxen besser machen als andere vergleichbare Lösungen. Hierbei verwies Herr Thometzek auf die langjährige Erfahrung von Rohde & Schwarz in den Bereichen Filmmastering und Videostreaming und die Anforderungen an Speicher in diesem Kontext. Da die erforderlichen Storage-Pools höchsten Leistungsanforderungen genügen müssen, die nicht jede Speicher-Hardware erfüllt, entschloss sich R&S dazu, den Video-Storage selbst zu bauen. Herausgekommen ist die SpycerBox-Familie, die ziemlich kompakte Maße aufweist, ohne dabei die erforderliche Leistung zu vernachlässigen.

So generiert beispielsweise ein 4K-Videostream problemlos einen Datenstrom von 4 bis 5 Gigabyte – pro Sekunde! Damit wird schnell klar, dass Video-Playout-Systeme echte Hochleistungssysteme sein müssen, und das zu einem überschaubaren Preis. Und genau dafür hat Rohde & Schwarz die passenden Produkte wie die SpycerBox Cell im Portfolio, die genau diesen Ansprüchen genügen.

Dirk Thometzek im Videonterview für IBM

Falls Sie die Erläuterungen von Herrn Thometzek höchstpersönlich anhören und -sehen möchten, empfehle ich dieses Videointerview. Na dann: Film ab!

Disclaimer: Für diesen Beitrag hat mich IBM Deutschland als Blogger beauftragt.

Alf Wachsmann vom Max Delbrück Institut über IBM Spectrum Scale

[Videochat] „Das IBM Spectrum Scale-Event ist wirklich fantastisch!“

Anlässlich der IBM Spectrum Scale Strategy Days 2018 konnte ich dieses Videointerview mit Alf Wachsmann vom Max Delbrück Centrum für molekulare Medizin führen. Darin spricht er über den aktuellen und geplanten Einsatz der Spectrum Scale-Technik innerhalb seines Instituts sowie über das Event selbst und warum er nach Ehningen zu IBM gereist ist.

Zunächst einmal wollte ich wissen, wovon der Vortrag von Herrn Wachsmann auf dem IBM-Event handelte. Nun, das Max Delbrück Centrum mit seiner Grundlagenforschung kam genauso zur Sprache wie die Einsatzbereiche von IBM Spectrum Scale, was eine perfekte Überleitung zur zweiten Frage war.

httpss://twitter.com/mhuelskoetter/status/968835972879323142

Die Software-defined Storage-Lösung namens Spectrum Scale kommt am Max Delbrück-Institut derzeit hauptsächlich zu Datenspeicherungszwecken zum Einsatz. Denn aufgrund von medizinischen Anwendungsfeldern wie Gensequenzierung, Massenspektrometrie und Mikroskopie werden am Max Delbrück Centrum riesige Datenmengen generiert, die unterschiedliche Zugriffscharakteristiken und Größen aufweisen.

IBM Spectrum Scale erlaubt einen enormen Datendurchsatz und kurze Wartezeiten

Daher können diese Daten nicht mit einem herkömmlichen Dateisystem verwaltet und analysiert werden, sondern erfordern eine Hochleistungssoftware wie IBM Spectrum Scale. Alleine schon aus Durchsatz-, aber auch aus Zeitgründen sind die Anwender des Instituts auf ein solch schnelles Datenspeichersystem angewiesen.

Doch setzt das Max Delbrück Centrum IBM Spectrum Scale überhaupt mit all seinen Möglichkeiten ein? Das konnte Herr Wachsmann mit einem „Nein“ beantworten, ergänzte aber auch gleichzeitig, dass er und sein Team die IBM-Software künftig intensiver und breiter nutzen wollen. Denn neben den bisher verwendeten Funktionen „Quotas“ und „Snapshots“ möchte er ein umfassendes Datenmangement auf Spectrum Scale-Basis implementieren.

Mithilfe der Policy Engine „Cold Data“ automatisch auf günstigere Datenspeicher transferieren

Das soll auf Basis der Policy Engine dazu führen, dass selten genutzte Dateien vom schnellen und teueren Massenspeicher automatisch auf kostengünstigere, weil langsamere Speicherbereiche zu transferiert werden. Das geht dann so weit, dass diese „kalten“ Daten letztendlich auf Bandlaufwerken landen, und das alleine schon aus Gründe der Compliance, also aufgrund von gesetzlichen Regelungen.

Für die IBM Spectrum Strategy Days 2018 hat Herr Wachsmann nur ein Wort übrig: „Fantastisch“. Das liegt zum einen an den wertvollen Informationen, aber auch an der Möglichkeit, sich mit Kollegen und IBM-Experten vor Ort auszutauschen. Denn auf diese Weise kann man etwas über Lösungsansätze anderer Firmen erfahren, auf deren Suche man gerade selbst ist. Das geht dann so weit, dass anwesende IBM-Vertreter bei der Bewältigung von Herausforderungen rund um Spectrum Scale helfen können.

Disclaimer: Für diesen Beitrag hat mich IBM Deutschland als Blogger beauftragt.

IBM Spectrum Scale Strategy Days 2018

IBM Spectrum Scale Strategy Days 2018: Ehningen, I’m coming! [UPDATE]

Das werden meine ersten IBM Spectrum Scale Strategy Days, die ich als „eingekaufter“ Videoblogger begleiten darf. Spectrum Scale? Noch nie gehört? Ok, dann eine kurze Erklärung:

IBM Spectrum Scale ist eine skalierbare Hochleistungslösung für das Daten- und Dateimanagement (auf Basis der Technologie von IBM General Parallel File System oder GPFS, auch bekannt unter dem Codenamen Elastic Storage), die in unterschiedlichen Branchen weltweit zum Einsatz kommt. IBM Spectrum Scale vereinfacht das Datenmanagement und bietet integrierte Tools für den Informationslebenszyklus, die Petabyte an Daten und Milliarden Dateien verwalten können. So lassen sich die steigenden Kosten für das Management der ständig zunehmenden Datenmengen im Griff behalten. (Quelle: SVA GmbH)

Der IBM SSSD 2018 gliedert sich in drei Teile, wovon der erste Tag dem Einstieg in die Welt der Spectrum Scale-Softwarelösung vorbehalten ist, an den Tagen zwei und drei kommen dann zahlreiche IBM-Experten, aber auch IBM-Kunden zu Wort.

Fünf davon, genauer gesagt zwei IBM- und drei Kundenvertreter, werde ich mit meiner Videokamera befragen dürfen. Schließlich sollen die vielen Informationen, die dort präsentiert werden, nicht wieder einfach so versickern. Als Interviewpartner sind momentan folgende Personen vorgesehen:

  • Dirk Thometzek von Rohde & Schwarz GmbH & Co. KG
  • Alf Wachsmann vom Max Delbrück Center for Molecular Medicine
  • Alexander Gast vom WDR
  • Piyush Chaudhary von IBM
  • Kevin Gildea von IBM

Alle fünf Interviewpartner haben eine ganze Menge zu erzählen zum Thema IBM Spectrum Scale und Software-defined Storage. So werde ich unter anderem wissen wollen, wie IBM Spectrum Scale bei den Kunden zum Einsatz kommt, wie sich Spectrum Scale und Hadoop/Spark gegenseitig ergänzen, was Spectrum Scale und Künstliche Intelligenz miteinander zu tun haben, und einiges mehr.

Vier der fünf Interviewpartner werden einen eigenen Vortrag halten, die ich wie gewohnt per Twitter verfolgen und kommentieren werde. Das sind wie folgt:

10:15 – 10:40Keynote: Cognitive Computing and Spectrum ScaleKevin Gildea
10:40 – 11:05Spectrum Scale Big Data & Analytics InitiativePiyush Chaudhary (IBM)
Florian von Walter (HortonWorks)
14:00 – 14:20Kundenbericht – Max Dellbrück Center (MDC)Alf Wachsmann (MDC)
15:40 – 16:00Kundenbericht – Rohde & SchwarzDirk Thometzek (R&S)

Darüber hinaus wird es weitere zahlreiche Informationen zum Thema IBM Spectrum Scale geben. Auszug gefällig?

  • Spectrum Scale Cloud Initiatitve
  • Was ist neu bei Spectrum Scale?
  • Erfahrungen aus der Portierung von Spectrum Scale auf IBM Z
  • uvm.

Seien Sie also gespannt auf das, was morgen, übermorgen und überübermorgen  in Ehningen passieren wird. Ich bin es auch. Und klar, dass ich die Videointerviews allesamt auf meinem Blog veröffentlichen werde.

[Videochat] „Wichtige Infos und tolle Gespräche – darum bin ich auf diesem IBM-Event!“

[Videochat] „Das IBM Spectrum Scale-Event ist wirklich fantastisch!“

[Videochat] „Mit IBM Spectrum Scale gehen keine Daten verloren – trotz Speicherwechsel“

[Videochat] „Autonomes Fahren profitiert von IBM Spectrum Scale und Hadoop“

Disclaimer: Für diesen Beitrag hat mich IBM Deutschland als (Video-)Blogger beauftragt.