Big Data

Charakteristika von Big Data

Der Begriff Big Data, zuweilen auch Massendaten genannt, bezieht sich im Kern auf riesige Datenmengen, die für die herkömmliche Datenverarbeitung

• zu groß,
• zu komplex,
• zu schnelllebig und
• zu schwach strukturiert sind.

Neben der Sammlung, Organisation und Auswertung von riesigen, exponentiell wachsenden Datenmengen gehört bei Big Data ein besonderes Augenmerk auch der Sicherstellung der Datenqualität sowie der unternehmerische Mehrwert. Die Datenquellen sind dabei unterschiedlichster Art: Neben der Datengewinnung aus Industrie und Wissenschaft gehören zu den weltweiten Haupterzeugern vor allem privater Daten zweifellos die Protokolle von Telekommunikationsverbindungen und Web-Zugriffen sowie Verbraucherdaten aus Finanzindustrie, Energiesektor und Gesundheitswesen.

Navigationssysteme, Fitness- und Gesundheitsarmbänder, Smart Home und Smart Meter im Haus, Social Media, Onlineshops, Smartphones und vieles mehr – Big Data ist überall. Und damit natürlich auch die Herausforderung, wie man einerseits mit privaten Daten umgeht und andererseits von Seiten der User verhindert, dass persönliche Informationen ohne eigene Zustimmung genutzt bzw. öffentlich gemacht werden. Stichwort: Die Anonymisierung der Daten.

Big Data: Fähigkeiten und Kenntnisse

IT-Experten und IT-Freelancer mit den nötigen Skills, um Big Data zu nutzen, sind heiß begehrt. Als Data Scientists sind sie ausgewiesene Experten in der Datenanalyse. So komplex und vielschichtig das Thema Big Data ist, so vielfältig ist das Spektrum ihrer Kenntnisse, die meist mehrere Fachbereiche umspannen.

Data Scientists bringen meist mehrere, wenn nicht sogar alle folgende Skills mit. Sie besitzen Kenntnisse in:

Programmierkenntnisse
Für all diejenigen, die aus der klassischen IT kommen, ist dieser Bereich der naheliegendste. In Sachen Programmiersprachen sind Python, Java, R und C++ empfehlenswert. Das wichtigste Framework für Big Data – Apache Hadoop (s. unten) – basiert auf Java, sodass die Programmiersprache essentiell ist, um mit Hadoop arbeiten zu können.

Datenstrukturen und Algorithmen
Welche Möglichkeiten gibt es, die zu analysierenden Daten zu speichern und zu organisieren? Dazu sollten Big Data Experten die Grundlagen unterschiedlicher Datentypen und -strukturen kennen, zum Beispiel binäre Suchbäume, Rot-Schwarz-Bäume oder Hashtabellen. Auch ein Grundverständnis von Algorithmen ist wichtig, um die Daten auf ein Problem hin zu analysieren.

Datenbank-Skills
Wo viele Daten sind, da ist auch SQL – eine unbedingte Empfehlung für die Know-how-Liste. Doch immer öfter stoßen relationale SQL-Datenbanken an ihre Grenzen. Hier kommen NoSQL-Datenbanken ins Spiel, mit denen sich auch unstrukturierte Daten speichern lassen.

Mathematische und statistische Grundlagen
Quantitative Methoden sind ebenfalls hilfreich für Big Data Spezialisten. Hier helfen Grundkenntnisse der Mathematik (v.a. lineare Algebra und multivariable Infinitesimalrechnung) und Statistik. Auch mit entsprechenden Softwarelösungen wie SAS, Matlab oder SPSS sollten sich Data Scientists auskennen.

Datenvisualisierung
Oft ist es in Big Data Projekten unumgänglich, die Rohdaten auch visuell aufzubereiten, um so neue Blickwinkel auf die Informationen zu bekommen und neue Erkenntnisse zu gewinnen. Spätestens bei der Kommunikation über die Arbeit oder Ergebnisse eines Big Data Projekts sollten „bunte Bildchen“ nicht fehlen. Denn nicht jeder Kollege oder Entscheidungsträger kann mit seitenlangen Datenauswertungen etwas anfangen. Ein Big Data Experte muss auch ein Gespür dafür haben, welche Darstellungsform der Informationen am besten ist: „klassisch“ als Säulen-, Balken oder Torten-Diagramm oder in neueren Formen wie Karten, Heat Maps oder Tree Maps. Auch sollte man sich mit entsprechenden Tools zur Visualisierung auseinandersetzen, zum Beispiel tableau oder dygraphs.

Tätigkeitsbereich des Unternehmens
Hier geht es weniger um konkrete Skills, die man nach einer Liste abarbeiten kann, sondern um den Blick über den Tellerrand. Data Scientists müssen wissen und verstehen, um was es im Big Data Projekt überhaupt geht. Hier helfen die Mitarbeiter der Fachbereiche: Was versprechen sich die Mitarbeiter eigentlich von einer Big Data Lösung? Was sagen die erhobenen Daten aus und wie können sie bewertet werden? Welche Kennzahlen werden zur Evaluierung herangezogen?

Soft Skills Data Scientists

• ausgeprägte Kommunikationsfähigkeiten um die Ergebnisse zu vermitteln,
• einen langen Atem, viel Gespür für Zusammenhänge und Lernfähigkeit bzw. Neugierde, denn in kaum einem anderen Bereich gibt es so viele neue technische Entwicklungen wie rund um das Sammeln und Auswerten von Daten. Sorgten in den zurückliegenden Jahren Themen wie Hadoop, Data Lakes und In-memory-Computing für Schlagzeilen, ist es aktuell die Künstliche Intelligenz (KI), die rund um Big Data, Smart Data und Analytics für Furore sorgt.

Fünf Typen von Data Scientiests

1. Business Developer entwickeln u. a. erste Fragestellungen.
2. Data Analysts bewerten die Aussagekraft der Daten.
3. Data Manager optimieren die Qualität der Daten.
4. Application Developer setzten die Plattform auf, auf der die Daten integriert und die Anwendungen entwickelt und installiert werden.
5. Security Manager setzten den Datenschutz organisatorisch und technisch um.