Für alle Daten, die für Excel zu groß und für Hadoop zu klein sind. Oder um Analysen zu automatisieren, natürlich.
Tag: pandas
-
Not so big data.
Chris Stucchio hat einen interessanten Punkt bzgl. Big Data. Nämlich, dass Big Data heißt gar nicht Big ist. Nur weil Excel einen Datensatz nicht öffnen kann, heisst das nicht automatisch, dass Big Data Tools – in seinem Aufsatz Hadoop – notwendig sind. Gigabyteweise Daten lassen sich auch anders verarbeiten. Moderne Hardware hat nicht selten mehrere GB an Hauptspeicher. Die Geräte bei Mediamarkt waren vergangenen Samstag alleine mit mindestens 8Gb ausgestattet. Das heisst natürlich nicht, dass Hadoop oder vergleichbare Tools gar keinen Anwendungsfall hätten, aber die Use-Cases sind vielleicht anders gelagert, als man auf den ersten Gedanken annimmt.
Quelle: Dont use Hadoop – your data isnt that big – Chris Stucchio