Python 🐍:
Tag: big data
The terrifying, hidden reality of Ridiculously Complicated Algorithms
Leseempfehlung: Ein Journalist spricht mit einem anonymen Big Data Engineer/Analyst über die Komplexität von Algorithmen. Wie erschreckend die Abhängigkeit von undurchschaubaren Komponenten geworden ist gegenüber dem Einfluss den Maschinen damit auf unser Leben haben.
Man kann das auch als Laie verstehen, wie ich meine, selbst mein Verständnis von Big Data reicht nur so weit als das als realistisch einzuschätzen.
‘I’ll lose my job if anyone knows about this.”There was a long silence which I didn’t dare to break. I had begged to make this meeting happen. And now the person I had long been trying to meet leaned towards me. “Someone is going to go through your book line by line,” he said, “to try to work out who I am.”He’d been a talented researcher, an academic, until his friend started a small technology company. He had joined the company and helped it to grow. It eventually became so big that the company had been acquired by one of the tech giants. And so, then, was he.He was now paid a fortune to help design the algorithms that were central to what the tech giant did. And he had signed solemn legal documents prohibiting him from speaking to me, or to anyone, about his work. But as the…
Source: The terrifying, hidden reality of Ridiculously Complicated Algorithms
Economics Has a Math Problem
The field begins to look like others that rely on data.
This is a discussion I had more than a decade back with economy students, as a student of computer science. The argument was much the same and nothing much has changed in the meantime. The difference is more data is available today and can be used much easier, though, which is to Noah Smiths argument.
Not so big data.
Chris Stucchio hat einen interessanten Punkt bzgl. Big Data. Nämlich, dass Big Data heißt gar nicht Big ist. Nur weil Excel einen Datensatz nicht öffnen kann, heisst das nicht automatisch, dass Big Data Tools – in seinem Aufsatz Hadoop – notwendig sind. Gigabyteweise Daten lassen sich auch anders verarbeiten. Moderne Hardware hat nicht selten mehrere GB an Hauptspeicher. Die Geräte bei Mediamarkt waren vergangenen Samstag alleine mit mindestens 8Gb ausgestattet. Das heisst natürlich nicht, dass Hadoop oder vergleichbare Tools gar keinen Anwendungsfall hätten, aber die Use-Cases sind vielleicht anders gelagert, als man auf den ersten Gedanken annimmt.
Quelle: Dont use Hadoop – your data isnt that big – Chris Stucchio
Data and Goliath
Data and Goliath: The Hidden Battles to Collect Your Data and Control Your World
Bruce Schneier wrote a book about Big Data, mass surveilance and the Internet of Things. Schneier talks about how this effects society and what to do about the increasing datarization of everything we’re doing.
Why monitoring is hard
(and why your vendor will only sell you tools, not solutions)
Intro
Monitoring infrastructure in a meaningful way is important to any IT operations, yet it is hard to realize. Many vendors adress this problem and promise a silver bullet.
Big Data & das Ende der Privatsphäre?
Big Data ist ein Begriff der in der Techwelt erst einmal einen Haufen Daten beschreibt, der mit herkömmlichen Datenbanken nicht mehr ohne weiteres in den Griff zu bekommen ist. In einem größeren Zusammenhang hat Big Data aber noch ganz andere Konsequenzen. Simone Janson setzt das alles in Ihrem Blog in Zusammenhang.
Studie zeigt, wie Unternehmen Daten sammeln & auswerten können: Big Data & das Ende der Privatsphäre?
Atmosphere On Tour
R zur Visualisierung von Social Media Analysen
R ist ja das Open-Source Statistik-Paket schlechthin. Auch zur graphischen Aufbereitung komplexer Zusammenhänge von Daten ist die Software bestens geeignet. “Realtime” und “Web” sind allerdings zwei Attribute, die in der Regel nicht mit R genannt werden. Der Twitter-Monitor, der hier als Beispiel für BigData Analyse angeführt wird, tut es trotzdem:
Try Redis instead
Beschreibung, wie man Redis statt memcached in django verwendet.
Try Redis instead /via unfoldthat.com.