Bauforum-Logo

Offenes Forum Bauingenieurwesen

log in | registrieren

zurück zum Forum
  Mix-Ansicht

Webserver-Logdateiauswertung mit Python (Software)

verfasst von Martin Vogel Homepage E-Mail, Dortmund / Bochum, 25.02.2015, 15:19 Uhr

Ich wollte sehen, wie Python sich als „langsame Interpretersprache“ schlägt, wenn es mal so richtig lange Dateien mit Millionen von Zeilen verarbeiten muss. Als Testobjekt mussten die (anonymisierten) Logdateien des Bauforum-Servers herhalten. Pro Jahr sind das so etwa acht bis 10 Gigabyte Textdateien. Das Python-Skript sollte die Dateien durchlesen und zählen, wie oft in welchem Monat mit welchem Betriebssystem auf die Webseiten zugegriffen wurde. Das Ergebnis hätte dann so ähnlich wie diese Auswertung aussehen sollen.

Der Programmlauf enthüllte eine Überraschung. Die Verarbeitungsgeschwindigkeit wurde allein durch die Lesegeschwindigkeit der USB-2.0-Festplatte begrenzt. Das Pythonskript analysierte pro Sekunde zwischen 150000 und 200000 Zeilen der Logdatei und die Platte lieferte die Daten dazu mit 35 bis 39 Megabyte pro Sekunde. Schneller geht auch ein reiner Kopiervorgang mit der USB-Festplatte nicht.

Die grafische Auswertung (ganz profan mit einer Tabellenkalkulation) zeigte, dass die Vermutung damals offensichtlich zutreffend war, dass die Ära der PCs ihren Höhepunkt überschritten hat. PCs werden wieder zu den Büro-Arbeitsgeräten, die sie vor dem Internet-Boom waren. Für Unterhaltung und Kommunikation eignen sich mobile Geräte und großformatige Fernseher besser als PC-Bildschirme.

[image]
Hohe Auflösung: Bild anklicken

--
Dipl.-Ing. Martin Vogel
Leiter des Bauforums

Heute schon programmiert? Einführung in Python 3 (PDF)

antworten
 



gesamter Thread:

zurück zum Forum
  Mix-Ansicht
Offenes Forum Bauingenieurwesen | Kontakt | Impressum
8411 Postings in 3999 Threads, 1063 registrierte User, 30 User online (0 reg., 30 Gäste)
powered by my little forum  RSS-Feed  ^
map | new