Warum Thüringen ein Dorf ist

bash$ WP='https://de.wikipedia.org/wiki'

bash$ wget -qO- $WP/Dresden | grep -A1 '>Einwohner:<' | grep -Eo '[0-9\.]+ '
530.754 

bash$ i=0 ; for CITY in Erfurt Jena Gera Weimar Suhl Apolda
> do
> i=$(bc <<< "$i + $(wget -qO- $WP/$CITY | grep -A1 '>Einwohner:<' | grep -Eo '[0-9\.]+ ')")
> done ; echo $i
528.254

Fuck You 1&1 - ich hab 'n Proxy

Am Dienstag Abend lief auf arte die Doku Terrorgefahr! Überwachung total? und wer das verpasst hat denkt sich „hey … gibt doch Arte+7, das zieh ich mir über die Mediathek rein, schließlich hab ich Zwangsgebühren bezahlt“. So wollte ich das auch machen, aber es stellt sich raus, die Mediathek von Arte performed nicht. Das Video ruckelt und hört nicht auf zu buffern. „Warum ist das so? Alle anderne Verbindungen ins Web laufen flüssig.“

Zunächst muss mal der Deep Link der 720p-Version des Videos her:

bash$ ARTE_URL='http://www.arte.tv/guide/de/049883-000/terrorgefahr-ueberwachung-total'
bash$ ARTE_URL=$(wget -qO- $ARTE_URL | grep PLUS7.*json | uniq | grep -o http.*json)
bash$ ARTE_URL=$(wget -qO- $ARTE_URL | grep -o '720p[^{]*Dt. Version' | grep -o http.*mp4)
bash$ echo $ARTE_URL
http://artestras.vo.llnwd.net/v2/am/HBBTV/049883-000-A_SQ_1_VA-STA_01736529_MP4-2200_AMM-HBBTV.mp4

Der Download sieht dann so aus (wobei der nach 1 min. Laufzeit manuell abgebrochen wurde):

bash$ time wget -q $ARTE_URL
^C
real	1m1.280s
user	0m0.038s
sys	0m0.119s

bash$ du -k 0*
1532	049883-000-A_SQ_1_VA-STA_01736529_MP4-2200_AMM-HBBTV.mp4

bash$ bc <<< "1532 / 60"
25

WTF? Wir sprechen hier von verdammten 25 KB/s bei 16er DSL von 1&1.
Wer oder was ist überhaupt llnwd.net?

bash$ dig artestras.vo.llnwd.net +short
87.248.217.253
87.248.217.254

bash$ whois llnwd.net | grep Reg.*Orga
Registrant Organization: Limelight Networks

Sieh an: Limelight Networks ist ein amerikanisches CDN mit Sitz in Arizona und zu dessen Kundenkreis zählt neben der ARD u.a. Facebook, Netflix, PornHub… Alles was gewaltig Traffic erzeugt scheint gern in dem Laden einzukaufen. Und jetzt wirds interessant, denn beim umgehenden Download auf den gleichen Deep Link von meinem vServer (in einem RZ irgendwo in Deutschland, außerhalb des Telefonica-Imperiums) gehen die 1,7 GB in unter 45 Sekunden durch die Leitung (round about 37 MB/s!):

bash$ time wget -q $ARTE_URL

real	0m44.486s
user	0m1.170s
sys	0m12.210s

bash$ du -h 0*
1,7G	049883-000-A_SQ_1_VA-STA_01736529_MP4-2200_AMM-HBBTV.mp4

Und die Kopie vom vServer auf meinen Client läuft FullSpeed, was wiederum bedeutet, dass das Problem zwischen Telefonica und Limelight zu suchen ist, worauf auch der massive Paket Loss hindeutet:

bash$ scp vserver:~/049883-000-A_SQ_1_VA-STA_01736529_MP4-2200_AMM-HBBTV.mp4 .
049883-000-A_SQ_1_VA-STA_01736529_MP4-2200_AMM-HBBTV.mp4     100% 1666MB   1.6MB/s   17:43

bash$ mtr -c10 -r -w 87.248.217.253 | tail -4
  3.|-- po20.01.xmwc.99.erf.de.net.telefonica.de  0.0%    10   26.7  28.3  26.5  33.8   2.3
  4.|-- ???                                      100.0    10    0.0   0.0   0.0   0.0   0.0
  5.|-- ve5.fr3.frf.llnw.net                      0.0%    10   41.3  44.2  41.3  53.7   3.5
  6.|-- cdn-87-248-217-253.frf.llnw.net          20.0%    10   57.5  56.2  42.1  76.3  13.0

Das würde bedeuten, wenn ich den Traffic von meinem Client über den vServer umleite müsste es erheblich schneller gehen, richtig? Nun, ich hab einen TinyProxy auf meinem vServer laufen, also nutzen wir den doch mal:

bash$ http_proxy='<ip>:<port>'    # anonymized because of reasons

bash$ time wget -q $ARTE_URL

real	17m20.563s
user	0m6.795s
sys	0m53.241s

bash$ du -h 0*
1,7G	049883-000-A_SQ_1_VA-STA_01736529_MP4-2200_AMM-HBBTV.mp4

Verblüffend. 1&1/Telefonica drosseln offensichtlich (zumindest teilweise aber reproduzierbar) den von Limelight kommenden Traffic, solange sie ihn als solchen erkennen. Warum macht da eine öffentlich zwangsfinanzierte Rundfunkanstalt mit, deren Angebot für einen großen Teil der Bürger so nicht mehr benutzbar ist? Mir ist's wurscht, ich hab 'nen Proxy… allerdings hab ich bei der ganzen Geschichte bemerkt, dass die Schwuppdizität bei Google Maps und YouTube mit Proxy besser ist als ohne. Ich ahne 1&1/Telefonica drosselt auch Google (die werden es wahrscheinlich QoS nennen), will das aber nicht erforschen denn ich hab Angst vor dem Ergebnis.

Einen FunFact hab ich noch. Der Zielserver weist zwar eine italienische IP im nirgendwo aus, der Datenstrom läuft hingegen über die USA (genauer gesagt Tempe bei Phoenix, Arizona) solange Telefonica im Spiel ist, was hervorragend zum Thema des Videos passt um welches es hier initial eigentlich mal ging.

Der Trace vom vServer:

bash$ mtr -n -c1 -r 87.248.217.253 | grep -Eo '[0-9]{2}[0-9\.]*' | while read IP
> do
> wget -qO- ipinfo.io/$IP | grep -o '"[^"]*",' | paste - - - - | awk -F'"' '{print $6" "$8"\t"$4}'
> done
DE 51.0000,9.0000       No Hostname
DE 51.0000,9.0000       No Hostname
DE 51.0000,9.0000       10g.rt2ipc1.ka.telemaxx.net
DE 51.0000,9.0000       10g.rt2ipc3.ka.telemaxx.net
DE 51.0000,9.0000       10g.rt1ipc3.ka.telemaxx.net
DE 51.0000,9.0000       10g.rt1cix.fra.telemaxx.net
EU 47.0000,8.0000       ffm-b12-link.telia.net
EU 47.0000,8.0000       limelight-ic-138917-ffm-b12.c.telia.net
IT 42.8333,12.8333      cdn-87-248-217-253.frf.llnw.net

der Trace vom localhost:

bash$ mtr -n -c1 -r 87.248.217.253 | grep -v 192\. | grep -Eo '[0-9]{2}[0-9\.]*' | while read IP
> do
> wget -qO- ipinfo.io/$IP | grep "host\|count\|loc" | paste - - - | awk -F'"' '{print $8" "$12"\t"$4}'
> done
DE 51.0000,9.0000       rdsl-erft-de80.nw.mediaways.net
DE 51.0000,9.0000       po20.02.xmwc.99.erf.de.net.telefonica.de
US 33.4357,-111.9171    ve5.fr3.frf.llnw.net
IT 42.8333,12.8333      cdn-87-248-217-253.frf.llnw.net

Falls jemand bestätigen oder widerlegen will: feel free to comment

Update 27.03.2015:

Weils gut zum Thema passt: Init7 sammelt Belege für Netzneutralitätsverstöße der Deutschen Telekom

r.i.p.

It is often said that before you die your life passes before your eyes. It is in fact true. It's called living.
Terry Pratchett

your argument is invalid

Der iX-Redakteur Moritz Förster behauptet in seinem Kommentar auf heise online, dass eine gesetzlich festgeschriebene Netzneutralität nicht nur dem Markt sondern langfristig auch deiner Mutter schadet. Seine These untermauert er mit den Worten:

Leiste ich mir den Express bei der Post, ist er schneller da. […] Will ich eben weniger ausgeben, muss ich länger warten, bis die Post ankommt […]

Er verkennt da IMHO die Lage. Nehmen wir an seine Behauptung (ein DSL-Anschluss sei tatsächlich eine Straße) träfe zu, sagen wir mal 50 MBit/s ist besonders breit, also eine dreispurige (Daten-)Autobahn: in unserer Gesellschaft ist es üblich, dass sowohl Bürger als auch Unternehmen Maut und/oder Steuern bezahlen und damit die Nutzung dieser 3 Spuren (unter Berücksichtigung der StVO) nach jeweiligem Gutdünken gestalten können. Würde diese Spurneutralität aufgehoben hieße das, dass für die Überholmöglichkeiten, welche durch mittlere und linke Spur angeboten werden, selbstverständlich höhere Abgaben zu entrichten wären: Wer mehr bezahlt dürfte mehr Spuren nutzen und u.U. auch schneller fahren.
Bei Netzneutralität geht es nicht darum ob ich mit 2 MBit/s (schmale Straße) oder 50 MBit/s (breite Straße) angebunden werde. Es geht darum ob der Datenstrom durch die von mir gebuchte Leitung gleich behandelt wird oder nicht. Darf der Traffic eines kostenfreien Vimeo genauso schnell sein wie der eines kostenpflichtigen Maxdome? Kann sich ein „neues Vimeo“ ohne Kapital überhaupt ruckelfrei am Markt etablieren, wenn der finanzkräftige Platzhirsch bereits alle Backbones im Web quasi exklusiv mit Traffic blockiert? Sind dessen Datenpakete „wichtiger“ als eMails und welche eMail ist eigentlich die wichtigste aller eMails? Sind die Suchergebnisse von Google, DuckDuckGo und Yandex gleichschnell auszuliefern oder können sich Monopolisten gegenüber Zwergen entscheidende Marktvorteile erkaufen? Ein schier unüberblickbare Komplexität entstünde bei tausenden unterschiedlicher Anbieter, Vertragspartner, Dienste, Protokolle und deren 1:n-Kundenbeziehungen. Bislang ist die gelebte technologische Praxis im Web „first come, first serve“: die Pakete die zuerst angefragt wurden werden in aller Regel auch zuerst ausgeliefert. Also teilen sich alle Beteiligten die verfügbaren Straßen gleichermaßen, blaue Auto's dürfen genauso schnell fahren wie rote und falls ein LKW einen klapprigen Bulli überholen möchte, dann tut er das ohne extra dafür bezahlen zu müssen, auch wenn er damit ggf zeitweise einen PKW ausbremst. Der angesprochene Express-Bote liefert meine Sendung nicht schneller weil er Privilegien bei der Straßennutzung hat, sondern weil er sich auf einen reduzierten Kundenkreis konzentriert und seine Logistik gezielt ausrichtet. Försters Gleichnis trifft hier also nicht ansatzweise zu.

Im Übrigen lösen Premium-Dienste auch nicht das Problem grundsätzlich unterdimensionierter Infrastruktur. Wenn alle Verkehrsteilnehmer das Gold-Paket erwerben um alle drei Spuren nutzen zu dürfen, stehen sie trotzdem im Stau wenn soviele Teilnehmer unterwegs sind, dass selbst vier Spuren nicht reichen. Was Förster hier fordert ist also nicht weniger als eine Kommerzialisierung des Blaulichts und jeder der sichs leisten kann, darf eins haben. Was für ein Chaos das auf unseren Straßen bewirken würde kann sich wohl jeder vorstellen.

Dass sich bislang der Verzicht auf eine festgelegte Netzneutralität nicht negativ auswirkte ist nicht, wie er behauptet, „merkwürdig“, sondern schlicht dem Umstand geschuldet, dass sich „Premium-Dienste“ einzelner Services glücklicherweise noch(!) nicht flächendeckend durchgesetzt haben.

Das Ende einer Ära

Ich nutze privat ein T61 und im Office ein T440s. Mit beiden Notebooks bin ich wirklich, wirklich, wirklich mehr als zufrieden, beeindruckende Hardware. Alles drin und dran, robust, performant, ausdauernd, kompakt. Doch eins zeichnete sich bei diesem Generationsverlauf bereits ab: konnte man am T61 noch schrauben wie ein Blöder (Stichwort “Frankenpad“), reduzierten sich die möglichen Eingriffe mit jeder nachfolgenden Thinkpad-Generation gradatim. Die Thinkpads von heute sind bei weitem nicht mehr die Thinkpads von gestern, keine Frage. Dennoch bekommt man nach wie vor solide Hardware, sofern Geld keine Rolle spielt und man gewillt ist abstruse Mondpreise zu zahlen.

Vor gut 10 Jahren verkaufte IBM die PC-Sparte an den chinesischen Hersteller Lenovo. Das bestreben der Kommunisten nach Zensur und Regulierung in puncto Meinungsfreiheit waren bereits damals weitgehend bekannt, dass dunkle Wolken am Horizont aufziehen würden nur eine Frage der Zeit…

damals/heute

8. Februar: Auf Initiative des preußischen Vertreters im Bundestag, Otto von Bismarck, wird in der Krim-Krieg-Frage nicht etwa Mobilmachung gegen Russland, sondern bewaffnete Neutralität beschlossen.
Source: https://de.wikipedia.org/wiki/1855#Krimkrieg

Klingt nicht viel anders als heute, ist aber 160 Jahre her.
Geht noch weiter:

Während Russland allein einer Allianz aus Frankreich, Großbritannien, Italien (Sardinien) und dem Osmanischen Reich gegenüberstand, erklärten 1855 Preußen, Schweden und Dänemark erneut „bewaffnete Neutralität“ zum Schutze ihres Handels mit Russland und nahmen somit faktisch eine Russland wohlwollende Haltung ein. Das Einlaufen britischer Kriegsschiffe in die Ostsee und den Beschuss russischer Häfen verhinderten sie jedoch nicht.
Source: https://de.wikipedia.org/wiki/Bewaffnete_Neutralit%C3%A4t

Zur gleichen Zeit sah der Alltag in Amerika übrigens so aus:

nur um's mal festzuhalten...

Die Cops sind ja regelmäßig darum bemüht uns allen klar zu machen, was für Verbrecher wir eigentlich sind und dass, wenn man's genau nimmt, niemand von uns frei rumlaufen dürfte. Wir alle sind ein Sicherheitsrisiko für die öffentliche Ordnung, aus diesem Grund brauchen wir ganz viel Videoüberwachung, ein Verschlüsselungsverbot und die Vorratsdatenspeicherung. Um zu untermauern wie richtig sie liegen werden in Freiburg Verkehrskontrollen mit vorgehaltenen Maschinenpistolen durchgeführt und das gesamte Ruhrgebiet zur Gefahrenzone erklärt:

Was aber hat der Januar auf der Gegenseite zu bieten? Wir werden uns fragen müssen, ob wir mit der Auswahl unserer Cops grundsätzlich zufrieden sein können oder den Bewerbungs- und Monitoringprozess des dort eingesetzten Personals überdenken müssen. Solange welche von denen ohne gültigen Fahrausweis Bahn fahren und daraufhin vom Zugbegleitpersonal entfernt werden ist das ja noch amüsant. Aber wenn die Beweissicherung eines Mordes in Dresden unterlassen wird (Beweismittelmanipulation durch Behörden hat dort scheinbar Tradition), ähnlich wie bei den Kollegen der Kripo Erding, stattdessen in Leipzig illegal massenweise Mobiltelefone konfisziert werden und in Erfurt ein Kriminalhauptmeister verknackt wird, weil er Tote und Einbruchsopfer bestahl, deren Guthaben plünderte und obendrein noch gegen das BTMG verstieß, ist man schon den Tränen nah. Und wenn dann noch der 53-jährige ehemalige Leiter der Kemptener Drogenfahndung nicht nur 1,8 kg Kokain für den Eigenbedarf(!) hortet sondern auch noch seine Frau verprügelt, vergewaltigt und nun ganz viele Erinnerungslücken wegen der ganzen Drogen hat, ist's irgendwie vorbei. Das repariert mir niemand mehr…

Update 29.01.2015

Da hab ich den Monat wohl zu früh abgeschlossen, hier gibts noch Nachschlag von den Freunden und Helfern:

stand up, fight back


Except where otherwise noted, content on this blog is licensed under CreativeCommons BY SA 3.0