Tag Archive: sed

Wörter in Dateien ersetzen: rpl anstatt sed

Kleiner Tipp für alle, die für sed keine Zeit oder eine andere Ausrede haben: rpl.
Der pythonische Helfer für nicht allzu tägliche Aufgaben, ersetzt Wörter oder Wortteile in Dateien.

Bevor zu Mistgabeln gegriffen wird: Nein, sed ersetzt es nicht. Bei weitem nicht.
Es kommt aber ohne RegEx aus.

Für zwischendurch ein super Helfer. Ein bischen RegEx oder die sed Basics sollten dennoch bekannt sein.
Dabei fallen die mahnenden Blicke durchaus in die eigene Richtung.
Weiterlesen

„Mother Of All Ad-Blocking“

Im XDA-Forum gibt es die „Mother Of All Ad-Blocking“ für Android-Geräte. Hierbei wird eine individuelle „hosts“-Datei installiert und so Werbung blockiert.
Ob für den lokalen DNS-Server, den Desktop oder das Smartphone: Werbung blockieren tut in der heutigen Zeit immer gut, denn es spart Bandbreite und, ganz wichtig, schont die Nerven.

Changelog

  • 16.01.2014 – Cronjob ersetzt, da vorher nicht auf allen Debian/Ubuntu-Varianten gleichermaßen funktionsfähig

Die angebotene Liste ist eine große Zusammenfassung aus verschiedenen Quellen, weshalb ich sie lokal auf einem DNS-Server installieren möchte. Als Nameserver-Forwarder benutze ich „dnsmasq“, welcher, sofern nicht anders konfiguriert, die Einträge aus der „hosts“-Datei respektiert (=kein „no-hosts“ in der Konfiguration).
Der Download erfolgt via „http://adblock.mahakala.is“. Mit „wget“ und „curl“ funktioniert der Download nicht direkt, weshalb „Mozilla/5.0“ als User-Agent gesetzt wird. Außerdem hat die Liste eine eigene Kopfzeile, die weg geschnitten werden muss:

# AD BLOCKING by: Jake Thomas
# Last Update on: 07 January 2014
# Domain Block Count: 339285
# contact me on XDA: http://forum.xda-developers.com/member.php?u=4877037
# Copyright (c) 2007-2014, Jake Thomas (BSDgeek_Jake) (thomasj-gnugpl@usa.net)

# DEFAULT
127.0.0.1 localhost
127.0.0.1 localhost.localdomain
255.255.255.255 broadcasthost
127.0.0.1 android

Vorhandene/Eigene Einträge möchte ich zudem beibehalten. Der Einfachheit halber verwende ich „curl“ für den Download, dieses kann vorab installiert werden. Für Debian und Derivate:

sudo apt-get install curl

Der Befehl, um die Liste einmalig anzuhängen (als root):

curl -s -A "Mozilla/5.0" http://adblock.mahakala.is | \
sed -e '1,/android/d' >> /etc/hosts

Zum aktualisieren der Liste (ebenfalls als root):
ACHTUNG: Das Aktualisieren funktioniert nur, wenn die Liste bereits einmal angehängt wurde, da „sed“ nach „BLOCKING STARTS“ sucht.

sed -n "/BLOCKING STARTS/q;p" /etc/hosts >> /etc/hosts.new && curl -s -A "Mozilla/5.0" http://adblock.mahakala.is | sed -e "1,/android/d" >> /etc/hosts.new && mv /etc/hosts.new /etc/hosts && sed -i '/^$/d' /etc/hosts

Und als Cronjob jeden Tag aktualisieren:

sudo crontab -e

Einfügen:

0 0 */1 * * PATH=/usr/bin:/bin sed -n "/BLOCKING STARTS/q;p" /etc/hosts >> /etc/hosts.new && curl -s -A "Mozilla/5.0" http://adblock.mahakala.is | sed -e "1,/android/d" >> /etc/hosts.new && mv /etc/hosts.new /etc/hosts && sed -i '/^$/d' /etc/hosts

Das schöne ist, dass zusätzlich viel In-App Werbung blockiert wird, wenn das Smartphone im WLAN des eigenen DNS-Servers steht. Aber auch so, auf dem Desktop, ist es eine sehr umfangreiche Liste.

Optional: Alternative als dnsmasq-Konfigurationsdatei

Via „yoyo.org“ ist es möglich, eine etwas weniger umfangreiche, dennoch starke Liste, komplett im Konfigurations-Format des „dnsmasq“ herunterzuladen.
Einmalig herunterladen und aktivieren:

sudo wget -O /etc/dnsmasq.d/adblock.conf "http://pgl.yoyo.org/adservers/serverlist.php?hostformat=dnsmasq&showintro=0&mimetype=plaintext" && sudo service dnsmasq restart

Als Cronjob jeden Tag aktualisieren:

sudo crontab -e

Einfügen:

0 0 */1 * * wget -O /etc/dnsmasq.d/adblock.conf "http://pgl.yoyo.org/adservers/serverlist.php?hostformat=dnsmasq&showintro=0&mimetype=plaintext" && service dnsmasq restart

Anmerkung: Ich fühle mich verpflichtet zu sagen, dass Entwickler guter Software immer unterstützt werden sollten. Wer keine Werbung will, der kauft die „Pro/Ultra/Sonstwas“-Version von XY.
Leider gibt es auch dubiose Entwickler, die trotz Bezahlung noch vereinzelt Werbung einblenden, wofür ich kein Verständnis habe.