Referrer-Spam: Was kann man dagegen tun?

Philipp Zeder
Autor:

Philipp Zeder

Kategorie:

in

Entwicklung & Performance

Veröffentlicht am 8. Juli 2015

Aktualisiert am 19. März 2024

Wenn du Google Analytics verwendest, um die Besucherzahlen auf deiner Website zu messen – und die Wahrscheinlichkeit ist hoch, dass du das tust – bist du wahrscheinlich schon einmal auf seltsame Einträge wie semalt.com, buttons-for-website.com oder 100dollars-seo.com in der Ansicht „Akquisition > Verweise“ gestossen.

Im ersten Moment denkt man vielleicht: „Oh, toll. Jemand verlinkt auf meine Website“. Doch bei genauerem Hinsehen kommt die Ernüchterung, denn diese Einträge sind oft Teil von Referral-Spam, der deine Analytics-Daten verfälschen kann, indem er Besuche vortäuscht, die in Wirklichkeit nie stattgefunden haben, was die Analyse der tatsächlichen Besucherdaten deiner Website erschwert.

Referrer-Spam ist lästig, lässt sich aber bekämpfen.

Referrer-Spam ist lästig, lässt sich aber bekämpfen.

Wieso gibt es Referrer-Spam?

Du fragst dich vielleicht, warum du in deiner Statistik auftauchst. Die Antwort ist ganz einfach: um Besucher für deine Website zu generieren. Genauer gesagt für die Domain, die in deiner Statistik auftaucht.

Man muss den Linkspammern zugestehen, dass ihr Vorgehen durchaus clever ist. Wer möchte nicht wissen, wer so nett war, einen Link auf die eigene Webseite zu setzen? Dieser fast instinktive Wunsch wird schamlos ausgenutzt, um dich dazu zu bringen, die „verlinkende“ Website genauer unter die Lupe zu nehmen. Ziel erreicht.

Nicht anklicken!

Auch wenn die meisten Verweis-Spam-Domains harmlos aussehen, besteht immer die Gefahr, dass sie Malware verbreiten oder für Phishing-Angriffe missbraucht werden. Seien Sie daher besonders vorsichtig und vermeiden Sie es, unbekannte oder verdächtige Domains direkt in die Adresszeile Ihres Browsers einzugeben. Um auf Nummer sicher zu gehen, empfiehlt es sich, die fragliche Domain zunächst über eine Suchmaschine deines Vertrauens zu recherchieren. Die Suchergebnisse geben oft Aufschluss darüber, ob es sich um Referrer-Spam handelt und ob eine potenzielle Gefahr durch Malware oder Phishing-Attacken besteht. So kannst du in den meisten Fällen erkennen, ob ein Besuch der Seite notwendig oder sicher ist, was einen weiteren Klick in vielen Fällen unnötig macht.

Crawler und Geister

Referrer-Spam ist zwar lästig, richtet aber in der Regel keinen Schaden an. Es ist wichtig, zwischen zwei Hauptarten von Referrer-Spam zu unterscheiden.

Auf der einen Seite gibt es Spam, der durch „echte“ Besuche von sogenannten Crawlern verursacht wird. Diese Crawler besuchen deine Website tatsächlich und hinterlassen Spuren in den Server-Logs.

Auf der anderen Seite gibt es „Ghost-Referrals“, die nicht in den Server-Logs auftauchen, weil die Spammer deine Website gar nicht besuchen. Sie nutzen die Verbreitung von Google Analytics aus und senden Ereignisse an Google Analytics-Properties, indem sie deren ID zufällig und automatisiert auswählen. Dies ist vergleichbar mit Telefonverkäufern, die einen Zufallsgenerator verwenden, um Telefonnummern auszuwählen und Anrufe zu tätigen, mit dem Unterschied, dass die Spammer deine Website nicht tatsächlich „anrufen“ oder besuchen.

Diese Unterscheidung ist wichtig, um wirksame Gegenmassnahmen ergreifen zu können: Während Crawler-basierter Spam durch technische Einstellungen auf dem Server oder durch Filter in der Analytics-Software reduziert werden kann, erfordern Ghost-Referrals spezielle Filter in Google Analytics, die darauf abzielen, den gefälschten Traffic zu ignorieren. Beide Arten von Spam können die Datenqualität beeinträchtigen, daher ist es wichtig, die Filtereinstellungen regelmässig zu überprüfen und anzupassen, um die Auswirkungen auf die Analytics-Daten so gering wie möglich zu halten.

Crawler ausschliessen

Gemäss einer Untersuchung der Agentur Webrepublic wird der grösste Teil an Referrer-Spam durch Crawler verursacht. Dieses Bild zeigt sich auch in unseren Supportanfragen. Crawler lassen sich mit Hilfe von Rewrite-Regeln einfach ausschliessen. Im GitHub-Repo der Open-Source-Analytics-Software Piwik findet sich eine regelmässig aktualisierte Liste mit bekannten Spammer-Domains.

Die folgende Regel in der .htaccess-Datei Ihrer Website schliesst Besuche aus, die von den angegebenen Domains stammen:

RewriteEngine on
RewriteCond %{HTTP_REFERER} 100dollars\-seo\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons\-for\-you\-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} semalt\.com [NC]
RewriteRule .* - [F,L]

Du kannst die Regel beliebig mit weiteren Domains erweitern, die nicht auf deine Website verlinken dürfen. Für beliebte Content-Management-Systeme wie WordPress sind Plugins erhältlich, die diese Arbeit übernehmen.

Was bedeuten die Code-Teile?

  • RewriteEngine on aktiviert die Nutzung der mod_rewrite-Regeln.
  • RewriteCond %{HTTP_REFERER} domain.com [NC,OR] definiert eine Bedingung, bei der der HTTP-Referrer (die Seite, von der der Besucher kommt) geprüft wird. [NC,OR] bedeutet, dass die Überprüfung ohne Berücksichtigung der Gross- und Kleinschreibung (NC für “No Case”) erfolgt und dass diese Bedingung ODER die nächste Bedingung wahr sein kann (OR).
  • RewriteRule .* - [F,L] ist die Regel, die angewendet wird, wenn die Bedingungen erfüllt sind. Sie leitet keinen neuen Ort an, sondern sendet stattdessen einen 403 Forbidden-Fehler (F) und markiert diese Regel als letzte Regel, die in dieser Iteration der RewriteEngine bearbeitet werden soll (L).

Und ja, du kannst die Regel beliebig erweitern, indem du weitere RewriteCond %{HTTP_REFERER} domain.com [NC,OR] Zeilen für jede zusätzliche Domain hinzufügst, die du blockieren möchtest. Achte darauf, dass das letzte [OR] vor der RewriteRule entfernt wird, um Syntaxfehler zu vermeiden.

Diese Methode ist wirksam, um Referrer-Spam von den angegebenen Domains zu blockieren. Beachte jedoch, dass dies nur für tatsächliche Besuche gilt, nicht für Ghost-Referrals, da diese gar nicht wirklich auf deine Seite zugreifen, sondern die Daten direkt an Analytics senden. Daher ist es auch wichtig, andere Methoden zur Bekämpfung von Referrer-Spam, insbesondere für Ghost-Referrals, in Betracht zu ziehen, wie das Einrichten von Filtern in Google Analytics selbst.

Ghost-Referrals ausschliessen

Google Analytics bietet nun eine integrierte Funktion, um bekannten Referrer-Spam aus deinen Ansichten herauszufiltern. Du aktivierst diese Option unter „Verwalten“ in der Spalte „Datenansicht“ im Menü „Datenansichtseinstellungen“, indem du die Option „Alle Treffer von bekannten Bots und Spidern ausschließen“ aktivierst. Diese Funktion war Teil von Universal Analytics, um die Datenqualität durch den automatischen Ausschluss von erkanntem Bot-Traffic zu verbessern.

Bei der Verwendung von Google Analytics 4 (GA4) ist zu beachten, dass sich die Funktionen und die Benutzeroberfläche im Vergleich zu Universal Analytics geändert haben. GA4 setzt verstärkt auf maschinelles Lernen, um die Datenqualität zu optimieren und bietet innovative Methoden, um unerwünschten Traffic auszuschliessen. Obwohl sich die spezifischen Einstellungen unterscheiden können, bleibt das Ziel, die Genauigkeit deiner Analytics-Daten durch den Ausschluss von Bots und Spam-Referrals zu erhöhen, gleich. Es wird empfohlen, sich mit der aktuellen Dokumentation und den Funktionen von GA4 vertraut zu machen, um den bestmöglichen Schutz vor Spam-Referrern und unerwünschtem Bot-Traffic zu gewährleisten.

Die Domains aus der Liste der bekannten Spammer-Domains lassen sich aber auch in Google Analytics nochmals manuell filtern. Google liefert dazu die passenden Anleitung: Verweis-URLs ausschliessen

Die Open-Source-Alternative Piwik filtert Ghost-Referrals seit längerem automatisch.

Die Agentur k-webs aus Basel zeigt einen weiteren Lösungsweg, der sich eine bestimmte Eigenschaft der Ghost-Referrals zunutze macht.

Wird es Referrer-Spam noch lange geben?

Die automatischen Filter in Google Analytics oder Piwik machen Website-Besitzern das Leben einfacher. Wie bei E-Mail-Spam wird es aber auch den Referrer-Spam weiterhin geben, solange Benutzer die «verlinkten» Websites besuchen und damit die Spammer ihr Ziel erreichen.

Kennst du weitere Tipps, wie man unerwünschten Referrals widerstehen kann? Wir freuen uns über deinen Kommentar.

Beteilige dich an der Diskussion

2 Kommentare

k-webs
k-webs 9. Juli 2015 12:01

Vielen Dank für den interessanten Artikel! Wir haben auf unserem Blog einen Artikel zu diesem Thema. Darin beschreiben wir einen Lösungsansatz für Ghost Referrals, der diese auch längerfristig blockt.

Leider genügt es nämlich üblicherweise nicht, bestimmte Domains zu blockieren, da diese sich ständig ändern. Man müsste beinahe täglich neue Spammer eintragen. Wir nutzen die Tatsache aus, dass diese Referrals immer auf / verweisen. Im GA-Code lässt sich die gesendete URI für die Homepage überschreiben (z.B. in “/index.php”). Alle Aufrufe, die nun auf / eingehen können als Spam gefiltert werden, da echte Seitenaufrufe nun /index.php als URI senden.

Vielleicht hilft diese Info ja dem ein oder anderen weiter.

Philipp Zeder
Philipp Zeder cyon
10. Juli 2015 09:19

Jakob, vielen Dank für den Tipp. Ich habe Euren Ansatz noch direkt im Artikel verlinkt.