Bottrafik: Så mycket av din trafik är spam

Katja Shershneva

När du optimerar din webbplats, vill du basera dina beslut på korrekt data*. Spikar i din trafik är inte alltid ett resultat av bra arbete… Gömd i din data ligger spamtrafik som skadar din analys och leder till dåliga CRO-beslut.

*Korrekt data = data genererat av riktiga användare som besöker din webbplats eller app.

År 2015 stod 52% av trafiken på en genomsnittlig webbplats för riktiga användare, och var därmed första året bottrafiken inte var störst (se längre ner hur den varierar beroende på sajtens storlek). Trots det är andelen bottrafik (48%) fortfarande jättestor. Det här inlägget beskriver effekterna av bottrafiken i din analytics-data samt hur du kan göra din data renare.

Du förtjänar att ta beslut baserade på observerat användarbeteende.
Och du förtjänar att bevisa dina hypoteser på riktiga användare.

Vad är bottrafik?

Bad Bot SpammerInnan vi går in på hur du kan filtrera bort bad bots från din trafik, är det viktigt att förstå vad bots är.

En bot är ett datorprogram som utför automatiska uppgifter. En bot kan automatiskt utföra upprepade operationer på Internet med väsentligt högre hastighet än en människa. Exempel på monotona arbetsuppgifter inkluderar webbcrawling eller datainsamling.

Bots kan då bli uppdelade i bra och dåliga (bad bots).

Bra bots hjälper deras ägare med automatiserade uppgifter som datainsamling. Sådana bots kan, till exempel, vara:

  • Sökmotor-bots som läser in innehållet på din webbplats för indexering (web spidering eller webbcrawling)
  • Mediabots som ger uppdateringar på valutakurser, väder, sport och så vidare.

Bad bots å andra sidan används för att skada din sajt, till exempel genom att:

  • Skicka spam
  • Söka och utnyttja webbplatsens sårbarhet
  • Stjäla innehåll och information
  • DDoS attacker (försök till att ta ner din server helt genom att överbeslasta den)

Traffic breakdown by visitor typeKälla: Incapsula 2015 Bot Traffic Report

Det finns två huvudtyper av bad bottrafik som du kan hitta i dina Google Analytics-rapporter.

Zombie spam bots

Zombie spam bots genomsöker webben och besöker webbplatser där de kör Google Analytics-skriptet. Med varje hit skickar dessa robotar falska från-adresser (referrer) som innehåller webbadressen som de vill främja.

Denna typ av trafik visas både i Google Analytics och i dina serverloggar, vilket betyder att du kan blockera zombie spam bots från serversidan också.

Ghost referrer spam

I motsats till zombie spam bots, besöker ghost referrer spam bots faktiskt inte din webbplats. Istället ansluter de till Google Analytics servrar direkt genom Measurement protocol (mätprotokoll) med ditt Google Analytics property-ID. Ghost referrer spam syns i Google Analytics-rapporterna, men inte i serverloggar.

Spammare kan få tillgång till ditt property-ID på två sätt:

  • Genom att avläsa IDn från besökta sidor om Google Analytics-spårningskoden är hårdkodad på webbplatsen, eller
  • Genom att attackera slumpmässiga property-IDn. I de fallen vet spammaren inte vilken webbplats som tillhör respektive property ID, vilket gör att ghost spam bots får bedragande hostnames och page titles i dina analytics-rapporter.

Eftersom ghost referral-trafik inte syns i dina serverloggar, kan du bara blockera denna typ av spam Google Analytics.

Varför ska jag filtrera bort bottrafik?

Kontentan: Den påverkar din data och kommer att ändra ”sanningen” om dina användare. Vilket betyder att den data du ser i ditt analysverktyg inte återspeglar beteendet av riktiga användare.

Bottrafik kan förstöra dina viktigaste KPIer, såsom antal av sessioner, engagemang- och konverteringsgrad. Om du inte filtrerar bort bad bottrafik kommer du att se en drastisk ökning i din trafik, högre bounce rate, kortare besökstider och lägre konverteringsgrad.

Genom att lita på ofiltrerad data, kommer du fatta dåliga beslut för ditt företag.

Ett annat problem med bottrafiken är att den ökar belastningen på dina servrar. En överbelastad server i sin tur innebär längre sidladdningstider för besökare på din webbplats vilket påverkar användarupplevelsen negativt.

Hur kan ens bots påverka min data till att börja med?

Fler och fler bots kör JavaScript på din webbplats och därmed visas dom som hits i GA. Det är primärt den typen av trafik du vill filtrera bort, eftersom den uppfattas som ”användare”.

Robotar som används av de flesta sökmotorer (och även av vissa bad bots), kommer inte att dyka upp i Google Analytics-rapporterna eftersom de inte kör JavaScript på din webbplats. Dessa hits kommer bara att dyka upp i dina serverloggar och har ingen effekt på din analysdata.

1/3 av din trafik kan vara spam

Bad bot-trafiken har vanligtvis låg kvalitet och kan påverka din aggregerade data negativt. Andelen bottrafik varierar med storleken på webbplatsen; mindre webbplatser får med stor sannolikhet besök av både goda och dåliga bots, i väldigt stor utsträckning. Men, även större webbplatser som ofta har högre säkerhet och trafikfiltrering kan ha nästan en tredjedel av den totala trafiken från robotar med dåliga avsikter.

Bad bot-trafik har större påverkan på analysdata för små och medelstora webbplatser – bad bots besöker små och medelstora webbplatser minst lika ofta som människor gör (se bilden nedan).

bottrafik andelKällan: Imperva Incapsula 2015 Bot Traffic Report

Hur upptäcker jag bottrafik i Google Analytics?

Det finns flera rapporter i Google Analytics (vi nämner dem senare) där du bör leta efter en kombination av egenskaper som kan hjälpa dig att identifiera bottrafik:

  • Avvikande låg genomsnittlig sessionslängd
  • Page depth i snitt en till två sidor per session
  • Nästan 100% (eller 0%) bounce rate
  • Andelen nya sessioner ligger nära 100% eller 0%
  • Inga konverteringar eller e-handelstransaktioner för specifik trafiktyp
  • Vissa referrers med namn som ser avvikande/ misstänksamma ut

Om du har fått referrer-trafik från en webbplats som du inte känner igen eller inte förvänta sig att få trafik från, besök inte den webbplatsen. Istället: gör en snabb googling för att se om du kan lita på källan. Annars är risken att du för mer trafik till spammarens webbplats och, i värsta fall, riskerar du att få ett virus på din dator.

identifiera bottrafik

Bots blir smartare och mer sofistikerade. Enligt Imperva Incapsulas 2015-2016 Annual Global DDoS Threat Landscape report, är antalet bots som kan kringgå åtminstone en del av säkerhetsstegen rekordhöga 36,6% under första kvartalet 2016. Uppdelat, kunde 18,9% av alla bots ta emot och hålla kakor och 17,7% kunde också parse JavaScript.

DDoS botförmågorKälla: Imperva Incapsula 2015–16 Annual DDoS Threat Landscape Report

Var kan jag hitta bottrafik

Det finns några rapporter i Google Analytics som du bör titta på för att se hur spam påverkar din webbplats data.

Referrals & Source/Medium

De viktigaste rapporter där du kan se referrer-spam är: Referrals rapport och Source/medium rapport. Du kan komma åt dem båda genom att gå till Acquisition > All trafik.

Däremot kan en del av spam-trafiken visas även som falska sidvisningar, events och direkta besök.

Falska sidvisningar

Falska sidvisningar som förekommer i All pages report är webbadresser som inte finns på din webbplats. Istället innehåller dessa sidor webbadresser som spambots vill att du besöka.

spam sidvisningar

Falska events

Du kan också hitta referrer-spam bland event-kategorier (se ett exempelutdrag ur Top Events rapport nedan). Sådana events äger inte rum på din webbplats och är synliga endast i Google Analytics.

spam events

Direkta besök

Vissa spam bots skickar inte referrer-adresser med en hit. Den typen av trafik visas istället som direkttrafik i Google Analytics-rapporterna, vilket gör dem ännu svårare att upptäcka.

Du kan också hitta spår från bots i din Technology report som finns under Audience.

Network report

I Network-rapporten kan du leta efter tjänsteleverantörer som driver in trafik av låg kvalitet. Ett antal Internetleverantörer, såsom Google inc, Microsoft corporation och Inktomi corporation tenderar att generera mycket bottrafik.

Bli inte förvånad om du hittar bottrafik från tjänsteleverantörer som Google och Microsoft. Bots går via deras respektive molnservrar i ett försök att dölja sig bättre.

Browser & OS report

I ”Browser & OS”-rapporten kan du hitta webbläsarversioner som förvränger sin data. Stort antal besök med hög bounce rate som kommer från mycket gamla webbläsarversioner kan vara en indikation på spam-trafik.

Ofta behöver du leta efter en specifik kombination av webbläsare, webbläsarversioner, skärmupplösningar och Internetleverantörer som kommer under vissa tider på dagen, för att identifiera bots.

Hur kan jag filtrera bort bots ur min data

När du har fastställt hur Google Analytics-data påverkas av bad bottrafik, är det dags att ta fram lösningen. Det finns ingen universallösning för att filtrera bort din bot trafik helt och hållet, men du kan i flera olika steg rensa upp din analysdata.

Följande steg innebär att du skapar ett antal filter.

Vi rekommenderar att du testar dessa filter (vilket du alltid göra) i en separat testvy innan du använder dem på din primärdata. Det eftersom att filter är destruktiva. Allt du utesluter kommer att försvinna för alltid. Du bör inte använda filtren i den ofiltrerade vyn heller, eftersom att du alltid vill ha tillgång till rå, omodifierade data (i fall något blir fel bland annat).

1Filtrera bort kända bots

Markera kryssrutan Exclude all hits from known bots and spiders under View settings under fliken Admin.

Filter out Bad BotGoogle introducerade inbyggd bot- och skräppostfiltrering i Google Analytics i juli 2014. Filtret jämför alla inkommande hits på User Agent strings i IAB/ABC International Spiders and Bots List och utesluter alla hits som matchar bots och spindlar på listan från din data. Kostnaden för att se den faktiska listan börjar från $4000 per år, men genom att markera rutan får du använda listan gratis. Listan uppdateras regelbundet och kontinuerligt, och du kan potentiellt se bot- och spindeltrafiken som glider igenom.

Kryssrutan ligger mot botten av View settings-listan. Du måste kryssa rutan för varje vy du vill filtrera bort bots och spiders.

2 Filtrering av ghost bottrafik

  • Eftersom denna typ av spamtrafik inte dyker upp på din server, får du filtrera den genom att skapa ett Hostname filter i Google Analytics. Först måste du identifiera dina giltiga hostnames för din webbplats – För att göra det kan du navigera till Network rapport (Audience > Technology > Network) och välj Hostname som primär dimension.

valid hostname

  • Ange datumintervallet till så långt bak som möjligt
  • I rapporten identifierar du giltiga hostnames som är relaterade till din webbplats. I vårt fall kommer ett exempel på ett giltigt hostname vara ’conversionista.se’. Allt annat, inklusive (not set), är förmodligen spam
  • Skapa ett reguljärt uttryck (Regular Expression/ regex) som omfattar endast domäner du anser vara giltiga. Det räcker med att ange endast rotdomänen och regex kommer att utföra en match på alla underdomäner som standard
  • Under Admin-tabben, välj FiltersView column. Kom ihåg att välja rätt vyer att tillämpa filtret på
  • Lägg till en nytt Custom filter, välj Include och Hostname i Filter-fältet. Tillsätt sedan din regex med giltiga hostnames i Filter Pattern fältet
  • Spara din filter

Kom ihåg att testa i en testvy först.

3 Filtrera zombie spam bots

Filtret med giltiga hostnames kommer inte filtrera bots som sätter hostname till ditt eget, eller faktiskt besöker din webbplats.

bottrafik med riktig hostnamn

Så, du behöver filtrera den typen av besök med en separat Referrer spam-filter. Detta filter är baserat på Campaign Source (kampagnkälla) och en regex som innehåller referrer spam-domäner.

zombie spam filter 1

Att använda Referral i filter-fältet kommer inte alltid att fungera, eftersom vissa spammare ställer in värdet till ”Campaign source field” istället.

Detta filter kräver ständig uppdatering eftersom att fler referral spam bots kan upptäcktas. Du kan också behöva skapa fler än ett referral-filter eftersom Filter Pattern-fältet har en gräns för antal tecken. Var försiktig med dina uttryck och testa alltid dina filter, eftersom de utesluter all trafik som matchar mönstret.

Ett bra botfilter-tips: Använd också Spam Filter Insertion Tool som Simo Ahava har skapat för att utesluta referrer spam bots.

En mer detaljerad beskrivning av detta verktyg finns här.

4 Filtrering av Tjänsteleverantörer (Service Providers)

Om du har identifierat särskilda tjänsteleverantörer som skickar spamtrafik, kan du skapa ett filter som exkluderar också dem från din data. Ett sådant filter bör utesluta ISP-organisationer som matchar ett regex-mönster med de spam-tjänsteleverantörer du har identifierat i din GA Network-rapport.

ISP bots filter

5 Skapa ett avancerat segment

Eftersom filter inte kan tillämpas retroaktivt, bör du använda ett anpassade segment för att analysera historisk data. Det anpassade segmentet ska kombinera Hostname, referrer spam och alla andra spamuteslutande filter du skapade under de tidigare stegen.

OBS: Tänk på följande:

Använd inte ”Referral Exclusion List”

Som standard genererar en referrer automatiskt en ny session. Referral exclusions förhindrar trafik som kommer till din webbplats från den filtrerade referrer-källan från att starta en ny session

Vanligaste användningsområdena för referral exclusion lists inkluderar tredje-parts betalningsprocessorer och ”cross subdomain”-spårning. När du får ett besök av en spam referrer som finns i referral exclusion list, kommer Google fortfarande rapportera ett besök men ta bort referrer-information i processen. Eftersom referrer-källan ignoreras i detta fall, kommer dessa besök att markeras som direkttrafik istället. Så även om din spam referrer-trafik har försvunnit, kommer du fortfarande se felaktiga (missvisnade) uppgifter i dina GA rapporter.

Tekniska lösningar på serversidan kommer inte att filtrera alla bots

Användningen av .htaccess regler eller WordPress plugins kommer inte att eliminera någon ghost referrer. Eftersom ghost bottrafik inte interagerar med servern kommer tekniska lösningar på serversidan inte göra din analysdata renare.

Analysera korrekt data och Stay converting! Och ställ alltid de frågor du har (nedan).

Läs även

Conversionista is open for business in The Netherlands.
Conversionista is open for business in The Netherlands. Read more.