Filen robots.txt hjälper stora sökmotorer att förstå var de kan komma åt dig på din webbplats.
Men även om alla större sökmotorer stöder robots.txt-filen, kanske inte alla följer reglerna på samma sätt.
Låt oss sedan diskutera vad en robots.txt-fil är och hur du kan använda den.
Vad är en robots.txt-fil?
Varje dag kommer det besök på din webbplats från bots, även kända som robotar eller spindlar. Sökmotorer som Google, Yahoo och Bing skickar dessa bots till din webbplats så att ditt innehåll kan genomsökas och indexeras och visas i sökresultat.
Botar är bra, men det finns vissa fall där du inte vill att boten ska springa runt på din webbplats och genomsöka och indexera allt. Det är där robots.txt-filen kommer in.
Genom att lägga till vissa direktiv i en robots.txt-fil säger du till bots att endast genomsöka de sidor du vill genomsöka.
Det är dock viktigt att förstå att inte alla botar följer reglerna som du skriver i din robots.txt-fil. Google lyssnar till exempel inte på några direktiv du lägger i filen om genomsökningsfrekvens.
Behöver du en robots.txt-fil?
Nej, en robots.txt-fil krävs inte för en webbplats.
Om en bot kommer till din webbplats och du inte har en, kommer den helt enkelt att genomsöka din webbplats och indexera sidor som den normalt skulle göra.
En robot.txt-fil är bara nödvändig om du vill ha mer kontroll över vad som genomsöks.
Några fördelar med att ha en inkluderar:
- Hjälp till att hantera serveröverbelastningar
- Undvik att genomsöka avfall från bots som besöker sidor du inte vill att de ska besöka
- Håll vissa mappar eller underdomäner privata
Kan en robots.txt-fil förhindra innehållsindexering?
Nej, du kan inte förhindra att innehåll indexeras och visas i sökresultat med en robots.txt-fil.
Alla robotar följer inte instruktionerna på samma sätt, så vissa kan indexera innehåll som du har ställt in för att inte genomsökas eller indexeras.
Dessutom, om innehållet du försöker förhindra från att visas i sökresultaten har externa länkar, kommer det också att få sökmotorer att indexera det.
Det enda sättet att säkerställa att ditt innehåll inte indexeras är att lägga till en noindex-metatagg på sidan. Denna kodrad ser ut så här och kommer att gå i html-koden på din sida.
Det är viktigt att notera att om du vill att sökmotorer inte ska indexera en sida måste du tillåta att sidan genomsöks i robots.txt.
Var finns robots.txt-filen?
Filen robots.txt kommer alltid att finnas på rotdomänen på en webbplats. Som ett exempel kan vår egen fil hittas på https://www.hubspot.com/robots.txt.
På de flesta webbplatser bör du kunna komma åt den faktiska filen för redigering via FTP eller genom att komma åt filhanteraren i din värds CPanel.
På vissa CMS-plattformar kan du hitta filen direkt i ditt administrativa område. HubSpot, till exempel, gör det enkelt att anpassa din robots.txt-fil från ditt konto.
Om du använder WordPress kan robots.txt-filen nås i public_html-mappen på din webbplats.
WordPress innehåller som standard en robots.txt-fil med en ny installation som kommer att innehålla följande:
Användaragent: *
Tillåt inte: /wp-admin/
Disallow: /wp-includes/
Ovanstående säger åt alla bots att genomsöka alla delar av webbplatsen, förutom allt under katalogerna /wp-admin/ eller /wp-includes/.
Men du kanske vill skapa en mer robust fil. Vi visar dig hur nedan.
Användning av en Robots.txt-fil
Det kan finnas många anledningar till att du vill anpassa din robots.txt-fil, från att kontrollera din genomsökningsbudget till att blockera delar av en webbplats från att genomsökas och indexeras. Låt oss undersöka några anledningar till att använda en robots.txt-fil nu.
1. Blockera alla spårare
Att blockera alla sökrobotar från att komma åt din webbplats är inget du skulle vilja göra på en livewebbplats, men det är ett utmärkt alternativ för en utvecklingswebbplats. När du blockerar sökrobotar kommer det att förhindra att dina sidor visas i sökmotorer, vilket är bra om dina sidor inte är redo att visas ännu.
2. Tillåt inte att vissa sidor genomsöks
Ett av de vanligaste och mest användbara sätten att använda din robots.txt-fil är att begränsa sökrobotars åtkomst till delar av din webbplats. Detta kan hjälpa till att maximera din genomsökningsbudget och förhindra att oönskade sidor hamnar i sökresultaten.
Det är viktigt att notera att bara för att du har sagt till en bot att inte genomsöka en sida betyder det inte att den inte kommer att indexeras. Om du inte vill att en sida ska visas i sökresultaten måste du lägga till en noindex-metatagg på sidan.
Exempel på Robots.txt-fildirektiv
Filen robots.txt består av block med direktivrader. Varje policy börjar med en användaragent och sedan kommer reglerna för den användaragenten att placeras under den.
När en specifik sökmotor landar på din webbplats kommer den att leta efter motsvarande användaragent och läsa blocket som refererar till den.
Det finns flera direktiv du kan använda i din fil. Låt oss analysera dem nu.
1. Användaragent
Användaragentkommandot låter dig rikta in dig på vissa bots eller spindlar. Om du till exempel bara vill rikta in dig på Bing eller Google är detta direktivet du skulle använda.
Även om det finns hundratals användaragenter, nedan är exempel på några av de vanligaste användaragentalternativen.
Användaragent: Googlebot
Användaragent: Googlebot-Image
Användaragent: Googlebot-Mobile
Användaragent: Googlebot-News
Användaragent: Bingbot
Användaragent: Baiduspider
Användaragent: msnbot
Användaragent: slurp (Yahoo)
Användaragent: Yandex
Det är viktigt att notera att användaragenter är skiftlägeskänsliga, så se till att du anger dem korrekt.
Wildcard User Agent
Användaragenten med jokertecken indikeras av en
asterisk och låter dig enkelt tillämpa en policy på alla befintliga användaragenter. Så om du vill att en specifik regel ska tillämpas på varje bot kan du använda den här användaragenten.
Användaragent: *
Användaragenter kommer bara att följa de regler som de flesta gäller för dem.
2. Tillåt inte
Inte tillåt-policyn säger åt sökmotorer att inte genomsöka eller komma åt vissa sidor eller kataloger på en webbplats.
Nedan finns flera exempel på hur du kan använda disallow-direktivet.
Blockera åtkomst till en specifik mapp
I det här exemplet säger vi åt alla bots att inte genomsöka någonting i /portfolio-katalogen på vår webbplats.
Användaragent: *
Disallow: /portfolio
Om vi bara vill att Bing inte ska genomsöka den katalogen, lägger vi till den så här istället:
Användaragent: Bingbot
Disallow: /portfolio
Blockera PDF eller andra filtyper
Om du inte vill att din PDF eller andra filtyper ska spåras, bör följande direktiv hjälpa. Vi säger till alla bots att vi inte vill att PDF-filer ska genomsökas. $ i slutet talar om för sökmotorn att det är slutet på URL:en.
Så om jag har en pdf-fil i, kommer sökmotorer inte att komma åt den.
Användaragent: *
Disallow: *.pdf$
För PowerPoint-filer kan du använda:
Användaragent: *
Disallow: *.ppt$
Ett bättre alternativ kan vara att skapa en mapp för din PDF eller andra filer och sedan inte tillåta sökrobotar att genomsöka den och inte indexera hela katalogen med en metatagg.
Blockera åtkomst till hela webbplatsen
Särskilt användbart om du har en utvecklingswebbplats eller testmappar, det här direktivet talar om för alla bots att inte genomsöka din webbplats alls. Det är viktigt att komma ihåg att ta bort detta när du ställer in din webbplats live, annars kommer du att få indexeringsproblem.
Användaragent: *
* (asterisk) du ser ovan är vad vi kallar ett “jokertecken” uttryck. När vi använder en asterisk, antyder vi att följande regler måste gälla för alla användaragenter.
3. Tillåt
Tillåt-direktivet kan hjälpa dig att specificera vissa sidor eller kataloger som du vill att bots ska komma åt och genomsöka. Detta kan vara en åsidosättningsregel för alternativet disallow, som ses ovan.
I följande exempel säger vi till Googlebot att vi inte vill att portföljkatalogen ska genomsökas, men vi vill att ett specifikt portföljobjekt ska nås och genomsökas:
Användaragent: Googlebot
Disallow: /portfolio
Tillåt: /portfolio/crawlableportfolio
4. Webbplatskarta
Att inkludera platsen för din webbplatskarta i din fil kan göra det lättare för sökmotorernas sökrobotar att genomsöka din webbplatskarta.
Om du skickar in dina webbplatskartor direkt till varje sökmotors verktyg för webbansvariga, behöver du inte lägga till dem i din robots.txt-fil. Webbplatskarta:
https://dinwebbplats.com/webbplatskarta.xml
5. Krypfördröjning
Fördröjningen i genomsökningen kan säga till en bot att sakta ner när den genomsöker din webbplats så att din server inte blir överväldigad. Följande policyexempel ber Yandex att vänta 10 sekunder efter varje genomsökningsåtgärd som den utför på webbplatsen.
Användaragent: Yandex
Genomsökningsfördröjning: 10
Detta är ett direktiv du bör vara försiktig med. På en mycket stor webbplats kan du avsevärt minimera antalet webbadresser som genomsöks varje dag, vilket skulle vara kontraproduktivt. Detta kan dock vara användbart på mindre webbplatser, där bots besöker för mycket.
Vad är reguljära uttryck och jokertecken?
Mönstermatchning är ett mer avancerat sätt att kontrollera hur en bot genomsöker din webbplats med hjälp av tecken.
Det finns två uttryck som är vanliga och används av både Bing och Google. Dessa direktiv kan vara särskilt användbara på e-handelswebbplatser. Asterisk:
* behandlas som ett jokertecken och kan representera vilken sekvens av tecken som helst Dollartecken:
$ används för att ange slutet av en URL
Ett bra exempel på att använda jokertecknet * är scenariot där du vill förhindra sökmotorer från att genomsöka sidor som kan ha ett frågetecken. Följande kod säger åt alla bots att ignorera genomsökning av alla webbadresser som har ett frågetecken.
Användaragent: *
Inte tillåta: / *?
Hur man skapar eller redigerar en Robots.txt-fil
- Om du inte har en befintlig robots.txt-fil på din server kan du enkelt lägga till en med stegen nedan.
- Öppna din favorittextredigerare för att starta ett nytt dokument. Vanliga redigerare som kan finnas på din dator är Notepad, TextEdit eller Microsoft Word.
- Lägg till alla direktiv som du vill inkludera i dokumentet.
- Spara filen med namnet “robots.txt”
- Testa din fil som visas i följande avsnitt
Ladda upp din .txt-fil till din server med en FTP eller i din CPanel. Hur du laddar det beror på vilken typ av webbplats du har.
I WordPress kan du använda plugins som Yoast, All In One SEO, Rank Math för att generera och redigera din fil.
Du kan också använda ett robots.txt-generatorverktyg för att hjälpa dig att förbereda ett som kan hjälpa till att minimera fel.
Hur man testar en Robots.txt-fil
Innan du publicerar koden från robots.txt-filen du skapade, bör du köra den genom en testare för att se till att den är giltig. Detta hjälper till att undvika problem med felaktiga policyer som kan ha lagts till.
Testverktyget för robots.txt är endast tillgängligt i den äldre versionen av Google Search Console. Om din webbplats inte är ansluten till Google Search Console måste du göra detta först.
Besök Googles supportsida och klicka på knappen “öppna robots tester.txt”. Välj den egenskap du vill testa och du kommer sedan till en skärm, som den som visas nedan.
robots.txt-testaren i Googles support
SEO startpaket
