Varje dag kommer det bes\u00f6k p\u00e5 din webbplats fr\u00e5n bots, \u00e4ven k\u00e4nda som robotar eller spindlar. S\u00f6kmotorer som Google, Yahoo och Bing skickar dessa bots till din webbplats s\u00e5 att ditt inneh\u00e5ll kan genoms\u00f6kas och indexeras och visas i s\u00f6kresultat.<\/p>\n
Botar \u00e4r bra, men det finns vissa fall d\u00e4r du inte vill att boten ska springa runt p\u00e5 din webbplats och genoms\u00f6ka och indexera allt. Det \u00e4r d\u00e4r robots.txt-filen kommer in.<\/p>\n
Genom att l\u00e4gga till vissa direktiv i en robots.txt-fil s\u00e4ger du till bots att endast genoms\u00f6ka de sidor du vill genoms\u00f6ka.<\/p>\n
Det \u00e4r dock viktigt att f\u00f6rst\u00e5 att inte alla botar f\u00f6ljer reglerna som du skriver i din robots.txt-fil. Google lyssnar till exempel inte p\u00e5 n\u00e5gra direktiv du l\u00e4gger i filen om genoms\u00f6kningsfrekvens.<\/p>\n
<\/span>Beh\u00f6ver du en robots.txt-fil?<\/span><\/h2>\nNej, en robots.txt-fil kr\u00e4vs inte f\u00f6r en webbplats.<\/p>\n
Om en bot kommer till din webbplats och du inte har en, kommer den helt enkelt att genoms\u00f6ka din webbplats och indexera sidor som den normalt skulle g\u00f6ra.<\/p>\n
En robot.txt-fil \u00e4r bara n\u00f6dv\u00e4ndig om du vill ha mer kontroll \u00f6ver vad som genoms\u00f6ks.<\/p>\n
N\u00e5gra f\u00f6rdelar med att ha en inkluderar:<\/p>\n
\n- Hj\u00e4lp till att hantera server\u00f6verbelastningar<\/li>\n
- Undvik att genoms\u00f6ka avfall fr\u00e5n bots som bes\u00f6ker sidor du inte vill att de ska bes\u00f6ka<\/li>\n
- H\u00e5ll vissa mappar eller underdom\u00e4ner privata<\/li>\n<\/ul>\n
<\/span>Kan en robots.txt-fil f\u00f6rhindra inneh\u00e5llsindexering?<\/span><\/h2>\nNej, du kan inte f\u00f6rhindra att inneh\u00e5ll indexeras och visas i s\u00f6kresultat med en robots.txt-fil.<\/p>\n
Alla robotar f\u00f6ljer inte instruktionerna p\u00e5 samma s\u00e4tt, s\u00e5 vissa kan indexera inneh\u00e5ll som du har st\u00e4llt in f\u00f6r att inte genoms\u00f6kas eller indexeras.<\/p>\n
Dessutom, om inneh\u00e5llet du f\u00f6rs\u00f6ker f\u00f6rhindra fr\u00e5n att visas i s\u00f6kresultaten har externa l\u00e4nkar, kommer det ocks\u00e5 att f\u00e5 s\u00f6kmotorer att indexera det.<\/p>\n
Det enda s\u00e4ttet att s\u00e4kerst\u00e4lla att ditt inneh\u00e5ll inte indexeras \u00e4r att l\u00e4gga till en noindex-metatagg p\u00e5 sidan. Denna kodrad ser ut s\u00e5 h\u00e4r och kommer att g\u00e5 i html-koden p\u00e5 din sida.<\/p>\n
Det \u00e4r viktigt att notera att om du vill att s\u00f6kmotorer inte ska indexera en sida m\u00e5ste du till\u00e5ta att sidan genoms\u00f6ks i robots.txt.<\/p>\n
<\/span>Var finns robots.txt-filen?<\/span><\/h2>\nFilen robots.txt kommer alltid att finnas p\u00e5 rotdom\u00e4nen p\u00e5 en webbplats. Som ett exempel kan v\u00e5r egen fil hittas p\u00e5 https:\/\/www.hubspot.com\/robots.txt.<\/p>\n
P\u00e5 de flesta webbplatser b\u00f6r du kunna komma \u00e5t den faktiska filen f\u00f6r redigering via FTP eller genom att komma \u00e5t filhanteraren i din v\u00e4rds CPanel.<\/p>\n
P\u00e5 vissa CMS-plattformar kan du hitta filen direkt i ditt administrativa omr\u00e5de. HubSpot, till exempel, g\u00f6r det enkelt att anpassa din robots.txt-fil fr\u00e5n ditt konto.<\/p>\n
Om du anv\u00e4nder WordPress kan robots.txt-filen n\u00e5s i public_html-mappen p\u00e5 din webbplats.<\/p>\n
![\"robots.txt-filen](\"https:\/\/blog.hubspot.com\/hubfs\/Google%20Drive%20Integration\/Copy%20of%20Copy%20of%20Robots.txt\" "\\"\\"")
<\/p>\n
WordPress inneh\u00e5ller som standard en robots.txt-fil med en ny installation som kommer att inneh\u00e5lla f\u00f6ljande:<\/p>\n
Anv\u00e4ndaragent: *<\/strong><\/p>\nTill\u00e5t inte: \/wp-admin\/<\/strong><\/p>\nDisallow: \/wp-includes\/<\/strong><\/p>\nOvanst\u00e5ende s\u00e4ger \u00e5t alla bots att genoms\u00f6ka alla delar av webbplatsen, f\u00f6rutom allt under katalogerna \/wp-admin\/ eller \/wp-includes\/.<\/p>\n
Men du kanske vill skapa en mer robust fil. Vi visar dig hur nedan.<\/p>\n
<\/span>Anv\u00e4ndning av en Robots.txt-fil<\/span><\/h2>\nDet kan finnas m\u00e5nga anledningar till att du vill anpassa din robots.txt-fil, fr\u00e5n att kontrollera din genoms\u00f6kningsbudget till att blockera delar av en webbplats fr\u00e5n att genoms\u00f6kas och indexeras. L\u00e5t oss unders\u00f6ka n\u00e5gra anledningar till att anv\u00e4nda en robots.txt-fil nu.<\/p>\n
<\/span>1. Blockera alla sp\u00e5rare<\/span><\/h3>\nAtt blockera alla s\u00f6krobotar fr\u00e5n att komma \u00e5t din webbplats \u00e4r inget du skulle vilja g\u00f6ra p\u00e5 en livewebbplats, men det \u00e4r ett utm\u00e4rkt alternativ f\u00f6r en utvecklingswebbplats. N\u00e4r du blockerar s\u00f6krobotar kommer det att f\u00f6rhindra att dina sidor visas i s\u00f6kmotorer, vilket \u00e4r bra om dina sidor inte \u00e4r redo att visas \u00e4nnu.<\/p>\n
<\/span>2. Till\u00e5t inte att vissa sidor genoms\u00f6ks<\/span><\/h3>\nEtt av de vanligaste och mest anv\u00e4ndbara s\u00e4tten att anv\u00e4nda din robots.txt-fil \u00e4r att begr\u00e4nsa s\u00f6krobotars \u00e5tkomst till delar av din webbplats. Detta kan hj\u00e4lpa till att maximera din genoms\u00f6kningsbudget och f\u00f6rhindra att o\u00f6nskade sidor hamnar i s\u00f6kresultaten.<\/p>\n
Det \u00e4r viktigt att notera att bara f\u00f6r att du har sagt till en bot att inte genoms\u00f6ka en sida betyder det inte att den inte kommer att indexeras. Om du inte vill att en sida ska visas i s\u00f6kresultaten m\u00e5ste du l\u00e4gga till en noindex-metatagg p\u00e5 sidan.<\/p>\n
<\/span>Exempel p\u00e5 Robots.txt-fildirektiv<\/span><\/h2>\nFilen robots.txt best\u00e5r av block med direktivrader. Varje policy b\u00f6rjar med en anv\u00e4ndaragent och sedan kommer reglerna f\u00f6r den anv\u00e4ndaragenten att placeras under den.<\/p>\n
N\u00e4r en specifik s\u00f6kmotor landar p\u00e5 din webbplats kommer den att leta efter motsvarande anv\u00e4ndaragent och l\u00e4sa blocket som refererar till den.<\/p>\n
Det finns flera direktiv du kan anv\u00e4nda i din fil. L\u00e5t oss analysera dem nu.<\/p>\n
<\/span>1. Anv\u00e4ndaragent<\/span><\/h3>\nAnv\u00e4ndaragentkommandot l\u00e5ter dig rikta in dig p\u00e5 vissa bots eller spindlar. Om du till exempel bara vill rikta in dig p\u00e5 Bing eller Google \u00e4r detta direktivet du skulle anv\u00e4nda.<\/p>\n
\u00c4ven om det finns hundratals anv\u00e4ndaragenter, nedan \u00e4r exempel p\u00e5 n\u00e5gra av de vanligaste anv\u00e4ndaragentalternativen.<\/p>\n
Anv\u00e4ndaragent: Googlebot<\/strong><\/p>\nAnv\u00e4ndaragent: Googlebot-Image<\/strong><\/p>\nAnv\u00e4ndaragent: Googlebot-Mobile<\/strong><\/p>\nAnv\u00e4ndaragent: Googlebot-News<\/strong><\/p>\nAnv\u00e4ndaragent: Bingbot<\/strong><\/p>\nAnv\u00e4ndaragent: Baiduspider<\/strong><\/p>\nAnv\u00e4ndaragent: msnbot<\/strong><\/p>\nAnv\u00e4ndaragent: slurp (Yahoo)<\/strong><\/p>\nAnv\u00e4ndaragent: Yandex<\/strong><\/p>\nDet \u00e4r viktigt att notera att anv\u00e4ndaragenter \u00e4r skiftl\u00e4gesk\u00e4nsliga, s\u00e5 se till att du anger dem korrekt.<\/p>\n
Wildcard User Agent<\/strong><\/p>\nAnv\u00e4ndaragenten med jokertecken indikeras av en<\/p>\n
asterisk och l\u00e5ter dig enkelt till\u00e4mpa en policy p\u00e5 alla befintliga anv\u00e4ndaragenter. S\u00e5 om du vill att en specifik regel ska till\u00e4mpas p\u00e5 varje bot kan du anv\u00e4nda den h\u00e4r anv\u00e4ndaragenten.<\/strong><\/p>\nAnv\u00e4ndaragent: *<\/p>\n
<\/span>Anv\u00e4ndaragenter kommer bara att f\u00f6lja de regler som de flesta g\u00e4ller f\u00f6r dem.<\/span><\/h3>\n2. Till\u00e5t inte<\/p>\n
Inte till\u00e5t-policyn s\u00e4ger \u00e5t s\u00f6kmotorer att inte genoms\u00f6ka eller komma \u00e5t vissa sidor eller kataloger p\u00e5 en webbplats.<\/p>\n
<\/span>Nedan finns flera exempel p\u00e5 hur du kan anv\u00e4nda disallow-direktivet.<\/strong><\/span><\/h4>\nBlockera \u00e5tkomst till en specifik mapp<\/p>\n
I det h\u00e4r exemplet s\u00e4ger vi \u00e5t alla bots att inte genoms\u00f6ka n\u00e5gonting i \/portfolio-katalogen p\u00e5 v\u00e5r webbplats. <\/strong><\/p>\nAnv\u00e4ndaragent: *<\/strong><\/p>\nDisallow: \/portfolio<\/p>\n
Om vi \u200b\u200bbara vill att Bing inte ska genoms\u00f6ka den katalogen, l\u00e4gger vi till den s\u00e5 h\u00e4r ist\u00e4llet: <\/strong><\/p>\nAnv\u00e4ndaragent: Bingbot<\/strong><\/p>\n<\/span>Disallow: \/portfolio<\/strong><\/span><\/h4>\nBlockera PDF eller andra filtyper<\/p>\n
Om du inte vill att din PDF eller andra filtyper ska sp\u00e5ras, b\u00f6r f\u00f6ljande direktiv hj\u00e4lpa. Vi s\u00e4ger till alla bots att vi inte vill att PDF-filer ska genoms\u00f6kas. $ i slutet talar om f\u00f6r s\u00f6kmotorn att det \u00e4r slutet p\u00e5 URL:en.<\/p>\n
S\u00e5 om jag har en pdf-fil i, kommer s\u00f6kmotorer inte att komma \u00e5t den.<\/strong><\/p>\nAnv\u00e4ndaragent: *<\/strong><\/p>\nDisallow: *.pdf$<\/p>\n
F\u00f6r PowerPoint-filer kan du anv\u00e4nda:<\/strong><\/p>\nAnv\u00e4ndaragent: *<\/strong><\/p>\nDisallow: *.ppt$<\/p>\n
<\/span>Ett b\u00e4ttre alternativ kan vara att skapa en mapp f\u00f6r din PDF eller andra filer och sedan inte till\u00e5ta s\u00f6krobotar att genoms\u00f6ka den och inte indexera hela katalogen med en metatagg.<\/strong><\/span><\/h4>\nBlockera \u00e5tkomst till hela webbplatsen<\/p>\n
S\u00e4rskilt anv\u00e4ndbart om du har en utvecklingswebbplats eller testmappar, det h\u00e4r direktivet talar om f\u00f6r alla bots att inte genoms\u00f6ka din webbplats alls. Det \u00e4r viktigt att komma ih\u00e5g att ta bort detta n\u00e4r du st\u00e4ller in din webbplats live, annars kommer du att f\u00e5 indexeringsproblem.<\/strong><\/p>\nAnv\u00e4ndaragent: *<\/p>\n
<\/span>* (asterisk) du ser ovan \u00e4r vad vi kallar ett “jokertecken” uttryck. N\u00e4r vi anv\u00e4nder en asterisk, antyder vi att f\u00f6ljande regler m\u00e5ste g\u00e4lla f\u00f6r alla anv\u00e4ndaragenter.<\/span><\/h3>\n3. Till\u00e5t<\/p>\n
Till\u00e5t-direktivet kan hj\u00e4lpa dig att specificera vissa sidor eller kataloger som du vill att bots ska komma \u00e5t och genoms\u00f6ka. Detta kan vara en \u00e5sidos\u00e4ttningsregel f\u00f6r alternativet disallow, som ses ovan.<\/p>\n
I f\u00f6ljande exempel s\u00e4ger vi till Googlebot att vi inte vill att portf\u00f6ljkatalogen ska genoms\u00f6kas, men vi vill att ett specifikt portf\u00f6ljobjekt ska n\u00e5s och genoms\u00f6kas:<\/strong><\/p>\nAnv\u00e4ndaragent: Googlebot<\/strong><\/p>\nDisallow: \/portfolio<\/strong><\/p>\n<\/span>Till\u00e5t: \/portfolio\/crawlableportfolio<\/span><\/h3>\n4. Webbplatskarta<\/p>\n
Att inkludera platsen f\u00f6r din webbplatskarta i din fil kan g\u00f6ra det l\u00e4ttare f\u00f6r s\u00f6kmotorernas s\u00f6krobotar att genoms\u00f6ka din webbplatskarta.<\/p>\n
Om du skickar in dina webbplatskartor direkt till varje s\u00f6kmotors verktyg f\u00f6r webbansvariga, beh\u00f6ver du inte l\u00e4gga till dem i din robots.txt-fil. <\/strong>Webbplatskarta:<\/strong><\/p>\n<\/span>https:\/\/dinwebbplats.com\/webbplatskarta.xml<\/span><\/h3>\n5. Krypf\u00f6rdr\u00f6jning<\/p>\n
F\u00f6rdr\u00f6jningen i genoms\u00f6kningen kan s\u00e4ga till en bot att sakta ner n\u00e4r den genoms\u00f6ker din webbplats s\u00e5 att din server inte blir \u00f6verv\u00e4ldigad. F\u00f6ljande policyexempel ber Yandex att v\u00e4nta 10 sekunder efter varje genoms\u00f6knings\u00e5tg\u00e4rd som den utf\u00f6r p\u00e5 webbplatsen. <\/strong><\/p>\nAnv\u00e4ndaragent: Yandex<\/strong><\/p>\nGenoms\u00f6kningsf\u00f6rdr\u00f6jning: 10<\/p>\n
<\/span>Detta \u00e4r ett direktiv du b\u00f6r vara f\u00f6rsiktig med. P\u00e5 en mycket stor webbplats kan du avsev\u00e4rt minimera antalet webbadresser som genoms\u00f6ks varje dag, vilket skulle vara kontraproduktivt. Detta kan dock vara anv\u00e4ndbart p\u00e5 mindre webbplatser, d\u00e4r bots bes\u00f6ker f\u00f6r mycket.<\/span><\/h3>\nVad \u00e4r regulj\u00e4ra uttryck och jokertecken?<\/p>\n
M\u00f6nstermatchning \u00e4r ett mer avancerat s\u00e4tt att kontrollera hur en bot genoms\u00f6ker din webbplats med hj\u00e4lp av tecken.<\/p>\n
Det finns tv\u00e5 uttryck som \u00e4r vanliga och anv\u00e4nds av b\u00e5de Bing och Google. Dessa direktiv kan vara s\u00e4rskilt anv\u00e4ndbara p\u00e5 e-handelswebbplatser.<\/strong> Asterisk:<\/p>\n* behandlas som ett jokertecken och kan representera vilken sekvens av tecken som helst<\/strong> Dollartecken:<\/p>\n$ anv\u00e4nds f\u00f6r att ange slutet av en URL<\/p>\n
Ett bra exempel p\u00e5 att anv\u00e4nda jokertecknet * \u00e4r scenariot d\u00e4r du vill f\u00f6rhindra s\u00f6kmotorer fr\u00e5n att genoms\u00f6ka sidor som kan ha ett fr\u00e5getecken. F\u00f6ljande kod s\u00e4ger \u00e5t alla bots att ignorera genoms\u00f6kning av alla webbadresser som har ett fr\u00e5getecken.<\/strong><\/p>\nAnv\u00e4ndaragent: *<\/strong><\/p>\n<\/span>Inte till\u00e5ta: \/ *?<\/span><\/h2>\nHur man skapar eller redigerar en Robots.txt-fil<\/p>\n
\n- Om du inte har en befintlig robots.txt-fil p\u00e5 din server kan du enkelt l\u00e4gga till en med stegen nedan.<\/li>\n
- \u00d6ppna din favorittextredigerare f\u00f6r att starta ett nytt dokument. Vanliga redigerare som kan finnas p\u00e5 din dator \u00e4r Notepad, TextEdit eller Microsoft Word.<\/li>\n
- L\u00e4gg till alla direktiv som du vill inkludera i dokumentet.<\/li>\n
- Spara filen med namnet “robots.txt”<\/li>\n
- Testa din fil som visas i f\u00f6ljande avsnitt<\/li>\n<\/ol>\n
Ladda upp din .txt-fil till din server med en FTP eller i din CPanel. Hur du laddar det beror p\u00e5 vilken typ av webbplats du har.<\/p>\n
I WordPress kan du anv\u00e4nda plugins som Yoast, All In One SEO, Rank Math f\u00f6r att generera och redigera din fil.<\/p>\n
<\/span>Du kan ocks\u00e5 anv\u00e4nda ett robots.txt-generatorverktyg f\u00f6r att hj\u00e4lpa dig att f\u00f6rbereda ett som kan hj\u00e4lpa till att minimera fel.<\/span><\/h2>\nHur man testar en Robots.txt-fil<\/p>\n
Innan du publicerar koden fr\u00e5n robots.txt-filen du skapade, b\u00f6r du k\u00f6ra den genom en testare f\u00f6r att se till att den \u00e4r giltig. Detta hj\u00e4lper till att undvika problem med felaktiga policyer som kan ha lagts till.<\/p>\n
Testverktyget f\u00f6r robots.txt \u00e4r endast tillg\u00e4ngligt i den \u00e4ldre versionen av Google Search Console. Om din webbplats inte \u00e4r ansluten till Google Search Console m\u00e5ste du g\u00f6ra detta f\u00f6rst.<\/p>\n
Bes\u00f6k Googles supportsida och klicka p\u00e5 knappen “\u00f6ppna robots tester.txt”. V\u00e4lj den egenskap du vill testa och du kommer sedan till en sk\u00e4rm, som den som visas nedan.<\/p>\n
![\"F\u00f6r](\"https:\/\/blog.hubspot.com\/hubfs\/Google%20Drive%20Integration\/Copy%20of%20Copy%20of%20Robots-1.txt\" "\\"\\"")
<\/p>\n
robots.txt-testaren i Googles support<\/p>\n
![\"F\u00f6rhoppningsvis](\"https:\/\/blogging-techies.com\/wp-content\/uploads\/2020\/05\/19-consejos-de-SEO-directamente-de-la-boca-del-equipo.png\")
<\/p>\n
SEO startpaket<\/p>\n
<\/span>Kan en robots.txt-fil f\u00f6rhindra inneh\u00e5llsindexering?<\/span><\/h2>\nNej, du kan inte f\u00f6rhindra att inneh\u00e5ll indexeras och visas i s\u00f6kresultat med en robots.txt-fil.<\/p>\n
Alla robotar f\u00f6ljer inte instruktionerna p\u00e5 samma s\u00e4tt, s\u00e5 vissa kan indexera inneh\u00e5ll som du har st\u00e4llt in f\u00f6r att inte genoms\u00f6kas eller indexeras.<\/p>\n
Dessutom, om inneh\u00e5llet du f\u00f6rs\u00f6ker f\u00f6rhindra fr\u00e5n att visas i s\u00f6kresultaten har externa l\u00e4nkar, kommer det ocks\u00e5 att f\u00e5 s\u00f6kmotorer att indexera det.<\/p>\n
Det enda s\u00e4ttet att s\u00e4kerst\u00e4lla att ditt inneh\u00e5ll inte indexeras \u00e4r att l\u00e4gga till en noindex-metatagg p\u00e5 sidan. Denna kodrad ser ut s\u00e5 h\u00e4r och kommer att g\u00e5 i html-koden p\u00e5 din sida.<\/p>\n
Det \u00e4r viktigt att notera att om du vill att s\u00f6kmotorer inte ska indexera en sida m\u00e5ste du till\u00e5ta att sidan genoms\u00f6ks i robots.txt.<\/p>\n
<\/span>Var finns robots.txt-filen?<\/span><\/h2>\nFilen robots.txt kommer alltid att finnas p\u00e5 rotdom\u00e4nen p\u00e5 en webbplats. Som ett exempel kan v\u00e5r egen fil hittas p\u00e5 https:\/\/www.hubspot.com\/robots.txt.<\/p>\n
P\u00e5 de flesta webbplatser b\u00f6r du kunna komma \u00e5t den faktiska filen f\u00f6r redigering via FTP eller genom att komma \u00e5t filhanteraren i din v\u00e4rds CPanel.<\/p>\n
P\u00e5 vissa CMS-plattformar kan du hitta filen direkt i ditt administrativa omr\u00e5de. HubSpot, till exempel, g\u00f6r det enkelt att anpassa din robots.txt-fil fr\u00e5n ditt konto.<\/p>\n
Om du anv\u00e4nder WordPress kan robots.txt-filen n\u00e5s i public_html-mappen p\u00e5 din webbplats.<\/p>\n
<\/p>\n
WordPress inneh\u00e5ller som standard en robots.txt-fil med en ny installation som kommer att inneh\u00e5lla f\u00f6ljande:<\/p>\n
Anv\u00e4ndaragent: *<\/strong><\/p>\nTill\u00e5t inte: \/wp-admin\/<\/strong><\/p>\nDisallow: \/wp-includes\/<\/strong><\/p>\nOvanst\u00e5ende s\u00e4ger \u00e5t alla bots att genoms\u00f6ka alla delar av webbplatsen, f\u00f6rutom allt under katalogerna \/wp-admin\/ eller \/wp-includes\/.<\/p>\n
Men du kanske vill skapa en mer robust fil. Vi visar dig hur nedan.<\/p>\n
<\/span>Anv\u00e4ndning av en Robots.txt-fil<\/span><\/h2>\nDet kan finnas m\u00e5nga anledningar till att du vill anpassa din robots.txt-fil, fr\u00e5n att kontrollera din genoms\u00f6kningsbudget till att blockera delar av en webbplats fr\u00e5n att genoms\u00f6kas och indexeras. L\u00e5t oss unders\u00f6ka n\u00e5gra anledningar till att anv\u00e4nda en robots.txt-fil nu.<\/p>\n
<\/span>1. Blockera alla sp\u00e5rare<\/span><\/h3>\nAtt blockera alla s\u00f6krobotar fr\u00e5n att komma \u00e5t din webbplats \u00e4r inget du skulle vilja g\u00f6ra p\u00e5 en livewebbplats, men det \u00e4r ett utm\u00e4rkt alternativ f\u00f6r en utvecklingswebbplats. N\u00e4r du blockerar s\u00f6krobotar kommer det att f\u00f6rhindra att dina sidor visas i s\u00f6kmotorer, vilket \u00e4r bra om dina sidor inte \u00e4r redo att visas \u00e4nnu.<\/p>\n
<\/span>2. Till\u00e5t inte att vissa sidor genoms\u00f6ks<\/span><\/h3>\nEtt av de vanligaste och mest anv\u00e4ndbara s\u00e4tten att anv\u00e4nda din robots.txt-fil \u00e4r att begr\u00e4nsa s\u00f6krobotars \u00e5tkomst till delar av din webbplats. Detta kan hj\u00e4lpa till att maximera din genoms\u00f6kningsbudget och f\u00f6rhindra att o\u00f6nskade sidor hamnar i s\u00f6kresultaten.<\/p>\n
Det \u00e4r viktigt att notera att bara f\u00f6r att du har sagt till en bot att inte genoms\u00f6ka en sida betyder det inte att den inte kommer att indexeras. Om du inte vill att en sida ska visas i s\u00f6kresultaten m\u00e5ste du l\u00e4gga till en noindex-metatagg p\u00e5 sidan.<\/p>\n
<\/span>Exempel p\u00e5 Robots.txt-fildirektiv<\/span><\/h2>\nFilen robots.txt best\u00e5r av block med direktivrader. Varje policy b\u00f6rjar med en anv\u00e4ndaragent och sedan kommer reglerna f\u00f6r den anv\u00e4ndaragenten att placeras under den.<\/p>\n
N\u00e4r en specifik s\u00f6kmotor landar p\u00e5 din webbplats kommer den att leta efter motsvarande anv\u00e4ndaragent och l\u00e4sa blocket som refererar till den.<\/p>\n
Det finns flera direktiv du kan anv\u00e4nda i din fil. L\u00e5t oss analysera dem nu.<\/p>\n
<\/span>1. Anv\u00e4ndaragent<\/span><\/h3>\nAnv\u00e4ndaragentkommandot l\u00e5ter dig rikta in dig p\u00e5 vissa bots eller spindlar. Om du till exempel bara vill rikta in dig p\u00e5 Bing eller Google \u00e4r detta direktivet du skulle anv\u00e4nda.<\/p>\n
\u00c4ven om det finns hundratals anv\u00e4ndaragenter, nedan \u00e4r exempel p\u00e5 n\u00e5gra av de vanligaste anv\u00e4ndaragentalternativen.<\/p>\n
Anv\u00e4ndaragent: Googlebot<\/strong><\/p>\nAnv\u00e4ndaragent: Googlebot-Image<\/strong><\/p>\nAnv\u00e4ndaragent: Googlebot-Mobile<\/strong><\/p>\nAnv\u00e4ndaragent: Googlebot-News<\/strong><\/p>\nAnv\u00e4ndaragent: Bingbot<\/strong><\/p>\nAnv\u00e4ndaragent: Baiduspider<\/strong><\/p>\nAnv\u00e4ndaragent: msnbot<\/strong><\/p>\nAnv\u00e4ndaragent: slurp (Yahoo)<\/strong><\/p>\nAnv\u00e4ndaragent: Yandex<\/strong><\/p>\nDet \u00e4r viktigt att notera att anv\u00e4ndaragenter \u00e4r skiftl\u00e4gesk\u00e4nsliga, s\u00e5 se till att du anger dem korrekt.<\/p>\n
Wildcard User Agent<\/strong><\/p>\nAnv\u00e4ndaragenten med jokertecken indikeras av en<\/p>\n
asterisk och l\u00e5ter dig enkelt till\u00e4mpa en policy p\u00e5 alla befintliga anv\u00e4ndaragenter. S\u00e5 om du vill att en specifik regel ska till\u00e4mpas p\u00e5 varje bot kan du anv\u00e4nda den h\u00e4r anv\u00e4ndaragenten.<\/strong><\/p>\nAnv\u00e4ndaragent: *<\/p>\n
<\/span>Anv\u00e4ndaragenter kommer bara att f\u00f6lja de regler som de flesta g\u00e4ller f\u00f6r dem.<\/span><\/h3>\n2. Till\u00e5t inte<\/p>\n
Inte till\u00e5t-policyn s\u00e4ger \u00e5t s\u00f6kmotorer att inte genoms\u00f6ka eller komma \u00e5t vissa sidor eller kataloger p\u00e5 en webbplats.<\/p>\n
<\/span>Nedan finns flera exempel p\u00e5 hur du kan anv\u00e4nda disallow-direktivet.<\/strong><\/span><\/h4>\nBlockera \u00e5tkomst till en specifik mapp<\/p>\n
I det h\u00e4r exemplet s\u00e4ger vi \u00e5t alla bots att inte genoms\u00f6ka n\u00e5gonting i \/portfolio-katalogen p\u00e5 v\u00e5r webbplats. <\/strong><\/p>\nAnv\u00e4ndaragent: *<\/strong><\/p>\nDisallow: \/portfolio<\/p>\n
Om vi \u200b\u200bbara vill att Bing inte ska genoms\u00f6ka den katalogen, l\u00e4gger vi till den s\u00e5 h\u00e4r ist\u00e4llet: <\/strong><\/p>\nAnv\u00e4ndaragent: Bingbot<\/strong><\/p>\n<\/span>Disallow: \/portfolio<\/strong><\/span><\/h4>\nBlockera PDF eller andra filtyper<\/p>\n
Om du inte vill att din PDF eller andra filtyper ska sp\u00e5ras, b\u00f6r f\u00f6ljande direktiv hj\u00e4lpa. Vi s\u00e4ger till alla bots att vi inte vill att PDF-filer ska genoms\u00f6kas. $ i slutet talar om f\u00f6r s\u00f6kmotorn att det \u00e4r slutet p\u00e5 URL:en.<\/p>\n
S\u00e5 om jag har en pdf-fil i, kommer s\u00f6kmotorer inte att komma \u00e5t den.<\/strong><\/p>\nAnv\u00e4ndaragent: *<\/strong><\/p>\nDisallow: *.pdf$<\/p>\n
F\u00f6r PowerPoint-filer kan du anv\u00e4nda:<\/strong><\/p>\nAnv\u00e4ndaragent: *<\/strong><\/p>\nDisallow: *.ppt$<\/p>\n
<\/span>Ett b\u00e4ttre alternativ kan vara att skapa en mapp f\u00f6r din PDF eller andra filer och sedan inte till\u00e5ta s\u00f6krobotar att genoms\u00f6ka den och inte indexera hela katalogen med en metatagg.<\/strong><\/span><\/h4>\nBlockera \u00e5tkomst till hela webbplatsen<\/p>\n
S\u00e4rskilt anv\u00e4ndbart om du har en utvecklingswebbplats eller testmappar, det h\u00e4r direktivet talar om f\u00f6r alla bots att inte genoms\u00f6ka din webbplats alls. Det \u00e4r viktigt att komma ih\u00e5g att ta bort detta n\u00e4r du st\u00e4ller in din webbplats live, annars kommer du att f\u00e5 indexeringsproblem.<\/strong><\/p>\nAnv\u00e4ndaragent: *<\/p>\n
<\/span>* (asterisk) du ser ovan \u00e4r vad vi kallar ett “jokertecken” uttryck. N\u00e4r vi anv\u00e4nder en asterisk, antyder vi att f\u00f6ljande regler m\u00e5ste g\u00e4lla f\u00f6r alla anv\u00e4ndaragenter.<\/span><\/h3>\n3. Till\u00e5t<\/p>\n
Till\u00e5t-direktivet kan hj\u00e4lpa dig att specificera vissa sidor eller kataloger som du vill att bots ska komma \u00e5t och genoms\u00f6ka. Detta kan vara en \u00e5sidos\u00e4ttningsregel f\u00f6r alternativet disallow, som ses ovan.<\/p>\n
I f\u00f6ljande exempel s\u00e4ger vi till Googlebot att vi inte vill att portf\u00f6ljkatalogen ska genoms\u00f6kas, men vi vill att ett specifikt portf\u00f6ljobjekt ska n\u00e5s och genoms\u00f6kas:<\/strong><\/p>\nAnv\u00e4ndaragent: Googlebot<\/strong><\/p>\nDisallow: \/portfolio<\/strong><\/p>\n<\/span>Till\u00e5t: \/portfolio\/crawlableportfolio<\/span><\/h3>\n4. Webbplatskarta<\/p>\n
Att inkludera platsen f\u00f6r din webbplatskarta i din fil kan g\u00f6ra det l\u00e4ttare f\u00f6r s\u00f6kmotorernas s\u00f6krobotar att genoms\u00f6ka din webbplatskarta.<\/p>\n
Om du skickar in dina webbplatskartor direkt till varje s\u00f6kmotors verktyg f\u00f6r webbansvariga, beh\u00f6ver du inte l\u00e4gga till dem i din robots.txt-fil. <\/strong>Webbplatskarta:<\/strong><\/p>\n<\/span>https:\/\/dinwebbplats.com\/webbplatskarta.xml<\/span><\/h3>\n5. Krypf\u00f6rdr\u00f6jning<\/p>\n
F\u00f6rdr\u00f6jningen i genoms\u00f6kningen kan s\u00e4ga till en bot att sakta ner n\u00e4r den genoms\u00f6ker din webbplats s\u00e5 att din server inte blir \u00f6verv\u00e4ldigad. F\u00f6ljande policyexempel ber Yandex att v\u00e4nta 10 sekunder efter varje genoms\u00f6knings\u00e5tg\u00e4rd som den utf\u00f6r p\u00e5 webbplatsen. <\/strong><\/p>\nAnv\u00e4ndaragent: Yandex<\/strong><\/p>\nGenoms\u00f6kningsf\u00f6rdr\u00f6jning: 10<\/p>\n
<\/span>Detta \u00e4r ett direktiv du b\u00f6r vara f\u00f6rsiktig med. P\u00e5 en mycket stor webbplats kan du avsev\u00e4rt minimera antalet webbadresser som genoms\u00f6ks varje dag, vilket skulle vara kontraproduktivt. Detta kan dock vara anv\u00e4ndbart p\u00e5 mindre webbplatser, d\u00e4r bots bes\u00f6ker f\u00f6r mycket.<\/span><\/h3>\nVad \u00e4r regulj\u00e4ra uttryck och jokertecken?<\/p>\n
M\u00f6nstermatchning \u00e4r ett mer avancerat s\u00e4tt att kontrollera hur en bot genoms\u00f6ker din webbplats med hj\u00e4lp av tecken.<\/p>\n
Det finns tv\u00e5 uttryck som \u00e4r vanliga och anv\u00e4nds av b\u00e5de Bing och Google. Dessa direktiv kan vara s\u00e4rskilt anv\u00e4ndbara p\u00e5 e-handelswebbplatser.<\/strong> Asterisk:<\/p>\n* behandlas som ett jokertecken och kan representera vilken sekvens av tecken som helst<\/strong> Dollartecken:<\/p>\n$ anv\u00e4nds f\u00f6r att ange slutet av en URL<\/p>\n
Ett bra exempel p\u00e5 att anv\u00e4nda jokertecknet * \u00e4r scenariot d\u00e4r du vill f\u00f6rhindra s\u00f6kmotorer fr\u00e5n att genoms\u00f6ka sidor som kan ha ett fr\u00e5getecken. F\u00f6ljande kod s\u00e4ger \u00e5t alla bots att ignorera genoms\u00f6kning av alla webbadresser som har ett fr\u00e5getecken.<\/strong><\/p>\nAnv\u00e4ndaragent: *<\/strong><\/p>\n<\/span>Inte till\u00e5ta: \/ *?<\/span><\/h2>\nHur man skapar eller redigerar en Robots.txt-fil<\/p>\n
\n- Om du inte har en befintlig robots.txt-fil p\u00e5 din server kan du enkelt l\u00e4gga till en med stegen nedan.<\/li>\n
- \u00d6ppna din favorittextredigerare f\u00f6r att starta ett nytt dokument. Vanliga redigerare som kan finnas p\u00e5 din dator \u00e4r Notepad, TextEdit eller Microsoft Word.<\/li>\n
- L\u00e4gg till alla direktiv som du vill inkludera i dokumentet.<\/li>\n
- Spara filen med namnet “robots.txt”<\/li>\n
- Testa din fil som visas i f\u00f6ljande avsnitt<\/li>\n<\/ol>\n
Ladda upp din .txt-fil till din server med en FTP eller i din CPanel. Hur du laddar det beror p\u00e5 vilken typ av webbplats du har.<\/p>\n
I WordPress kan du anv\u00e4nda plugins som Yoast, All In One SEO, Rank Math f\u00f6r att generera och redigera din fil.<\/p>\n
<\/span>Du kan ocks\u00e5 anv\u00e4nda ett robots.txt-generatorverktyg f\u00f6r att hj\u00e4lpa dig att f\u00f6rbereda ett som kan hj\u00e4lpa till att minimera fel.<\/span><\/h2>\nHur man testar en Robots.txt-fil<\/p>\n
Innan du publicerar koden fr\u00e5n robots.txt-filen du skapade, b\u00f6r du k\u00f6ra den genom en testare f\u00f6r att se till att den \u00e4r giltig. Detta hj\u00e4lper till att undvika problem med felaktiga policyer som kan ha lagts till.<\/p>\n
Testverktyget f\u00f6r robots.txt \u00e4r endast tillg\u00e4ngligt i den \u00e4ldre versionen av Google Search Console. Om din webbplats inte \u00e4r ansluten till Google Search Console m\u00e5ste du g\u00f6ra detta f\u00f6rst.<\/p>\n
Bes\u00f6k Googles supportsida och klicka p\u00e5 knappen “\u00f6ppna robots tester.txt”. V\u00e4lj den egenskap du vill testa och du kommer sedan till en sk\u00e4rm, som den som visas nedan.<\/p>\n
<\/p>\n
robots.txt-testaren i Googles support<\/p>\n
<\/p>\n
SEO startpaket<\/p>\n
Filen robots.txt kommer alltid att finnas p\u00e5 rotdom\u00e4nen p\u00e5 en webbplats. Som ett exempel kan v\u00e5r egen fil hittas p\u00e5 https:\/\/www.hubspot.com\/robots.txt.<\/p>\n
P\u00e5 de flesta webbplatser b\u00f6r du kunna komma \u00e5t den faktiska filen f\u00f6r redigering via FTP eller genom att komma \u00e5t filhanteraren i din v\u00e4rds CPanel.<\/p>\n
P\u00e5 vissa CMS-plattformar kan du hitta filen direkt i ditt administrativa omr\u00e5de. HubSpot, till exempel, g\u00f6r det enkelt att anpassa din robots.txt-fil fr\u00e5n ditt konto.<\/p>\n
Om du anv\u00e4nder WordPress kan robots.txt-filen n\u00e5s i public_html-mappen p\u00e5 din webbplats.<\/p>\n
<\/p>\n
WordPress inneh\u00e5ller som standard en robots.txt-fil med en ny installation som kommer att inneh\u00e5lla f\u00f6ljande:<\/p>\n
Anv\u00e4ndaragent: *<\/strong><\/p>\n Till\u00e5t inte: \/wp-admin\/<\/strong><\/p>\n Disallow: \/wp-includes\/<\/strong><\/p>\n Ovanst\u00e5ende s\u00e4ger \u00e5t alla bots att genoms\u00f6ka alla delar av webbplatsen, f\u00f6rutom allt under katalogerna \/wp-admin\/ eller \/wp-includes\/.<\/p>\n Men du kanske vill skapa en mer robust fil. Vi visar dig hur nedan.<\/p>\n Det kan finnas m\u00e5nga anledningar till att du vill anpassa din robots.txt-fil, fr\u00e5n att kontrollera din genoms\u00f6kningsbudget till att blockera delar av en webbplats fr\u00e5n att genoms\u00f6kas och indexeras. L\u00e5t oss unders\u00f6ka n\u00e5gra anledningar till att anv\u00e4nda en robots.txt-fil nu.<\/p>\n Att blockera alla s\u00f6krobotar fr\u00e5n att komma \u00e5t din webbplats \u00e4r inget du skulle vilja g\u00f6ra p\u00e5 en livewebbplats, men det \u00e4r ett utm\u00e4rkt alternativ f\u00f6r en utvecklingswebbplats. N\u00e4r du blockerar s\u00f6krobotar kommer det att f\u00f6rhindra att dina sidor visas i s\u00f6kmotorer, vilket \u00e4r bra om dina sidor inte \u00e4r redo att visas \u00e4nnu.<\/p>\n Ett av de vanligaste och mest anv\u00e4ndbara s\u00e4tten att anv\u00e4nda din robots.txt-fil \u00e4r att begr\u00e4nsa s\u00f6krobotars \u00e5tkomst till delar av din webbplats. Detta kan hj\u00e4lpa till att maximera din genoms\u00f6kningsbudget och f\u00f6rhindra att o\u00f6nskade sidor hamnar i s\u00f6kresultaten.<\/p>\n Det \u00e4r viktigt att notera att bara f\u00f6r att du har sagt till en bot att inte genoms\u00f6ka en sida betyder det inte att den inte kommer att indexeras. Om du inte vill att en sida ska visas i s\u00f6kresultaten m\u00e5ste du l\u00e4gga till en noindex-metatagg p\u00e5 sidan.<\/p>\n Filen robots.txt best\u00e5r av block med direktivrader. Varje policy b\u00f6rjar med en anv\u00e4ndaragent och sedan kommer reglerna f\u00f6r den anv\u00e4ndaragenten att placeras under den.<\/p>\n N\u00e4r en specifik s\u00f6kmotor landar p\u00e5 din webbplats kommer den att leta efter motsvarande anv\u00e4ndaragent och l\u00e4sa blocket som refererar till den.<\/p>\n Det finns flera direktiv du kan anv\u00e4nda i din fil. L\u00e5t oss analysera dem nu.<\/p>\n Anv\u00e4ndaragentkommandot l\u00e5ter dig rikta in dig p\u00e5 vissa bots eller spindlar. Om du till exempel bara vill rikta in dig p\u00e5 Bing eller Google \u00e4r detta direktivet du skulle anv\u00e4nda.<\/p>\n \u00c4ven om det finns hundratals anv\u00e4ndaragenter, nedan \u00e4r exempel p\u00e5 n\u00e5gra av de vanligaste anv\u00e4ndaragentalternativen.<\/p>\n Anv\u00e4ndaragent: Googlebot<\/strong><\/p>\n Anv\u00e4ndaragent: Googlebot-Image<\/strong><\/p>\n Anv\u00e4ndaragent: Googlebot-Mobile<\/strong><\/p>\n Anv\u00e4ndaragent: Googlebot-News<\/strong><\/p>\n Anv\u00e4ndaragent: Bingbot<\/strong><\/p>\n Anv\u00e4ndaragent: Baiduspider<\/strong><\/p>\n Anv\u00e4ndaragent: msnbot<\/strong><\/p>\n Anv\u00e4ndaragent: slurp (Yahoo)<\/strong><\/p>\n Anv\u00e4ndaragent: Yandex<\/strong><\/p>\n Det \u00e4r viktigt att notera att anv\u00e4ndaragenter \u00e4r skiftl\u00e4gesk\u00e4nsliga, s\u00e5 se till att du anger dem korrekt.<\/p>\n Wildcard User Agent<\/strong><\/p>\n Anv\u00e4ndaragenten med jokertecken indikeras av en<\/p>\n asterisk och l\u00e5ter dig enkelt till\u00e4mpa en policy p\u00e5 alla befintliga anv\u00e4ndaragenter. S\u00e5 om du vill att en specifik regel ska till\u00e4mpas p\u00e5 varje bot kan du anv\u00e4nda den h\u00e4r anv\u00e4ndaragenten.<\/strong><\/p>\n Anv\u00e4ndaragent: *<\/p>\n 2. Till\u00e5t inte<\/p>\n Inte till\u00e5t-policyn s\u00e4ger \u00e5t s\u00f6kmotorer att inte genoms\u00f6ka eller komma \u00e5t vissa sidor eller kataloger p\u00e5 en webbplats.<\/p>\n Blockera \u00e5tkomst till en specifik mapp<\/p>\n I det h\u00e4r exemplet s\u00e4ger vi \u00e5t alla bots att inte genoms\u00f6ka n\u00e5gonting i \/portfolio-katalogen p\u00e5 v\u00e5r webbplats. <\/strong><\/p>\n Anv\u00e4ndaragent: *<\/strong><\/p>\n Disallow: \/portfolio<\/p>\n Om vi \u200b\u200bbara vill att Bing inte ska genoms\u00f6ka den katalogen, l\u00e4gger vi till den s\u00e5 h\u00e4r ist\u00e4llet: <\/strong><\/p>\n Anv\u00e4ndaragent: Bingbot<\/strong><\/p>\n Blockera PDF eller andra filtyper<\/p>\n Om du inte vill att din PDF eller andra filtyper ska sp\u00e5ras, b\u00f6r f\u00f6ljande direktiv hj\u00e4lpa. Vi s\u00e4ger till alla bots att vi inte vill att PDF-filer ska genoms\u00f6kas. $ i slutet talar om f\u00f6r s\u00f6kmotorn att det \u00e4r slutet p\u00e5 URL:en.<\/p>\n S\u00e5 om jag har en pdf-fil i, kommer s\u00f6kmotorer inte att komma \u00e5t den.<\/strong><\/p>\n Anv\u00e4ndaragent: *<\/strong><\/p>\n Disallow: *.pdf$<\/p>\n F\u00f6r PowerPoint-filer kan du anv\u00e4nda:<\/strong><\/p>\n Anv\u00e4ndaragent: *<\/strong><\/p>\n Disallow: *.ppt$<\/p>\n Blockera \u00e5tkomst till hela webbplatsen<\/p>\n S\u00e4rskilt anv\u00e4ndbart om du har en utvecklingswebbplats eller testmappar, det h\u00e4r direktivet talar om f\u00f6r alla bots att inte genoms\u00f6ka din webbplats alls. Det \u00e4r viktigt att komma ih\u00e5g att ta bort detta n\u00e4r du st\u00e4ller in din webbplats live, annars kommer du att f\u00e5 indexeringsproblem.<\/strong><\/p>\n Anv\u00e4ndaragent: *<\/p>\n 3. Till\u00e5t<\/p>\n Till\u00e5t-direktivet kan hj\u00e4lpa dig att specificera vissa sidor eller kataloger som du vill att bots ska komma \u00e5t och genoms\u00f6ka. Detta kan vara en \u00e5sidos\u00e4ttningsregel f\u00f6r alternativet disallow, som ses ovan.<\/p>\n I f\u00f6ljande exempel s\u00e4ger vi till Googlebot att vi inte vill att portf\u00f6ljkatalogen ska genoms\u00f6kas, men vi vill att ett specifikt portf\u00f6ljobjekt ska n\u00e5s och genoms\u00f6kas:<\/strong><\/p>\n Anv\u00e4ndaragent: Googlebot<\/strong><\/p>\n Disallow: \/portfolio<\/strong><\/p>\n 4. Webbplatskarta<\/p>\n Att inkludera platsen f\u00f6r din webbplatskarta i din fil kan g\u00f6ra det l\u00e4ttare f\u00f6r s\u00f6kmotorernas s\u00f6krobotar att genoms\u00f6ka din webbplatskarta.<\/p>\n Om du skickar in dina webbplatskartor direkt till varje s\u00f6kmotors verktyg f\u00f6r webbansvariga, beh\u00f6ver du inte l\u00e4gga till dem i din robots.txt-fil. <\/strong>Webbplatskarta:<\/strong><\/p>\n 5. Krypf\u00f6rdr\u00f6jning<\/p>\n F\u00f6rdr\u00f6jningen i genoms\u00f6kningen kan s\u00e4ga till en bot att sakta ner n\u00e4r den genoms\u00f6ker din webbplats s\u00e5 att din server inte blir \u00f6verv\u00e4ldigad. F\u00f6ljande policyexempel ber Yandex att v\u00e4nta 10 sekunder efter varje genoms\u00f6knings\u00e5tg\u00e4rd som den utf\u00f6r p\u00e5 webbplatsen. <\/strong><\/p>\n Anv\u00e4ndaragent: Yandex<\/strong><\/p>\n Genoms\u00f6kningsf\u00f6rdr\u00f6jning: 10<\/p>\n Vad \u00e4r regulj\u00e4ra uttryck och jokertecken?<\/p>\n M\u00f6nstermatchning \u00e4r ett mer avancerat s\u00e4tt att kontrollera hur en bot genoms\u00f6ker din webbplats med hj\u00e4lp av tecken.<\/p>\n Det finns tv\u00e5 uttryck som \u00e4r vanliga och anv\u00e4nds av b\u00e5de Bing och Google. Dessa direktiv kan vara s\u00e4rskilt anv\u00e4ndbara p\u00e5 e-handelswebbplatser.<\/strong> Asterisk:<\/p>\n * behandlas som ett jokertecken och kan representera vilken sekvens av tecken som helst<\/strong> Dollartecken:<\/p>\n $ anv\u00e4nds f\u00f6r att ange slutet av en URL<\/p>\n Ett bra exempel p\u00e5 att anv\u00e4nda jokertecknet * \u00e4r scenariot d\u00e4r du vill f\u00f6rhindra s\u00f6kmotorer fr\u00e5n att genoms\u00f6ka sidor som kan ha ett fr\u00e5getecken. F\u00f6ljande kod s\u00e4ger \u00e5t alla bots att ignorera genoms\u00f6kning av alla webbadresser som har ett fr\u00e5getecken.<\/strong><\/p>\n Anv\u00e4ndaragent: *<\/strong><\/p>\n Hur man skapar eller redigerar en Robots.txt-fil<\/p>\n Ladda upp din .txt-fil till din server med en FTP eller i din CPanel. Hur du laddar det beror p\u00e5 vilken typ av webbplats du har.<\/p>\n I WordPress kan du anv\u00e4nda plugins som Yoast, All In One SEO, Rank Math f\u00f6r att generera och redigera din fil.<\/p>\n Hur man testar en Robots.txt-fil<\/p>\n Innan du publicerar koden fr\u00e5n robots.txt-filen du skapade, b\u00f6r du k\u00f6ra den genom en testare f\u00f6r att se till att den \u00e4r giltig. Detta hj\u00e4lper till att undvika problem med felaktiga policyer som kan ha lagts till.<\/p>\n Testverktyget f\u00f6r robots.txt \u00e4r endast tillg\u00e4ngligt i den \u00e4ldre versionen av Google Search Console. Om din webbplats inte \u00e4r ansluten till Google Search Console m\u00e5ste du g\u00f6ra detta f\u00f6rst.<\/p>\n Bes\u00f6k Googles supportsida och klicka p\u00e5 knappen “\u00f6ppna robots tester.txt”. V\u00e4lj den egenskap du vill testa och du kommer sedan till en sk\u00e4rm, som den som visas nedan.<\/p>\n robots.txt-testaren i Googles support<\/p>\n SEO startpaket<\/p>\n <\/span>Anv\u00e4ndning av en Robots.txt-fil<\/span><\/h2>\n
<\/span>1. Blockera alla sp\u00e5rare<\/span><\/h3>\n
<\/span>2. Till\u00e5t inte att vissa sidor genoms\u00f6ks<\/span><\/h3>\n
<\/span>Exempel p\u00e5 Robots.txt-fildirektiv<\/span><\/h2>\n
<\/span>1. Anv\u00e4ndaragent<\/span><\/h3>\n
<\/span>Anv\u00e4ndaragenter kommer bara att f\u00f6lja de regler som de flesta g\u00e4ller f\u00f6r dem.<\/span><\/h3>\n
<\/span>Nedan finns flera exempel p\u00e5 hur du kan anv\u00e4nda disallow-direktivet.<\/strong><\/span><\/h4>\n
<\/span>Disallow: \/portfolio<\/strong><\/span><\/h4>\n
<\/span>Ett b\u00e4ttre alternativ kan vara att skapa en mapp f\u00f6r din PDF eller andra filer och sedan inte till\u00e5ta s\u00f6krobotar att genoms\u00f6ka den och inte indexera hela katalogen med en metatagg.<\/strong><\/span><\/h4>\n
<\/span>* (asterisk) du ser ovan \u00e4r vad vi kallar ett “jokertecken” uttryck. N\u00e4r vi anv\u00e4nder en asterisk, antyder vi att f\u00f6ljande regler m\u00e5ste g\u00e4lla f\u00f6r alla anv\u00e4ndaragenter.<\/span><\/h3>\n
<\/span>Till\u00e5t: \/portfolio\/crawlableportfolio<\/span><\/h3>\n
<\/span>https:\/\/dinwebbplats.com\/webbplatskarta.xml<\/span><\/h3>\n
<\/span>Detta \u00e4r ett direktiv du b\u00f6r vara f\u00f6rsiktig med. P\u00e5 en mycket stor webbplats kan du avsev\u00e4rt minimera antalet webbadresser som genoms\u00f6ks varje dag, vilket skulle vara kontraproduktivt. Detta kan dock vara anv\u00e4ndbart p\u00e5 mindre webbplatser, d\u00e4r bots bes\u00f6ker f\u00f6r mycket.<\/span><\/h3>\n
<\/span>Inte till\u00e5ta: \/ *?<\/span><\/h2>\n
\n
<\/span>Du kan ocks\u00e5 anv\u00e4nda ett robots.txt-generatorverktyg f\u00f6r att hj\u00e4lpa dig att f\u00f6rbereda ett som kan hj\u00e4lpa till att minimera fel.<\/span><\/h2>\n
<\/p>\n
<\/p>\n