Google kommer att sluta stödja Robots.txt Noindex: vad det betyder

Effektiv 1 september 2019, kommer Google inte längre att stödja robots.txt-direktivet relaterat till indexering. Det betyder att Google kommer att börja indexera dina webbsidor om du bara har förlitat dig på robots.txt-direktivet noindex för att ta bort dessa sidor från SERP:erna. Du har fram till 1 september på dig att ta bort den och använda en annan metod.

TILL noindex robots.txt är en tagg (vanligtvis i HTML) i din robots.txt-fil som förhindrar sökmotorer från att inkludera den sidan i SERP:erna.

Varför stöder inte Google det längre? Eftersom robots.txt noindex-direktivet inte är ett officiellt direktiv. Och som Google säger:

“I intresset av att upprätthålla ett sunt ekosystem och förbereda för eventuella framtida versioner av öppen källkod kommer vi att ta bort all kod som hanterar regler som inte stöds och opublicerade (som noindex) den 1 september 2019.”

Vi har hjälpt Fortune 500-företag, riskstödda startups och företag precis som dina. öka intäkterna snabbare. Få en kostnadsfri konsultation

Senaste Google-uppdateringar

Google har varit upptagen med att göra många uppdateringar under 2019. Som en recension är de mest anmärkningsvärda:

Juni 2019 Core Update. Google utfärdade ett officiellt uttalande som sa att “I morgon kommer vi att släppa en bred kärnalgoritmuppdatering, som vi gör flera gånger om året. Det kallas för juni 2019 Core Update. Vår vägledning om dessa uppdateringar är fortfarande vad vi har täckt tidigare.”

Imorgon släpper vi en bred uppdatering av kärnalgoritmen, som vi gör flera gånger om året. Det kallas kärnuppdateringen för juni 2019. Vår guide om dessa uppdateringar förblir densamma som vi har tagit upp tidigare. Kolla in den här tweeten för mer information om den: https://t.co/tmfQkhdjPL

– Google SearchLiaison (@searchliaison) 2 juni 2019

Uppdatering om mångfald. Den här lilla uppdateringen från juni är den som påverkar transaktionssökningar mest. Enligt uppdateringen siktar Google nu på att returnera resultat från unika domäner och kommer inte längre att visa mer än två resultat från samma domän.
Mars 2019 Huvuduppdatering. Detta är ytterligare en stor förändring av deras algoritm. Google bekräftade den här uppdateringen, men angav inget namn, så det är känt som Florida uppdatering 2 Vinka Google Broad Core Update 3/12. Ingen ny vägledning gavs för denna uppdatering.

Relaterad MIT-ingenjörer testar prototyp av en skyhög månrover med jonmotorer

Relaterat innehåll:

Adjö till Googles Noindex Robots.txt-direktiv

Nu, i juli 2019, har Google sagt adjö till odokumenterade och ostödda regler i robots.txt. Detta är vad Google twittrade den 2 juli 2019:

Idag säger vi adjö till odokumenterade och ostödda regler i robots.txt?

Om du förlitade dig på dessa regler kan du lära dig dina alternativ i vårt blogginlägg.https://t.co/Go39kmFPLT

– Google Webmasters (@googlewmc) 2 juli 2019

Om din webbplats använder noindex-direktivet i robots.txt-filen måste du använda andra alternativ. Enligt uttalandet på Googles officiella blogg för webbansvariga:

Orsaken till att stödet för robots.txt noindex avskaffades diskuterades också på Googles blogg:

“Särskilt fokuserar vi på regler som inte stöds av Internet Draft, såsom crawl-delay, nofollow och noindex. Eftersom dessa regler aldrig dokumenterades av Google, är deras användning i förhållande till Googlebot naturligtvis mycket låg. När vi grävde djupare såg vi att andra regler stred mot dess användning i alla utom 0,001 % av robots.txt-filerna på Internet. Dessa fel skadar webbplatsernas närvaro i Googles sökresultat på ett sätt som vi inte tror att webbansvariga avsett.”

Robots.txt: Robot Exclusion Protocol (REP)

Robot Exclusion Protocol (REP), mer känt som Robots.txt, har använts sedan 1994, men blev aldrig en officiell internetstandard. Men utan en ordentlig standard var både webbansvariga och sökrobotar förvirrade om vad som genomsöks. Dessutom uppdaterades aldrig REP för att täcka dagens hörnfall.

Enligt den officiella Google-bloggen:

”REP blev aldrig en officiell internetstandard, vilket innebär att utvecklare har tolkat protokollet något annorlunda genom åren. Och sedan starten har REP inte uppdaterats för att täcka dagens hörnfall. Detta är ett utmanande problem för webbplatsägare eftersom den tvetydiga de facto-standarden gör det svårt att skriva reglerna korrekt.”

För att få slut på denna förvirring har Google dokumenterat hur REP används på webben och skickat in det till IETF (Internet Engineering Task Force), som är en Open Standards Organization för att få Internet att fungera bättre.

Google sa i ett officiellt uttalande:

Relaterad PhotoGuard: ett nytt verktyg från MIT för att stoppa otillåtna bildmanipulationer

“Vi ville hjälpa webbplatsägare och utvecklare att skapa fantastiska upplevelser på Internet istället för att oroa sig för hur man kontrollerar spårare. Tillsammans med den ursprungliga författaren till protokollet, webbansvariga och andra sökmotorer, dokumenterade vi hur REP används på den moderna webben och skickade in den till IETF.”

Vad detta betyder för dig

Om du använder noindex i din robots.txt-fil kommer Google inte längre att respektera den. De har hedrat några av dessa implementeringar, även om John Mueller påminner oss:

Tja, vi har sagt att man inte ska vara beroende av det i flera år :).

-? John? (@JohnMu) 2 juli 2019

Du kommer att se ett meddelande i Google Search Console om du fortsätter att använda noindex i dina robots.txt-filer.

Relaterat innehåll:

Alternativ till att använda Robots.txt-indexeringsdirektivet

Om din webbplats fortfarande förlitar sig på robots.txt noindex-direktivet måste det ändras eftersom Googlebots inte kommer att följa reglerna i direktivet från och med den 1 september 2019. Men vad ska du använda istället? Här är några alternativ:

1) Blockera sökindexering med ‘noindex’ metatagg

För att förhindra sökmotorernas sökrobotar från att indexera en sida kan du använda metataggen ‘noindex’ och lägga till den i

avsnitt på din sida.

Alternativt kan du använda HTTP-svarsrubriker med en X-Robots-tagg som talar om för sökrobotar att inte indexera en sida:

HTTP/1.1 200 OK

(…)

X-Robots-tagg: noindex

2) Använd HTTP-statuskoderna 404 och 410

410 är statuskoden som returneras när destinationsresursen inte längre är tillgänglig på källservern.

Som HTTPstatuses påpekar:

“410-svaret är främst avsett att hjälpa till med webbunderhållsuppgiften genom att meddela mottagaren att resursen är avsiktligt otillgänglig och att serverägarna vill att fjärrlänkar till den resursen ska tas bort.”

404 liknar statuskod 410. Med John Muellers ord:

“Från vår synvinkel, på medellång/lång sikt, är en 404 detsamma som en 410 för oss. Så i båda fallen tar vi bort dessa webbadresser från vårt index.

Vi minskar vanligtvis på att genomsöka dessa webbadresser lite så att vi inte spenderar för mycket tid på att genomsöka saker som vi vet inte existerar.

Den subtila skillnaden här är att en 410 ibland faller av lite snabbare än en 404. Men vanligtvis pratar vi i storleksordningen ett par dagar eller så.

Relaterad Anlita inte Yoda för att driva din sökmarknadsföring

Så om du bara tar bort innehåll naturligt, så går det alldeles utmärkt att använda heller. Om du redan har tagit bort det här innehållet för länge sedan är det inte längre indexerat, så vi bryr oss inte om du använder en 404 eller en 410.”

3) Använd lösenordsskydd

Du kan dölja en sida bakom inloggningar eftersom Google inte indexerar sidor som är gömda bakom inloggningar eller betalinnehåll.

4) Tillåt inte robotar att använda Robots.txt

Du kan använda disallow-direktivet i robots.txt-filen för att tala om för sökmotorer att inte tillåta indexering av valda sidor, vilket helt enkelt betyder att du säger åt sökmotorer att inte genomsöka en specifik sida.

Med Googles ord:

“Medan sökmotorn också kan indexera en URL baserat på länkar från andra sidor, utan att se själva innehållet, är vårt mål att göra dessa sidor mindre synliga i framtiden.”

5) Använd Search Console URL-borttagningsverktyg

Du kan använda verktyget Ta bort webbadresser i Search Console för att tillfälligt ta bort en webbadress från sökresultaten. Detta block kommer att pågå i 90 dagar. Om du vill göra låset permanent kan du använda någon av de fyra metoderna som föreslagits ovan.