Robots.txt tiedosto

Mikä on Robots.txt tiedosto?

Robots.txt on tiedosto, jonka avulla voidaan ohjata hakukoneiden robotteja sivun indeksoinnissa. Tiedoston avulla voit joko sallia tai estää hakukoneita löytämään sivustosi ja antamalla niille luvan indeksoida sivusi nettiin.

Tiedosto ei todellisuudessa estä kaikkia hakukoneita ja ne eivät välttämättä toimi haluamallasi tavalla. Pääsääntöisesti ne noudattavat Robots.txt tiedoston ohjeita sivuston indeksoinnissa.

Tiedoston avulla voit halutessasi antaa erilaisia ohjeita hakukoneille.

Missä tiedosto sijaitsee

Tiedosto tulee aina lisätä palvelimen päähakemistoon eli juurihakemistoon. Tiedoston URL on seuraava: https://www.digivinkit.fi/robots.txt

Robots.txt tiedosto ja yleisimmät komennot

Olemme listanneet yleisempiä komentoja, joita voit käyttää Robots.txt tiedostossa.

User-agent: *   [tarkoittaa kaikkia hakukoneita]
Disallow: /   [URL-merkkijono jota ei indeksoida]
Allow: /   [URL-merkkijono joka indeksoidaan]

 

Estä koko sivuston tai webbi-sivun indeksointi

User-agent: *
Disallow: /

 

 Salli koko sivuston tai webbi-sivun indeksointi

 

User-agent: *
Allow: /

 

Estä hakemiston indeksointi

Yhden hakemiston estäminen tapahtuu seuraavasti. Esimerkissä estämme hakukoneita indeksoimasta hakemiston /kuvat.

Kuvat hakemiston URL on seuraava: http://www.sivu.fi/kuvat/.

User-agent: *
Disallow: /kuvat/

 
Sivun indeksoinnin estäminen

Aikaisemmin estimme hakukoneita löytämästä kansiota / hakemistoa mutta voit estää myös yhden ainoan sivun indeksoinnin.

Esimerkissä estetään sivun sivu1.html indeksointi, joka on /kuvat hakemistossa.

User-agent: *
Disallow: /kuvat/sivu1.html

 
Sivun indeksoinnin salliminen

Esimerkissä sallitaan sivun sivu1.html indeksointi, joka sijaitsee hakemistossa /kuvat. Kansion /kuvat indeksointi on estetty mutta sallitaan sivun sivu1.html indeksointi estetystä kansiosta.

User-agent: *
Disallow: /kuvat
Allow: /kuvat/sivu1.html

 
Sivukartta parametri

Jos haluat helpottaa sivustokarttatiedostosi automaattista löytämistä robots.txt tiedoston kautta, niin sinun tarvitsee vain ilmoittaa URL-osoite robots.txt tiedostossa.

Sitemap: https://www.digivinkit.fi/sitemap.xml
User-agent:*
Disallow

 

WordPress sivustolle tarkoitettu sivukartta

Tässä on esimerkki pohja sivukartalle, joka toimii WordPress sivustossa. Voit lisätä siihen lisää omia hakemistoja, joita et halua hakukoneiden indeksoivan.

 

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /wp-content/plugins/

 
Tiedoston testaaminen

Voit testata ja varmistaa Robots.txt tiedoston toimivuuden esimerkiksi täällä: Robots.txt tester







Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *