Robots.txt tiedosto

Mikä on Robots.txt tiedosto? Robots.txt on tiedosto, jonka avulla voidaan ohjata hakukoneiden robotteja sivun indeksoinnissa. Tiedoston avulla voit joko sallia tai estää hakukoneita löytämään sivustosi ja antamalla niille luvan indeksoida sivusi nettiin. Tiedosto ei todellisuudessa estä kaikkia hakukoneita ja ne…