robots.txt, SEO und Crawling-Steuerung
Die robots.txt Datei dient dazu, Webcrawler anzuweisen, welche Bereiche einer Domain gecrawlt werden sollen und welche nicht. Heute erkläre ich Dir, wofür Du die robots.txt nutzen kannst, wie sie aufgebaut ist und was es zu beachten gibt.