Die robots.txt-Datei ist eine einfache Textdatei, die Webseitenbesitzer auf ihrem Server ablegen können, um Crawlern mitzuteilen, welche Seiten sie besuchen dürfen und welche nicht. Zum Beispiel kann ein Unternehmer mit einer robots.txt verhindern, dass bestimmte Seiten wie die Admin-Oberfläche von Crawlern erfasst werden, um diese Inhalte zu schützen.
Bots auf der Website – hilfreich oder störend? In dieser Folge erfährst du, wie du als Einzelunternehmer Bots erkennst, ihren Nutzen oder Schaden einschätzt und gezielt entscheiden kannst, ob du … Weiterlesen …