Ignorierien der robots.txt-Datei unter wget
Das Downloadwerkzeug wget beachtet beim Download einer URL die robots.txt — damit werden bestimmte Dateien vom Download ausgeschlossen wenn dies der Webmaster wünscht:
wget -r --random-wait --timestamping http://example.org
Unter Umständen ist es aber manchmal notwendig die robots.txt–Datei zu ignorieren. Weiterlesen »

