скачивание robots.txt

[absurdo]

подскажите пожалуйста скрипт для решения такой задачи: есть файл со списком адресов сайтов, каждый сайт с новой строки, адрес начинается с http:// Нужно скачать файл robots.txt у каждого сайта, и сохранить с именем домена, например: mysiteru.txt (содержит robots.txt сайта mysite,ru), mysitecomua.txt (mysite.com.ua), subdomainmysitenet.txt (subdomain.mysite.net).

 

[ask0n]

cat filename | awk -F/ '{print $0" -O "$3}' | xargs -L1 wget

Это если в файле есть полный путь к robots.txt в URL, если нет, тогда так:

cat filename | awk -F/ '{print $0"/robots.txt -O "$3}' | xargs -L1 wget

 

[absurdo]

спасибо, на выходных будет доступ к никсу, попробую.

 

[rayahari]

А в каком формате сохранить этот скрипт? Или каждый раз через терминал проганять?

 

[absurdo]

А в каком формате сохранить этот скрипт? Или каждый раз через терминал проганять?

в формате bash