با یادگیری یک هفته ای که درباره بش شروع کردم باید این راه جواب بده: با wget لینکهای اولیهتون رو توی یک پوشه یکسان دانلود کنید. مجموعه ای از فایل های html میشه که میتونید با grep -ro پوشه رو برای عبارت http جستجو کنید. درسته؟ اگر درست بود دست قشنگه رو بزنید
خب ایشون گفتن elinks ولی خب wget معقول تره. اسم فایل هرچی هست بدین صورت : (ابتدا http ها رو جدا میکنیم و بعد ftp ها رو در نهایت امر هم دانلود!)
cat /path/to/list | grep http > list
cat /path/to/list | grep ftp >> list
wget -i /path/to/list
توضیح خط به خط :
1- میگه فایل رو منتشر کن و هرچی http هست رو بریز توی list
2- میگه با ftp ها فایل رو بروز کن (>> نشونه بروز رسانی هست)
3- میگه از این لیست هرچی هست دان کن !