آقا دوست دارم بدونم چه کردی که روی رم زیر ۸ نمیشه اجراش کرد. یک نگاه به کدت میندازم و بهبودش میدم. البته اگه بتونم
موقع دانلود، همه لینک هارو همزمان توی مرورگر باز میکنه. چند صد تا لینکه درست یادم نیست چند تا. اگه منابع ضعیفی داشته باشید خب ممکنه به سیستم فشار بیاره. اینهمه تب مرورگر (:
حتما یه راهی هست که لینک ها رو یکی یکی باز کنه. من فعلا حوصلهاش رو ندارم
خب این اشتباهه، این ایده رو من قبلتر پیاده کردم و اینطوری شد که رم سرور به فنا نره:
import requests
links = [...]
for link in links:
res = requests.get(link)
with open(f'{link}.jpg', 'wb') as out:
out.write(res.content)
out.close()
حالا برای بهتر شدن اونجایی که رکوئست میدی، میتونی try, except هم بذاری.
خب همشو دانلود کن، بعد برو با gzip یا 7zip فشردش کن، تورنتش کن و لینکشو بزار اینجا. اگه حجمشون در حد پنجاه مگه با tar یکجاشون کن و فشردشونم نکن. هرچند شاید استفاده ای نداشته باشه.
فکر کنم ایشون میخواسته web scrapping یاد بگیره و این راه رو رفته. در کل با بخش آخر حرفت خیلی موافقم که ممکنه استفادهای نداشته باشه (بخصوص اون کانفیگهای قدیمی میزکارها) ولی خب برای یادگیری جای خوبی آمده سراغ دیتا.