روشی برای دانلود یک لینک به صورت خودکار توسط اوبونتو (حل شد)

[رسول سعیدنژاد]

سلام دوستان.
سریع میرم سراغ اصل مطلب.
فرض کنین یه سایت هست که هر روز یه لینک جدید میذاره (کنار لینک های روزهای قبل) و من میخوام اون لینک بلافاصله که به اون سایت اضافه شد، اوبونتو دانلودش کنه. بحث دانلودش که حله. با آریا2 دانلود می کنم. اون سایت هم انجمن هست و مسلما باید یوزر و پسورد هم بدم که باز مشکلی نیست. موضوع سر اینه که چجوری دستور بدم که جدیدترین لینکی که به اون سایت اضافه شد رو به صورت خودکار دانلود کنه؟
البته مسلما توی اون پیج انجمن، لینک های زیادی هست. ولی اگه بشه من می تونم DOM مربوط به قسمت لینک ها رو فقط بردارم و لینک های قدیمی رو هم استثناء قرار بدم و بگم فقط اون لینکی که غیر از اون استثناء هاس رو دانلود کنه. (آخه هر لینک آدرسش فرق داره. نمیشه مثلا بگیم لینک اول بوده فلان آخرش EP01 بعد لینک بعدی باشه همون آخرش EP02. کلا هر لینک آدرسش فرق داره، پس نمی تونم لینک رو پیش بینی کنم و بذارم که هر وخ اومد بگیرم  )
راهی هست؟
مرسی 

[رسول سعیدنژاد]

یه کار دیگه هم میشه کرد.
بیاییم یه دستور به آریا بدیم که همه ی فایل های زیپ رو از فلان آدرس دانلود کنه. خب اینا زیرنویسن در اصل و حجمی هم ندارن. می تونم دستوری بدم که همه ی زیپ هارو بگیره از سایت. بعد به کرون دستور بدم که مثلا 5 دقیقه ای یه بار اون دستور رو اجرا کنه. که اگه زیپ بعدی به اون سایت اضافه شد، دانلودش کنه. و چون قبلیا رو قبلا دانلود کرده دیگه چیز اضافه تری نمی گیره و فقط همون جدیدی رو میگیره.
خب حالا چه دستوری؟ 

[abedzadeh]

سلام رسول خان
حقیقتش جوابتون رو نمیدونم
ولی یادمه یه نفر از جادی همین سوال رو کرده بود و جادی توی وبلاگش درباره ی این روش مفصل و حتی بیشتر از این موضوع توضیح داده بود
متاسفانه در حال حاضر با این گوشی نمیتونم سرچ کنم ، خودتون یه سرچی بزنید توی وبلاگ جادی ، شاید فرجی شد

[Masoud92m]

سلام
فکر کنم منظور Minion این باشه:

کد: [انتخاب]

http://jadi.net/2013/09/dl-the-book/
که زیاد برای چیزی که میخوای مناسب نیست .
میتونی از wget و cron استفاده کنی، wget ی سویچ داره با این شکل

کد: [انتخاب]

wget -A.zip
که میگه فقط فایل های zip رو بگیر ، فایل تکراری هم نمیگیره، بقیه دستورات هم که سادست .
البته شاید خیلی بهینه نباشه، چون هی باید سایت رو زیر و رو کنه !

[رسول سعیدنژاد]

هیچ کس، هیچ فصلی را بر بهار ترجیح نمی دهد. بهار فصل
رهایی از "خاک" است.بیایید همه ی فصل ها بهاری بمانیم

سلام. مرسی. آره دیده بودم. یکی هم بود راجب به دانلود آهنگ های یه سایت. که اونجا هم یه دستور خیلی کاربردی معرفی کرده بود. ولی فکر نمی کنم کاملا در اینجا به کارم بیان. فکر کنم باید با دستورات ترکیبی بیشتری کار کنم تا به نتیجه برسم.
بازم ممنون. 

که میگه فقط فایل های zip رو بگیر ، فایل تکراری هم نمیگیره، بقیه دستورات هم که سادست .

مرسی مسعود جان.
خب اونوخ نمیشه این سوییچ رو روی همون لینک مشخص ست کنیم؟؟ مثلا توی فلان لینک، بگرده هرچی zip هست بگیره؟

[Masoud92m]

خب اونوخ نمیشه این سوییچ رو روی همون لینک مشخص ست کنیم؟؟ مثلا توی فلان لینک، بگرده هرچی zip هست بگیره؟

اها! لینک مشخص داری ؟ فکر کردم توی کل سایت میخوای بگردی !
خوب من بودم یه همچین چیزی مینوشتم توی یه فایل:

کد: [انتخاب]

wget -rc -w 5 -A.zip -np -P DOWNLOAD_DIRECTORY DOWNLOAD_URL
بعد میذاشتمش توی cron

[رسول سعیدنژاد]

مرسی.
یه توضیحی هم راجب به آپشن ها میدی؟؟
 

[رسول سعیدنژاد]

راستی.
انجمن نیاز به یوزر پسورد داره. من توی wget یوزر پسورد رو با آپشن های --user‌ و --password وارد می کنم ولی جواب نمیده
دستور دقیقش برای یوزر و پسورد دادن چیه؟

[رسول سعیدنژاد]

ببین کل قضیه ی من اینجوریه
http://forum.korean-dream.ir/thread22266.html
این پیج رو ببین. توش 24 تا زیرنویس باید بیاد. تا اینجا 22 تا اومده (یکیش همین الان اومد که میخواستم با این دستور بگیرم که نشد  )
میخوام دو فایل 23 و 24 رو که هفته ی آینده توی این پیج قرار میگیرن و خود سیستم دانلود کنه به صورت خودکار.
خب الان بگیم zip ها رو بگیره، کارم راه می افته. چون میذارم توی کرون و بعد zip های جدید هروخ اومدن میگیرتشون. ولی با این دستوری که میدی، داره کل اون سایت رو دانلود میکنه. و zipی هم توشون نبود اصن 

[Masoud92m]

مرسی.
یه توضیحی هم راجب به آپشن ها میدی؟؟
 

خواهش میکنم، اونم به چشم
r یا همون recursive برای دانلود بازگشتی هست، لینک یه فایل html میدی توشم میگرده ! یه دستور خوب همراش هم اینه:

کد: [انتخاب]

wget -l2(L کوچیک و عدد ۲) میگه که ۲ مرحله بیشتر جلو نرو،‌ به جای ۲ میشه هر عددی گذاشت

c یا continue در کل برای ادامه دانلود هست، اما نکتش اینه اگه از c استفاده کنی فایلی که دانلودش تموم شده رو کاری نداره، اما اگه c نباشه از اول دوباره دانلود میکنه !

با w یا wait هم ۵ ثانیه توقف دادم، معمولا برای اینکه اسپم تشخیص داده نشیم !

A.zip هم که accept هست

np یه no-parent از معنیش مشخصه که میگه با مسیر بالاتر (والد) بر نگرد

P هم برای دایرکتوری دانلود

برای یوزر و پسورد:

کد: [انتخاب]

wget --user=user --password=password

[Masoud92m]

نکته مهم اینه اگه انجمن هست به جای یوزر و پسورد نیاز به کوکی داری و کوکی رو باید بدی به wget با این دستور

کد: [انتخاب]

wget --load-cookies FILE
کوکی رو هم میتونی از مرورگر بگیری، برای هر مرورگر راه های مختلفی هست که توی نت میتونی پیدا کنی

[رسول سعیدنژاد]

اوکی. مرسی. تست می کنم خبر میدم 

[رسول سعیدنژاد]

بازم جواب نداد. 

کد: [انتخاب]

wget -rc -l1 -w2 -A.zip -np -P /home/kubuntu/Downloads/ --load-cookies=cookies.txt http://forum.korean-dream.ir/thread22266.html

کد: [انتخاب]

wget -rc -l1 -w2 -A.zip -np -P /home/kubuntu/Downloads/ --load-cookies=cookies.txt http://forum.korean-dream.ir/thread22266.html   
Cannot open cookies file ‘cookies.txt’: No such file or directory
--2015-04-01 15:14:48--  http://forum.korean-dream.ir/thread22266.html
Resolving forum.korean-dream.ir (forum.korean-dream.ir)... 37.187.149.210
Connecting to forum.korean-dream.ir (forum.korean-dream.ir)|37.187.149.210|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘/home/kubuntu/Downloads/forum.korean-dream.ir/thread22266.html’

    [  <=>                                                                    ] 29,925       115KB/s   in 0.3s   

2015-04-01 15:14:49 (115 KB/s) - ‘/home/kubuntu/Downloads/forum.korean-dream.ir/thread22266.html’ saved [29925]

Loading robots.txt; please ignore errors.
--2015-04-01 15:14:51--  http://forum.korean-dream.ir/robots.txt
Connecting to forum.korean-dream.ir (forum.korean-dream.ir)|37.187.149.210|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1381 (1.3K) [text/plain]
Saving to: ‘/home/kubuntu/Downloads/forum.korean-dream.ir/robots.txt’

100%[========================================================================>] 1,381       --.-K/s   in 0.007s 

2015-04-01 15:14:51 (204 KB/s) - ‘/home/kubuntu/Downloads/forum.korean-dream.ir/robots.txt’ saved [1381/1381]

Removing /home/kubuntu/Downloads/forum.korean-dream.ir/thread22266.html since it should be rejected.

--2015-04-01 15:14:53--  http://forum.korean-dream.ir/
Connecting to forum.korean-dream.ir (forum.korean-dream.ir)|37.187.149.210|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘/home/kubuntu/Downloads/forum.korean-dream.ir/index.html’

    [                    <=>                                                  ] 346,027     57.4KB/s   in 5.3s   

2015-04-01 15:14:59 (63.2 KB/s) - ‘/home/kubuntu/Downloads/forum.korean-dream.ir/index.html’ saved [346027]

Removing /home/kubuntu/Downloads/forum.korean-dream.ir/index.html since it should be rejected.

--2015-04-01 15:15:01--  http://forum.korean-dream.ir/sitemap/
Connecting to forum.korean-dream.ir (forum.korean-dream.ir)|37.187.149.210|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘/home/kubuntu/Downloads/forum.korean-dream.ir/sitemap/index.html’

    [    <=>                                                                  ] 33,477      54.3KB/s   in 0.6s   

2015-04-01 15:15:02 (54.3 KB/s) - ‘/home/kubuntu/Downloads/forum.korean-dream.ir/sitemap/index.html’ saved [33477]

Removing /home/kubuntu/Downloads/forum.korean-dream.ir/sitemap/index.html since it should be rejected.

FINISHED --2015-04-01 15:15:02--
Total wall clock time: 15s
Downloaded: 4 files, 401K in 6.2s (64.6 KB/s)
اصلا فایل های Zip رو دانلود نمی کنه.

[Masoud92m]

خوب جرا l- رو ۱ گذاشتی ؟! تو سطح ۱ که فقط html هست خوب !

[رسول سعیدنژاد]

2 هم گذاشتم. بدون l هم گذاشتم.
وقتی 2 میذارم یا بدون l کلا میذارم، داره همه چی رو دانلود میکنه (صدتا پوشه دانلود کرده) بدون هیچ فایل زیپی. مگه قرار نیست فقط zip رو دانلود کنه؟؟ این که داره کل سایت رو میگیره