انجمن‌های فارسی اوبونتو
کمک و پشتیبانی => راهنماها، نکات و ترفندها => نویسنده: رسول سعیدنژاد در 12 فروردین 1394، 12:02 ب‌ظ
-
سلام دوستان.
سریع میرم سراغ اصل مطلب.
فرض کنین یه سایت هست که هر روز یه لینک جدید میذاره (کنار لینک های روزهای قبل) و من میخوام اون لینک بلافاصله که به اون سایت اضافه شد، اوبونتو دانلودش کنه. بحث دانلودش که حله. با آریا2 دانلود می کنم. اون سایت هم انجمن هست و مسلما باید یوزر و پسورد هم بدم که باز مشکلی نیست. موضوع سر اینه که چجوری دستور بدم که جدیدترین لینکی که به اون سایت اضافه شد رو به صورت خودکار دانلود کنه؟
البته مسلما توی اون پیج انجمن، لینک های زیادی هست. ولی اگه بشه من می تونم DOM مربوط به قسمت لینک ها رو فقط بردارم و لینک های قدیمی رو هم استثناء قرار بدم و بگم فقط اون لینکی که غیر از اون استثناء هاس رو دانلود کنه. (آخه هر لینک آدرسش فرق داره. نمیشه مثلا بگیم لینک اول بوده فلان آخرش EP01 بعد لینک بعدی باشه همون آخرش EP02. کلا هر لینک آدرسش فرق داره، پس نمی تونم لینک رو پیش بینی کنم و بذارم که هر وخ اومد بگیرم ;))
راهی هست؟
مرسی ;)
-
یه کار دیگه هم میشه کرد.
بیاییم یه دستور به آریا بدیم که همه ی فایل های زیپ رو از فلان آدرس دانلود کنه. خب اینا زیرنویسن در اصل و حجمی هم ندارن. می تونم دستوری بدم که همه ی زیپ هارو بگیره از سایت. بعد به کرون دستور بدم که مثلا 5 دقیقه ای یه بار اون دستور رو اجرا کنه. که اگه زیپ بعدی به اون سایت اضافه شد، دانلودش کنه. و چون قبلیا رو قبلا دانلود کرده دیگه چیز اضافه تری نمی گیره و فقط همون جدیدی رو میگیره.
خب حالا چه دستوری؟ ;D
-
سلام رسول خان
حقیقتش جوابتون رو نمیدونم
ولی یادمه یه نفر از جادی همین سوال رو کرده بود و جادی توی وبلاگش درباره ی این روش مفصل و حتی بیشتر از این موضوع توضیح داده بود
متاسفانه در حال حاضر با این گوشی نمیتونم سرچ کنم ، خودتون یه سرچی بزنید توی وبلاگ جادی ، شاید فرجی شد :)
-
سلام
فکر کنم منظور Minion این باشه:
http://jadi.net/2013/09/dl-the-book/
که زیاد برای چیزی که میخوای مناسب نیست .
میتونی از wget و cron استفاده کنی، wget ی سویچ داره با این شکل
wget -A.zip
که میگه فقط فایل های zip رو بگیر ، فایل تکراری هم نمیگیره، بقیه دستورات هم که سادست .
البته شاید خیلی بهینه نباشه، چون هی باید سایت رو زیر و رو کنه !
-
هیچ کس، هیچ فصلی را بر بهار ترجیح نمی دهد. بهار فصل
رهایی از "خاک" است.بیایید همه ی فصل ها بهاری بمانیم
سلام. مرسی. آره دیده بودم. یکی هم بود راجب به دانلود آهنگ های یه سایت. که اونجا هم یه دستور خیلی کاربردی معرفی کرده بود. ولی فکر نمی کنم کاملا در اینجا به کارم بیان. فکر کنم باید با دستورات ترکیبی بیشتری کار کنم تا به نتیجه برسم.
بازم ممنون. ;)
که میگه فقط فایل های zip رو بگیر ، فایل تکراری هم نمیگیره، بقیه دستورات هم که سادست .
مرسی مسعود جان.
خب اونوخ نمیشه این سوییچ رو روی همون لینک مشخص ست کنیم؟؟ مثلا توی فلان لینک، بگرده هرچی zip هست بگیره؟
-
خب اونوخ نمیشه این سوییچ رو روی همون لینک مشخص ست کنیم؟؟ مثلا توی فلان لینک، بگرده هرچی zip هست بگیره؟
اها! لینک مشخص داری ؟ فکر کردم توی کل سایت میخوای بگردی !
خوب من بودم یه همچین چیزی مینوشتم توی یه فایل:
wget -rc -w 5 -A.zip -np -P DOWNLOAD_DIRECTORY DOWNLOAD_URL
بعد میذاشتمش توی cron
-
مرسی.
یه توضیحی هم راجب به آپشن ها میدی؟؟
;)
-
راستی.
انجمن نیاز به یوزر پسورد داره. من توی wget یوزر پسورد رو با آپشن های --user و --password وارد می کنم ولی جواب نمیده
دستور دقیقش برای یوزر و پسورد دادن چیه؟
-
ببین کل قضیه ی من اینجوریه
http://forum.korean-dream.ir/thread22266.html (http://forum.korean-dream.ir/thread22266.html)
این پیج رو ببین. توش 24 تا زیرنویس باید بیاد. تا اینجا 22 تا اومده (یکیش همین الان اومد که میخواستم با این دستور بگیرم که نشد ;D)
میخوام دو فایل 23 و 24 رو که هفته ی آینده توی این پیج قرار میگیرن و خود سیستم دانلود کنه به صورت خودکار.
خب الان بگیم zip ها رو بگیره، کارم راه می افته. چون میذارم توی کرون و بعد zip های جدید هروخ اومدن میگیرتشون. ولی با این دستوری که میدی، داره کل اون سایت رو دانلود میکنه. و zipی هم توشون نبود اصن ;D
-
مرسی.
یه توضیحی هم راجب به آپشن ها میدی؟؟
;)
خواهش میکنم، اونم به چشم ;)
r یا همون recursive برای دانلود بازگشتی هست، لینک یه فایل html میدی توشم میگرده ! یه دستور خوب همراش هم اینه:
wget -l2(L کوچیک و عدد ۲) میگه که ۲ مرحله بیشتر جلو نرو، به جای ۲ میشه هر عددی گذاشت
c یا continue در کل برای ادامه دانلود هست، اما نکتش اینه اگه از c استفاده کنی فایلی که دانلودش تموم شده رو کاری نداره، اما اگه c نباشه از اول دوباره دانلود میکنه !
با w یا wait هم ۵ ثانیه توقف دادم، معمولا برای اینکه اسپم تشخیص داده نشیم !
A.zip هم که accept هست
np یه no-parent از معنیش مشخصه که میگه با مسیر بالاتر (والد) بر نگرد
P هم برای دایرکتوری دانلود
برای یوزر و پسورد:
wget --user=user --password=password
-
نکته مهم اینه اگه انجمن هست به جای یوزر و پسورد نیاز به کوکی داری و کوکی رو باید بدی به wget با این دستور
wget --load-cookies FILE
کوکی رو هم میتونی از مرورگر بگیری، برای هر مرورگر راه های مختلفی هست که توی نت میتونی پیدا کنی
-
اوکی. مرسی. تست می کنم خبر میدم ;)
-
بازم جواب نداد. ](*,)
wget -rc -l1 -w2 -A.zip -np -P /home/kubuntu/Downloads/ --load-cookies=cookies.txt http://forum.korean-dream.ir/thread22266.html
wget -rc -l1 -w2 -A.zip -np -P /home/kubuntu/Downloads/ --load-cookies=cookies.txt http://forum.korean-dream.ir/thread22266.html
Cannot open cookies file ‘cookies.txt’: No such file or directory
--2015-04-01 15:14:48-- http://forum.korean-dream.ir/thread22266.html
Resolving forum.korean-dream.ir (forum.korean-dream.ir)... 37.187.149.210
Connecting to forum.korean-dream.ir (forum.korean-dream.ir)|37.187.149.210|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘/home/kubuntu/Downloads/forum.korean-dream.ir/thread22266.html’
[ <=> ] 29,925 115KB/s in 0.3s
2015-04-01 15:14:49 (115 KB/s) - ‘/home/kubuntu/Downloads/forum.korean-dream.ir/thread22266.html’ saved [29925]
Loading robots.txt; please ignore errors.
--2015-04-01 15:14:51-- http://forum.korean-dream.ir/robots.txt
Connecting to forum.korean-dream.ir (forum.korean-dream.ir)|37.187.149.210|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1381 (1.3K) [text/plain]
Saving to: ‘/home/kubuntu/Downloads/forum.korean-dream.ir/robots.txt’
100%[========================================================================>] 1,381 --.-K/s in 0.007s
2015-04-01 15:14:51 (204 KB/s) - ‘/home/kubuntu/Downloads/forum.korean-dream.ir/robots.txt’ saved [1381/1381]
Removing /home/kubuntu/Downloads/forum.korean-dream.ir/thread22266.html since it should be rejected.
--2015-04-01 15:14:53-- http://forum.korean-dream.ir/
Connecting to forum.korean-dream.ir (forum.korean-dream.ir)|37.187.149.210|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘/home/kubuntu/Downloads/forum.korean-dream.ir/index.html’
[ <=> ] 346,027 57.4KB/s in 5.3s
2015-04-01 15:14:59 (63.2 KB/s) - ‘/home/kubuntu/Downloads/forum.korean-dream.ir/index.html’ saved [346027]
Removing /home/kubuntu/Downloads/forum.korean-dream.ir/index.html since it should be rejected.
--2015-04-01 15:15:01-- http://forum.korean-dream.ir/sitemap/
Connecting to forum.korean-dream.ir (forum.korean-dream.ir)|37.187.149.210|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘/home/kubuntu/Downloads/forum.korean-dream.ir/sitemap/index.html’
[ <=> ] 33,477 54.3KB/s in 0.6s
2015-04-01 15:15:02 (54.3 KB/s) - ‘/home/kubuntu/Downloads/forum.korean-dream.ir/sitemap/index.html’ saved [33477]
Removing /home/kubuntu/Downloads/forum.korean-dream.ir/sitemap/index.html since it should be rejected.
FINISHED --2015-04-01 15:15:02--
Total wall clock time: 15s
Downloaded: 4 files, 401K in 6.2s (64.6 KB/s)
اصلا فایل های Zip رو دانلود نمی کنه.
-
خوب جرا l- رو ۱ گذاشتی ؟! تو سطح ۱ که فقط html هست خوب !
-
2 هم گذاشتم. بدون l هم گذاشتم.
وقتی 2 میذارم یا بدون l کلا میذارم، داره همه چی رو دانلود میکنه (صدتا پوشه دانلود کرده) بدون هیچ فایل زیپی. مگه قرار نیست فقط zip رو دانلود کنه؟؟ این که داره کل سایت رو میگیره ](*,) ;D
-
kubuntu@Rasubuntu:~/Downloads/forum.korean-dream.ir$ tree
.
├── robots.txt
├── sitemap
└── users
├── 1
├── 1031
├── 11
├── 11105
├── 11875
├── 11943
├── 12240
├── 12529
├── 132
├── 13852
├── 15
├── 15073
├── 15272
├── 1615
├── 162
├── 16880
├── 1766
├── 17739
├── 18111
├── 18169
├── 20
├── 20630
├── 20979
├── 21303
├── 21597
├── 22015
├── 22090
├── 22624
├── 227
├── 229
├── 23358
├── 23418
├── 24
├── 2407
├── 24745
├── 249
├── 25237
├── 25515
├── 25657
├── 25797
├── 26
├── 26398
├── 26792
├── 27
├── 29
├── 29018
├── 29151
├── 29206
├── 293
├── 2936
├── 298
├── 3
├── 30163
├── 30260
├── 30914
├── 31
├── 31072
├── 31417
├── 32
├── 32122
├── 32387
├── 32872
├── 32894
├── 32917
├── 32940
├── 33038
├── 3322
├── 33238
├── 33272
├── 33554
├── 33887
├── 34166
├── 34295
├── 34300
├── 3478
├── 353
├── 3533
├── 36
├── 362
├── 37
├── 3998
├── 4
├── 404
├── 41
├── 4382
├── 44
├── 4470
├── 457
├── 475
├── 5
├── 530
├── 550
├── 56
├── 5752
├── 580
├── 619
├── 6316
├── 7
├── 7177
├── 7213
├── 764
├── 7677
├── 77
├── 8
├── 8234
├── 845
├── 848
├── 8606
├── 87
├── 88
├── 90
├── 904
├── 97
└── 9774
دستور رو اشتباه نمیزنم یحتمل؟؟
-
یکم با لینک ها ور رفتم دیدم تا یه جایی میشه آدرس رو توی سرورشون استفاده کرد. بعد از اون تیکه دیگه فایل ها توی سرور نیستن. معلوم نیست چجوری لینک دادن که توی سرور، به ترتیب نیستن. اعصابم ریخت بهم. راهی فکر نمی کنم برای این سایت داشته باشه. چون لینک های داخل اون سایت هم از خود سایت گرفته نشدن و یه آدرس دیگه دارن.
-
آقا رفتم با دستور mech-dump ببینم اصلا لینک ها رو توی خروجی نشون میده یا نه. دیدم نه! ;D اصلا فایل های زیپ توی اون لینک نیستن که wget بخواد بگیرتشون. معلوم نیست با خودشون چندچندن. ;D
-
انگاری که خیلی به هم ریختست، فکر نکنم wget بتونه کاری کنه، هوش مصنوعی لازم داره ! :D
-
انگاری که خیلی به هم ریختست، فکر نکنم wget بتونه کاری کنه، هوش مصنوعی لازم داره ! :D
خخخخ آره
Wget بیچاره تقصیری نداره. این سایته مورد داره. چون چندتا سایت دیگه تست کردم خیلی راحت ازشون دانلود می کنه.
اگه میشد یه اسکریپتی بنویسیم که یه html رو دانلود کنه بعد ازش خروجی بگیره با mech-dump بعد توشون zip رو سرچ کنه و اگه دید zip جدیدی اضافه شده (مثلا قبلا مشخص کرده باشیم که تعداد zipها چندتا بوده) اون زیپ رو با wget دانلود کنه.
ولی ایده بخوره تو سرم ;D مهم عمل کردنشه که دستوراتش رو بلد نیستم ;D
-
انگاری که خیلی به هم ریختست، فکر نکنم wget بتونه کاری کنه، هوش مصنوعی لازم داره ! :D
خخخخ آره
Wget بیچاره تقصیری نداره. این سایته مورد داره. چون چندتا سایت دیگه تست کردم خیلی راحت ازشون دانلود می کنه.
اگه میشد یه اسکریپتی بنویسیم که یه html رو دانلود کنه بعد ازش خروجی بگیره با mech-dump بعد توشون zip رو سرچ کنه و اگه دید zip جدیدی اضافه شده (مثلا قبلا مشخص کرده باشیم که تعداد zipها چندتا بوده) اون زیپ رو با wget دانلود کنه.
ولی ایده بخوره تو سرم ;D مهم عمل کردنشه که دستوراتش رو بلد نیستم ;D
چرا از ار اس اس استفاده نمیکنی؟؟؟؟؟
ساختار ار اس اس اینجوریه که لینک صفحه رو میدی هرچی جدید اومد نوتیفیکیشن میندازه میتونی از اون نوتیفیکیشن لینک دانلود بگیری بدی وی جت برات دانلود کنه.
-
چرا از ار اس اس استفاده نمیکنی؟؟؟؟؟
ساختار ار اس اس اینجوریه که لینک صفحه رو میدی هرچی جدید اومد نوتیفیکیشن میندازه میتونی از اون نوتیفیکیشن لینک دانلود بگیری بدی وی جت برات دانلود کنه.
سلام.
آر اس اس می تونه مودیفای یه پیج رو هم نوتیف بده؟؟ آخه لینک ها توی پست های جدید قرار نمی گیرن. یه تاپیک هست که همونو هر هفته ویرایش می کنن و لینک های جدید رو بهش اضافه می کنن. ;)
-
چرا از ار اس اس استفاده نمیکنی؟؟؟؟؟
ساختار ار اس اس اینجوریه که لینک صفحه رو میدی هرچی جدید اومد نوتیفیکیشن میندازه میتونی از اون نوتیفیکیشن لینک دانلود بگیری بدی وی جت برات دانلود کنه.
سلام.
آر اس اس می تونه مودیفای یه پیج رو هم نوتیف بده؟؟ آخه لینک ها توی پست های جدید قرار نمی گیرن. یه تاپیک هست که همونو هر هفته ویرایش می کنن و لینک های جدید رو بهش اضافه می کنن. ;)
والا تاپک رو زیاد مطمئن نیستم ولی لینکی مثل این (http://www.downloadha.com/1394/01/دانلود-سریال-تلویزیونی-در-حاشیه/) که هر روز قسمت جدید میزاره نوتیف میندازه.
-
والا تاپک رو زیاد مطمئن نیستم ولی لینکی مثل این که هر روز قسمت جدید میزاره نوتیف میندازه.
اینکه تاریخ پستش مال اردیبهشت 93 هست ;)
خب پس من برم از تاپیکش یه آر اس اس بگیرم (که شک دارم داشته باشه) ببینم موقع مودیفای کردن، نوتیف میده یا نه. از چه برنامه ای استفاده می کنی واسه آر اس اس؟ کی دی ای خودش یه برنامه ی آر اس اس داره. با خود براوزر کار میکنی؟ یا برنامه های توزیع؟
-
RSSش رو که توی فید کی دی ای میزنم اررور میده. فکر نکنم بتونم از RSS توی این انجمن استفاده کنم. ولی بالای تاپیک یه گزینه دیدم به اسم اشتراک. یه اشتراک فوری ایمیلی گرفتم شاید موقع مودیفای کردن ایمیل داد ;)
مرسی ;)
-
RSSش رو که توی فید کی دی ای میزنم اررور میده. فکر نکنم بتونم از RSS توی این انجمن استفاده کنم. ولی بالای تاپیک یه گزینه دیدم به اسم اشتراک. یه اشتراک فوری ایمیلی گرفتم شاید موقع مودیفای کردن ایمیل داد ;)
مرسی ;)
نمیدونم چرا قاط زده لینک فیلم در حاشیه رو دادم.O_o
http://www.downloadha.com/1394/01/دانلود-سریال-تلویزیونی-در-حاشیه/
الان دوباره اصلاحش کردم.
-
نمیدونم چرا قاط زده لینک فیلم در حاشیه رو دادم.
نگفتی با چه برنامه ای RSS میخونی؟؟ از همین سایت هم آر اس اس مختص به اون پست رو از کجا میاری وقتی توی خود سایت نباشه؟ نمیدونم این فایرفاکس چه مرگشه که RSS رو درون خودش نشون میده ولی ثبتش نمی کنه ](*,)
-
نمیدونم چرا قاط زده لینک فیلم در حاشیه رو دادم.
نگفتی با چه برنامه ای RSS میخونی؟؟ از همین سایت هم آر اس اس مختص به اون پست رو از کجا میاری وقتی توی خود سایت نباشه؟ نمیدونم این فایرفاکس چه مرگشه که RSS رو درون خودش نشون میده ولی ثبتش نمی کنه ](*,)
والا قبلا که اوپرای افسانه ای (opera legacy) داغون نشده بود با اون الان هم که از اوپرا 28(اون افسانه اییه 12.60بود) استفاده میکنم یک اکستنشن وظیفه لود کردن رو بر عهده داره.
اون اپرا 12.60 حتی توانایی فچ کردن ایمیل از هر میل سروری رو داشت حیف که دیگه بالا نمیاد بعد اپدیت ارچ اینجوری شد. ](*,) ](*,)
-
والا قبلا که اوپرای افسانه ای (opera legacy) داغون نشده بود با اون الان هم که از اوپرا 28(اون افسانه اییه 12.60بود) استفاده میکنم یک اکستنشن وظیفه لود کردن رو بر عهده داره.
اون اپرا 12.60 حتی توانایی فچ کردن ایمیل از هر میل سروری رو داشت حیف که دیگه بالا نمیاد بعد اپدیت ارچ اینجوری شد. ](*,) ](*,)
الان به نظرت من چکار کنم پس؟؟ راه دیگه ای سرغ نداری؟
یعنی با همون افزونه، آر اس اس اون پست خاص رو درمیاری؟؟ نمیشه دستی اون آدرس رو درآورد؟ تا مثلا خودمون بدیمش به یه آر اس اس ریدر دیگه؟
-
والا قبلا که اوپرای افسانه ای (opera legacy) داغون نشده بود با اون الان هم که از اوپرا 28(اون افسانه اییه 12.60بود) استفاده میکنم یک اکستنشن وظیفه لود کردن رو بر عهده داره.
اون اپرا 12.60 حتی توانایی فچ کردن ایمیل از هر میل سروری رو داشت حیف که دیگه بالا نمیاد بعد اپدیت ارچ اینجوری شد. ](*,) ](*,)
الان به نظرت من چکار کنم پس؟؟ راه دیگه ای سرغ نداری؟
یعنی با همون افزونه، آر اس اس اون پست خاص رو درمیاری؟؟ نمیشه دستی اون آدرس رو درآورد؟ تا مثلا خودمون بدیمش به یه آر اس اس ریدر دیگه؟
نمیدونم الان یه تست میزنم ببینم میتونم ادرس ار اس اسش رو برات در بیارم.
ویرایش:
ظاهرا سایتشون ار اس اس نداره یا کلا ار اس اسش مشکل داره.
-
ویرایش:
ظاهرا سایتشون ار اس اس نداره یا کلا ار اس اسش مشکل داره.
آدرس من یا آدرس همون دانلود سریال مدیری؟
این انجمن کره دریم که کلا پرته از مرحله. حیف که تو ایران، تنها انجمنی که زیرنویس اینو میذاره، همین انجمنه. وگرنه مجبور نمیشدم حتما ازش استفاده کنم.
بازم مرسی. زحمت کشیدی ;)
-
ویرایش:
ظاهرا سایتشون ار اس اس نداره یا کلا ار اس اسش مشکل داره.
آدرس من یا آدرس همون دانلود سریال مدیری؟
این انجمن کره دریم که کلا پرته از مرحله. حیف که تو ایران، تنها انجمنی که زیرنویس اینو میذاره، همین انجمنه. وگرنه مجبور نمیشدم حتما ازش استفاده کنم.
بازم مرسی. زحمت کشیدی ;)
ادرسی که خودت دادی.
مگه http://forum.korean-dream.ir/thread22266.html نیست؟
هی خدا نکنه ادم کارش بیفته به اینجور سایتای اعصاب خورد کن.
-
ولش دیگه تموم شد. سریال دیشب قسمت آخرش اومد و الان هم زیرنویسش رو گرفتم و دیدم و خلاص ;D
ولی اون دکمه ی مشترک شدن هم برای مودیفای کردن کاربرد نداشت.
در هر صورت طراح اون انجمن خیر نبینه ایشالا ;D که لینک های معلق در هوا درست کرده. لامصب اینقدرم سنگینه انجمنش که با گوشی اونم 3G نتونست لودش کنه. همین PC خودم هم به زور سایتش رو لود میکنه. همش هنگ می کنه ;D