انجمن‌های فارسی اوبونتو

لطفاً به انجمن‌ها وارد شده و یا جهت ورود ثبت‌نام نمائید

لطفاً جهت ورود نام کاربری و رمز عبورتان را وارد نمائید


ارائه ۲۴٫۱۰ اوبونتو منتشر شد 🎉

نویسنده موضوع: روشی برای دانلود یک لینک به صورت خودکار توسط اوبونتو (حل شد)  (دفعات بازدید: 7233 بار)

0 کاربر و 2 مهمان درحال مشاهده موضوع.

آفلاین رسول سعیدنژاد

  • High Hero Member
  • *
  • ارسال: 3504
  • جنسیت : پسر
  • علی (ع): زَكَاةُ الْعِلْمِ نَشْرُه
سلام دوستان.
سریع میرم سراغ اصل مطلب.
فرض کنین یه سایت هست که هر روز یه لینک جدید میذاره (کنار لینک های روزهای قبل) و من میخوام اون لینک بلافاصله که به اون سایت اضافه شد، اوبونتو دانلودش کنه. بحث دانلودش که حله. با آریا2 دانلود می کنم. اون سایت هم انجمن هست و مسلما باید یوزر و پسورد هم بدم که باز مشکلی نیست. موضوع سر اینه که چجوری دستور بدم که جدیدترین لینکی که به اون سایت اضافه شد رو به صورت خودکار دانلود کنه؟
البته مسلما توی اون پیج انجمن، لینک های زیادی هست. ولی اگه بشه من می تونم DOM مربوط به قسمت لینک ها رو فقط بردارم و لینک های قدیمی رو هم استثناء قرار بدم و بگم فقط اون لینکی که غیر از اون استثناء هاس رو دانلود کنه. (آخه هر لینک آدرسش فرق داره. نمیشه مثلا بگیم لینک اول بوده فلان آخرش EP01 بعد لینک بعدی باشه همون آخرش EP02. کلا هر لینک آدرسش فرق داره، پس نمی تونم لینک رو پیش بینی کنم و بذارم که هر وخ اومد بگیرم  ;))
راهی هست؟
مرسی  ;)
« آخرین ویرایش: 15 فروردین 1394، 10:24 ب‌ظ توسط Rasubuntu »
نرم افزار، یک ابزاره. برای رسیدن به هدف ازش استفاده کنید. نرم افزار هدف شما نیست :) - آزادی، بزرگ‌ترین دروغ بشریت

آفلاین رسول سعیدنژاد

  • High Hero Member
  • *
  • ارسال: 3504
  • جنسیت : پسر
  • علی (ع): زَكَاةُ الْعِلْمِ نَشْرُه
یه کار دیگه هم میشه کرد.
بیاییم یه دستور به آریا بدیم که همه ی فایل های زیپ رو از فلان آدرس دانلود کنه. خب اینا زیرنویسن در اصل و حجمی هم ندارن. می تونم دستوری بدم که همه ی زیپ هارو بگیره از سایت. بعد به کرون دستور بدم که مثلا 5 دقیقه ای یه بار اون دستور رو اجرا کنه. که اگه زیپ بعدی به اون سایت اضافه شد، دانلودش کنه. و چون قبلیا رو قبلا دانلود کرده دیگه چیز اضافه تری نمی گیره و فقط همون جدیدی رو میگیره.
خب حالا چه دستوری؟  ;D
نرم افزار، یک ابزاره. برای رسیدن به هدف ازش استفاده کنید. نرم افزار هدف شما نیست :) - آزادی، بزرگ‌ترین دروغ بشریت

آفلاین abedzadeh

  • High Hero Member
  • *
  • ارسال: 1597
  • جنسیت : پسر
  • aliila
سلام رسول خان
حقیقتش جوابتون رو نمیدونم
ولی یادمه یه نفر از جادی همین سوال رو کرده بود و جادی توی وبلاگش درباره ی این روش مفصل و حتی بیشتر از این موضوع توضیح داده بود
متاسفانه در حال حاضر با این گوشی نمیتونم سرچ کنم ، خودتون یه سرچی بزنید توی وبلاگ جادی ، شاید فرجی شد :)
به گروه کاربران اوبونتوی ایرانی در جامعه ی استیم بپیوندید
http://steamcommunity.com/groups/Ubuntu-Iran
بازی های تحت پوشش : Dota2

آفلاین Masoud92m

  • High Hero Member
  • *
  • ارسال: 1349
  • جنسیت : پسر
سلام
فکر کنم منظور Minion این باشه:
http://jadi.net/2013/09/dl-the-book/
که زیاد برای چیزی که میخوای مناسب نیست .
میتونی از wget و cron استفاده کنی، wget ی سویچ داره با این شکل
wget -A.zip
که میگه فقط فایل های zip رو بگیر ، فایل تکراری هم نمیگیره، بقیه دستورات هم که سادست .
البته شاید خیلی بهینه نباشه، چون هی باید سایت رو زیر و رو کنه !
منتظر نباش که مرگ تو کی میاد / آزاد باش مثل من مثل خیلی ها
حتی اگه کسی سمت تو نمیاد / آزاد باش مثل من مثل خیلی ها
حتی اگه میبینی که کسی حرفتو نمیخواد / آزاد باش مثل من مثل خیلی ها
مثل من مثل خیلی ها ..... آزاد باش مثل من مثل خیلی ها

آفلاین رسول سعیدنژاد

  • High Hero Member
  • *
  • ارسال: 3504
  • جنسیت : پسر
  • علی (ع): زَكَاةُ الْعِلْمِ نَشْرُه
نقل‌قول
هیچ کس، هیچ فصلی را بر بهار ترجیح نمی دهد. بهار فصل
رهایی از "خاک" است.بیایید همه ی فصل ها بهاری بمانیم
سلام. مرسی. آره دیده بودم. یکی هم بود راجب به دانلود آهنگ های یه سایت. که اونجا هم یه دستور خیلی کاربردی معرفی کرده بود. ولی فکر نمی کنم کاملا در اینجا به کارم بیان. فکر کنم باید با دستورات ترکیبی بیشتری کار کنم تا به نتیجه برسم.
بازم ممنون.  ;)

نقل‌قول
که میگه فقط فایل های zip رو بگیر ، فایل تکراری هم نمیگیره، بقیه دستورات هم که سادست .
مرسی مسعود جان.
خب اونوخ نمیشه این سوییچ رو روی همون لینک مشخص ست کنیم؟؟ مثلا توی فلان لینک، بگرده هرچی zip هست بگیره؟
نرم افزار، یک ابزاره. برای رسیدن به هدف ازش استفاده کنید. نرم افزار هدف شما نیست :) - آزادی، بزرگ‌ترین دروغ بشریت

آفلاین Masoud92m

  • High Hero Member
  • *
  • ارسال: 1349
  • جنسیت : پسر
خب اونوخ نمیشه این سوییچ رو روی همون لینک مشخص ست کنیم؟؟ مثلا توی فلان لینک، بگرده هرچی zip هست بگیره؟

اها! لینک مشخص داری ؟ فکر کردم توی کل سایت میخوای بگردی !
خوب من بودم یه همچین چیزی مینوشتم توی یه فایل:

wget -rc -w 5 -A.zip -np -P DOWNLOAD_DIRECTORY DOWNLOAD_URL
بعد میذاشتمش توی cron
منتظر نباش که مرگ تو کی میاد / آزاد باش مثل من مثل خیلی ها
حتی اگه کسی سمت تو نمیاد / آزاد باش مثل من مثل خیلی ها
حتی اگه میبینی که کسی حرفتو نمیخواد / آزاد باش مثل من مثل خیلی ها
مثل من مثل خیلی ها ..... آزاد باش مثل من مثل خیلی ها

آفلاین رسول سعیدنژاد

  • High Hero Member
  • *
  • ارسال: 3504
  • جنسیت : پسر
  • علی (ع): زَكَاةُ الْعِلْمِ نَشْرُه
مرسی.
یه توضیحی هم راجب به آپشن ها میدی؟؟
 ;)
نرم افزار، یک ابزاره. برای رسیدن به هدف ازش استفاده کنید. نرم افزار هدف شما نیست :) - آزادی، بزرگ‌ترین دروغ بشریت

آفلاین رسول سعیدنژاد

  • High Hero Member
  • *
  • ارسال: 3504
  • جنسیت : پسر
  • علی (ع): زَكَاةُ الْعِلْمِ نَشْرُه
راستی.
انجمن نیاز به یوزر پسورد داره. من توی wget یوزر پسورد رو با آپشن های --user‌ و --password وارد می کنم ولی جواب نمیده
دستور دقیقش برای یوزر و پسورد دادن چیه؟
نرم افزار، یک ابزاره. برای رسیدن به هدف ازش استفاده کنید. نرم افزار هدف شما نیست :) - آزادی، بزرگ‌ترین دروغ بشریت

آفلاین رسول سعیدنژاد

  • High Hero Member
  • *
  • ارسال: 3504
  • جنسیت : پسر
  • علی (ع): زَكَاةُ الْعِلْمِ نَشْرُه
ببین کل قضیه ی من اینجوریه
http://forum.korean-dream.ir/thread22266.html
این پیج رو ببین. توش 24 تا زیرنویس باید بیاد. تا اینجا 22 تا اومده (یکیش همین الان اومد که میخواستم با این دستور بگیرم که نشد  ;D)
میخوام دو فایل 23 و 24 رو که هفته ی آینده توی این پیج قرار میگیرن و خود سیستم دانلود کنه به صورت خودکار.
خب الان بگیم zip ها رو بگیره، کارم راه می افته. چون میذارم توی کرون و بعد zip های جدید هروخ اومدن میگیرتشون. ولی با این دستوری که میدی، داره کل اون سایت رو دانلود میکنه. و zipی هم توشون نبود اصن  ;D
نرم افزار، یک ابزاره. برای رسیدن به هدف ازش استفاده کنید. نرم افزار هدف شما نیست :) - آزادی، بزرگ‌ترین دروغ بشریت

آفلاین Masoud92m

  • High Hero Member
  • *
  • ارسال: 1349
  • جنسیت : پسر
مرسی.
یه توضیحی هم راجب به آپشن ها میدی؟؟
 ;)
خواهش میکنم، اونم به چشم ;)
r یا همون recursive برای دانلود بازگشتی هست، لینک یه فایل html میدی توشم میگرده ! یه دستور خوب همراش هم اینه:
wget -l2(L کوچیک و عدد ۲) میگه که ۲ مرحله بیشتر جلو نرو،‌ به جای ۲ میشه هر عددی گذاشت

c یا continue در کل برای ادامه دانلود هست، اما نکتش اینه اگه از c استفاده کنی فایلی که دانلودش تموم شده رو کاری نداره، اما اگه c نباشه از اول دوباره دانلود میکنه !

با w یا wait هم ۵ ثانیه توقف دادم، معمولا برای اینکه اسپم تشخیص داده نشیم !

A.zip هم که accept هست

np یه no-parent از معنیش مشخصه که میگه با مسیر بالاتر (والد) بر نگرد

P هم برای دایرکتوری دانلود

برای یوزر و پسورد:
wget --user=user --password=password
« آخرین ویرایش: 12 فروردین 1394، 02:53 ب‌ظ توسط Masoud92m »
منتظر نباش که مرگ تو کی میاد / آزاد باش مثل من مثل خیلی ها
حتی اگه کسی سمت تو نمیاد / آزاد باش مثل من مثل خیلی ها
حتی اگه میبینی که کسی حرفتو نمیخواد / آزاد باش مثل من مثل خیلی ها
مثل من مثل خیلی ها ..... آزاد باش مثل من مثل خیلی ها

آفلاین Masoud92m

  • High Hero Member
  • *
  • ارسال: 1349
  • جنسیت : پسر
نکته مهم اینه اگه انجمن هست به جای یوزر و پسورد نیاز به کوکی داری و کوکی رو باید بدی به wget با این دستور
wget --load-cookies FILE
کوکی رو هم میتونی از مرورگر بگیری، برای هر مرورگر راه های مختلفی هست که توی نت میتونی پیدا کنی
« آخرین ویرایش: 12 فروردین 1394، 02:53 ب‌ظ توسط Masoud92m »
منتظر نباش که مرگ تو کی میاد / آزاد باش مثل من مثل خیلی ها
حتی اگه کسی سمت تو نمیاد / آزاد باش مثل من مثل خیلی ها
حتی اگه میبینی که کسی حرفتو نمیخواد / آزاد باش مثل من مثل خیلی ها
مثل من مثل خیلی ها ..... آزاد باش مثل من مثل خیلی ها

آفلاین رسول سعیدنژاد

  • High Hero Member
  • *
  • ارسال: 3504
  • جنسیت : پسر
  • علی (ع): زَكَاةُ الْعِلْمِ نَشْرُه
اوکی. مرسی. تست می کنم خبر میدم  ;)
نرم افزار، یک ابزاره. برای رسیدن به هدف ازش استفاده کنید. نرم افزار هدف شما نیست :) - آزادی، بزرگ‌ترین دروغ بشریت

آفلاین رسول سعیدنژاد

  • High Hero Member
  • *
  • ارسال: 3504
  • جنسیت : پسر
  • علی (ع): زَكَاةُ الْعِلْمِ نَشْرُه
بازم جواب نداد.  ](*,)
wget -rc -l1 -w2 -A.zip -np -P /home/kubuntu/Downloads/ --load-cookies=cookies.txt http://forum.korean-dream.ir/thread22266.html
wget -rc -l1 -w2 -A.zip -np -P /home/kubuntu/Downloads/ --load-cookies=cookies.txt http://forum.korean-dream.ir/thread22266.html   
Cannot open cookies file ‘cookies.txt’: No such file or directory
--2015-04-01 15:14:48--  http://forum.korean-dream.ir/thread22266.html
Resolving forum.korean-dream.ir (forum.korean-dream.ir)... 37.187.149.210
Connecting to forum.korean-dream.ir (forum.korean-dream.ir)|37.187.149.210|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘/home/kubuntu/Downloads/forum.korean-dream.ir/thread22266.html’

    [  <=>                                                                    ] 29,925       115KB/s   in 0.3s   

2015-04-01 15:14:49 (115 KB/s) - ‘/home/kubuntu/Downloads/forum.korean-dream.ir/thread22266.html’ saved [29925]

Loading robots.txt; please ignore errors.
--2015-04-01 15:14:51--  http://forum.korean-dream.ir/robots.txt
Connecting to forum.korean-dream.ir (forum.korean-dream.ir)|37.187.149.210|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1381 (1.3K) [text/plain]
Saving to: ‘/home/kubuntu/Downloads/forum.korean-dream.ir/robots.txt’

100%[========================================================================>] 1,381       --.-K/s   in 0.007s 

2015-04-01 15:14:51 (204 KB/s) - ‘/home/kubuntu/Downloads/forum.korean-dream.ir/robots.txt’ saved [1381/1381]

Removing /home/kubuntu/Downloads/forum.korean-dream.ir/thread22266.html since it should be rejected.

--2015-04-01 15:14:53--  http://forum.korean-dream.ir/
Connecting to forum.korean-dream.ir (forum.korean-dream.ir)|37.187.149.210|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘/home/kubuntu/Downloads/forum.korean-dream.ir/index.html’

    [                    <=>                                                  ] 346,027     57.4KB/s   in 5.3s   

2015-04-01 15:14:59 (63.2 KB/s) - ‘/home/kubuntu/Downloads/forum.korean-dream.ir/index.html’ saved [346027]

Removing /home/kubuntu/Downloads/forum.korean-dream.ir/index.html since it should be rejected.

--2015-04-01 15:15:01--  http://forum.korean-dream.ir/sitemap/
Connecting to forum.korean-dream.ir (forum.korean-dream.ir)|37.187.149.210|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘/home/kubuntu/Downloads/forum.korean-dream.ir/sitemap/index.html’

    [    <=>                                                                  ] 33,477      54.3KB/s   in 0.6s   

2015-04-01 15:15:02 (54.3 KB/s) - ‘/home/kubuntu/Downloads/forum.korean-dream.ir/sitemap/index.html’ saved [33477]

Removing /home/kubuntu/Downloads/forum.korean-dream.ir/sitemap/index.html since it should be rejected.

FINISHED --2015-04-01 15:15:02--
Total wall clock time: 15s
Downloaded: 4 files, 401K in 6.2s (64.6 KB/s)

اصلا فایل های Zip رو دانلود نمی کنه.
نرم افزار، یک ابزاره. برای رسیدن به هدف ازش استفاده کنید. نرم افزار هدف شما نیست :) - آزادی، بزرگ‌ترین دروغ بشریت

آفلاین Masoud92m

  • High Hero Member
  • *
  • ارسال: 1349
  • جنسیت : پسر
خوب جرا l- رو ۱ گذاشتی ؟! تو سطح ۱ که فقط html هست خوب !
منتظر نباش که مرگ تو کی میاد / آزاد باش مثل من مثل خیلی ها
حتی اگه کسی سمت تو نمیاد / آزاد باش مثل من مثل خیلی ها
حتی اگه میبینی که کسی حرفتو نمیخواد / آزاد باش مثل من مثل خیلی ها
مثل من مثل خیلی ها ..... آزاد باش مثل من مثل خیلی ها

آفلاین رسول سعیدنژاد

  • High Hero Member
  • *
  • ارسال: 3504
  • جنسیت : پسر
  • علی (ع): زَكَاةُ الْعِلْمِ نَشْرُه
2 هم گذاشتم. بدون l هم گذاشتم.
وقتی 2 میذارم یا بدون l کلا میذارم، داره همه چی رو دانلود میکنه (صدتا پوشه دانلود کرده) بدون هیچ فایل زیپی. مگه قرار نیست فقط zip رو دانلود کنه؟؟ این که داره کل سایت رو میگیره  ](*,) ;D
نرم افزار، یک ابزاره. برای رسیدن به هدف ازش استفاده کنید. نرم افزار هدف شما نیست :) - آزادی، بزرگ‌ترین دروغ بشریت