دانلود کل محتویات سایت[حل شد]

[milad.fashi]

برای دانلود کل محتویات یک سایت در ویندوز از offline explorer استفاده میکردم.
آموزش لینوکس LPIC رو میخواستم از سایت edx دانلود کنم.
آدرس آموزش در این لینک است :
https://courses.edx.org/accounts/login?next=/course_modes/choose/LinuxFoundationX/LFS101x/2T2014/
به نظر شما از چه نرم افزاری استفاده کنم تا بتونم عکس ها و نوشته ها و فیلم های این آموزش رو دانلود کنم و به صورت آفلاین ازشون استفاده کنم؟
شنیدم برای این کار از HTTrack استفاده میشه.
اما میشه با استفاده از command-line و به صورت دستوری و با aria2c این کار رو انجام داد و به نرم افزار دیگری وابسته نبود؟

[امیرحسین گودرزی]

سلام
هم می‌تونی از httrack استفاده کنی
یا از wget بدین صورت که

کد: [انتخاب]

wget --recursive --no-clobber --page-requisites --html-extension --convert-links --restrict-file-names=windows --domains edx.org --no-parent http://courses.edx.org/courseX


[milad.fashi]

سلام
هم می‌تونی از httrack استفاده کنی
یا از wget بدین صورت که

کد: [انتخاب]

wget --recursive --no-clobber --page-requisites --html-extension --convert-links --restrict-file-names=windows --domains edx.org --no-parent http://courses.edx.org/courseX


ممنون دوست عزیز
از کد شما استفاده کردم و البته خودم هم تغییراتی در آن ایجاد کردم.ولی کار نکرد.چون برای دانلود نیاز به وارد شدن به سایت هست.
برای اینکه بتونه login کنه.username و password خودم رو وارد کردم

کد: [انتخاب]

wget -c --http-user=milad.fashi --http-password=******** --tries=75 --mirror --recursive --page-requisites --html-extension --convert-links --restrict-file-names=windows -P /media/sda9/NewNetwork -o download.log --domains=edx.org --no-parent https://courses.edx.org/courses/LinuxFoundationX/LFS101x/2T2014/infoباز هم برای تلاش مجدد از ماسک زدن به wget با استفاده از wget -–user-agent استفاده کردم:

کد: [انتخاب]

wget -c --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" --http-user=milad.fashi --http-password=******* --tries=75 --mirror --recursive --page-requisites --html-extension --convert-links --restrict-file-names=windows -P /media/sda9/NewNetwork -o download.log --domains=edx.org --no-parent https://courses.edx.org/courses/LinuxFoundationX/LFS101x/2T2014/info
ولی بازم کار نکرد که نکرد!

در مورد ذخیره کوکی ها خوندم. و کد زیر رو اجرا کردم.ولی بازم خطای "ERROR 403: FORBIDDEN" رو نوشت!

کد: [انتخاب]

wget --save-cookies cookies.txt --post-data "email=milad.fashi&password=******&rememberMe=1" -O- "https://courses.edx.org/login" > /dev/null
به غیر از این مشکلات
در مورد wget خوندم.
بدی wget اینه که قابلیت چند تکه کردن فایلها رو نداره! یه توجیح اش اینه که فایل رو یک تکه میگیره تا بعدا بشه فایل های ناقص دانلود شده رو با هر DM دیگری دانلود کرد.
درمورد نرم افزار lftp هم شنیدم.اون کار منو راه میندازه؟ یا مثل این بدبختی داره  یا سراغ offline explorer برم؟

[milad.fashi]

از قدیم گفتند جوینده یابنده است همینه :
با استفاده از افزونه Export cookies 1.2 در FireFox تونستم که Cookie مربوط به این سایت رو در فایلی به اسم cookies.txt ذخیره کنم.(بدون خطای Forbidden)
بعدش به راحتی با دستور زیر تونستم از سد رمز عبور و login عبور کنم و سایت رو grab کنم:

کد: [انتخاب]

wget -c --load-cookies /home/milad/cookies.txt --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" --tries=75 --mirror --recursive --page-requisites --html-extension --convert-links --restrict-file-names=windows -P /media/sda9/NewNetwork --domains=edx.org --no-parent https://courses.edx.org/courses/LinuxFoundationX/LFS101x/2T2014/info

[milad.fashi]

فقط مشکلی که هست اینه که عکس ها و فیلم هایی که Domain اون سایت دیگریه رو دانلود نکرد.
مثلا فیلم ها در YouTube آپلود شده.علاوه بر ف-ی-ل-ت-ر بودن.حتی اگر هم مسدود نباشه.این دستور از Domain های غیر از edx.com دانلود نمیکنه.کسی بلده دستوری بنویسه که یک level یا چند level از لینک های جلوتر هم عکس و فیلم ها رو هم ذخیره کنه؟

[دانیال بهزادی]

من یه برنامه‌ی edx downloader یا چنین چیزی روی گیت‌هاب دیدم قدیم. احتمالاً همونه که دنبالشی

[امیرحسین گودرزی]

https://github.com/shk3/edx-downloader
اینه احتمالا منظور دانیال
چنین چیزی برای udacity  هست