طراحی بانک دریافت اطلاعات یک کتاب از بین سایتهای مختلف

[Afshin_Zavar]

باید یه سایت طراحی کنم که مشخصات یه کتاب رو بگیره و از بین چند سایت ، کتاب رو جستجو کنه.
مثل کاری که سایت AstalaVista واسه جستجوی Cr@ck ها از بین سایتهای مختلف میکنه. 
اما اصلا نمیدونم چطور باید اطلاعات چند سرور رو جستجو کنم!   

[مهدی پیشگوی]

راستش افشین جان این موضوع ارتباطی به برنامه نویسی تحت لینوکس نمی تونه داشته باشه مگر اینکه با پایتون خودتون یه چیزی بنویسین البته تحت وب منظورم هستش ولی خوب میشه اسکریپتشو پیدا کرد. الان حضور ذهن ندارم یادم بمونه از دوستام می پرسم خبر میدم

[Afshin_Zavar]

زبانش میتونه ASP یا PHP و چیزی شبیه به اینها باشه.

اینجا طرحش کردم. چون ممکنه از بین دوستان لینوکسی، برنامه نویسای حرفه ای هم باشن که بتونن کمکم کنن

[ابراهیم]

سلام،
این فقط یک مسأله‌ی برنامه‌نویسی ساده نیست! پشتش کلی مطلب مربوط به Web Serviceها و Search Engineها خوابیده.
اگر مطمئن نیستی علم و فن کافی رو داری، دست به کار نشو!

[Bayazee]

من فكر می كنم كار سختی نیست !
البته تا حدی بستگی داره به سایت ها و مخازنی كه می خوای در حقیقت پس زمینه كارت باشند . در اكثر مواقع كار جستجو در وب سایت های مختلف خیلی راحت هست . كافی هست متغییری رو به یك صفحه بفرستی و نتایجش رو بگیری . حالا با كمی كار روی نتایج و فرمت اونها می تونی چیزی بنویسی كه كار كنه 
كمی بیشتر توضیح بدی یا لینك یكی از این سایت های هدف رو بگذاری بیشتر می تونیم كمكت كنیم .

[lomion]

سلام،
این فقط یک مسأله‌ی برنامه‌نویسی ساده نیست! پشتش کلی مطلب مربوط به Web Serviceها و Search Engineها خوابیده.
اگر مطمئن نیستی علم و فن کافی رو داری، دست به کار نشو!

موافقم

[مهدی پیشگوی]

من فكر می كنم كار سختی نیست !
البته تا حدی بستگی داره به سایت ها و مخازنی كه می خوای در حقیقت پس زمینه كارت باشند . در اكثر مواقع كار جستجو در وب سایت های مختلف خیلی راحت هست . كافی هست متغییری رو به یك صفحه بفرستی و نتایجش رو بگیری . حالا با كمی كار روی نتایج و فرمت اونها می تونی چیزی بنویسی كه كار كنه 
كمی بیشتر توضیح بدی یا لینك یكی از این سایت های هدف رو بگذاری بیشتر می تونیم كمكت كنیم .

موافقم

[Afshin_Zavar]

كافی هست متغییری رو به یك صفحه بفرستی و نتایجش رو بگیری . حالا با كمی كار روی نتایج و فرمت اونها می تونی چیزی بنویسی كه كار كنه

بیشتر توضیح بده.

كمی بیشتر توضیح بدی یا لینك یكی از این سایت های هدف رو بگذاری بیشتر می تونیم كمكت كنی

سایتهایی مثل Koders.com که فقط سورس کد ها رو جستجو میکنه و Collectors که بیشتر کتابها رو جستجو میکنه و AstalaVista که فقط کرکها رو جستجو میکنه.

[hamid206]

سلام .
نمی دونم شاید تا الان به جوابت رسیده باشی !! ولی خوب جواب من شما. با زبان perl که یک زبان گزارش گیری هست می تونی براحتی اینکار رو انجام بدی یه کتاب هم در این مورد نوشته شده که توش مثال هایی در مورد جمع اوری اطلاعات از پایگاه یاهو و امازون بود الان اسمش یادم نیست ولی اگه با زبان perl اشنایی داری من می تونم بگردم برات اسمش رو پیدا کنم ( رو هاردم داشتم فعلا گم شده )

[jafar_tavakolian]

اول اینکه یه زبان application نویسی تحت وب مثل PHP انتخاب کن!
و حالا این چیزی که تو گفتی مربوط به DDB هست!
ما دو نوع سیستم پایگاه داده در حالت کلی داریم یکی DDB هست یکی C/S
دومیه که مشخصه Client , Server هست به این معنا که مثل همین سایت و پایگاه داده اش روی یه جای مشخص ذخیره می شه!
اما حالت اول که آدم به خودش می گه آخه چطور ممکنه؟ پایگاه داده به متمرکز بودن و اینکه همه اطلاعات یه جا باشه شهرت داره!‌حالا چه جوری می شه همه اطلاعات نا متمرکز می شه؟ جاهایی هستند مثل مثلا ایران خودرو یه بخش دارن به نام حساب مالی یه بخش بیمه یه بخش اطلاعات پرسنلی و الی آخر!
اینا هر کدوم یک برنامه مستقل دارن!‌ و داره کار می کنه اما یه نیاز احساس می شه که این ها رو به هم وصل کنن!‌ این دقیقا کار همون DBMS هست ( منظورم مثل MySQL, SQL Server, Oracle ) هست که بیاد یک Base بذاره که این اطلاعات مثلا یکی پایگاه داده اش Access  اونیکی Oracle یا اونیکی SQL Server که بتونه با همه صحبت کنه و طرف حسابش این باشه!

مفاهیم پایگاه داده روحان کوهی مرجع خوبی می تونه باشه برای آشنایی بیشتر! 

[Afshin_Zavar]

نمی دونم شاید تا الان به جوابت رسیده باشی !! ولی خوب جواب من شما. با زبان perl که یک زبان گزارش گیری هست می تونی براحتی اینکار رو انجام بدی یه کتاب هم در این مورد نوشته شده که توش مثال هایی در مورد جمع اوری اطلاعات از پایگاه یاهو و امازون بود الان اسمش یادم نیست ولی اگه با زبان perl اشنایی داری من می تونم بگردم برات اسمش رو پیدا کنم

محبت کن 

مفاهیم پایگاه داده روحان کوهی مرجع خوبی می تونه باشه برای آشنایی بیشتر!

ممنون ولی من تعاریف Client Server رو سالها پیش خوندم.  دنبال یه موضوع دیگه هستم.

[lomion]

اول اینکه یه زبان application نویسی تحت وب مثل PHP انتخاب کن!
مفاهیم پایگاه داده روحان کوهی مرجع خوبی می تونه باشه برای آشنایی بیشتر! 

مفاهیم پایگاه داده روحانی رانکوهی مرجع خوبیه ولی برای این کار باید کاربردی تر به ماجرا نگاه کنید.

[ابراهیم]

در ضمن این قضیه تقریباً هیچ ربطی به DDB نداره!!!

[hamid206]

سلام
اسم کتاب Spidering Hacks بود تا اونجایی که یادم میاد فصل 4 اون بود که در این مورد صحبت می کرد 
یا حق

[lomion]

DDB!!    ابعاد مساله رو جالب می‌بینید...

هم می‌تونه DDB باشه و هم نباشه... که من شخصا طرفدار نبودنش هستم چون کار رو سخت میکنه... به نظر من و همونطور که قبلا گفتن، می‌شه روی یک ماشین جستجو سوار شد... (گوگل معمولا خوب سواری می‌ده...  ) و بعد نتایج رو پالایش کرد. این ساده‌ترین راهه. حالا می‌تونید با Semantic  Web هم غنی ترش کنید... ولی عجالتا یه معماری ازش دربیاد تا بعد...