پروژه موتور جستجو

[savalan]

سلام
میدونم که سوالم تا حدودی درست نیست و نمیشه بهش جواب خوبی داد ولی مجبورم . وقت زیادی ندارم تا خودم برم دنبالش
من میخوام برای ‍پروژه پایانی دوره کاردانی ( نرم افزار کامپیوتر ) روی یک موتور جستجو کار کنم . البته یه موتور جستجو کاملا واقعی مثل گوگل و لایو و ... . و چیزی که موتورهای جستجو رو از هم متمایز میکنه نتایجی هست که ارایه میدن , چه بسا پایگاه داده یکسانی داشته باشن !
حالا به نظر شما من چه چیز هایی رو یاد بگیرم که بتونم شروع کنم ! مثل هوش مصنوعی و اینطور چیزها ( الگوریتم ها , روشهای استنتاج , منطقها , و چیزهایی از این دست ... ) . هدف من اینه که یه سیستم هوشمند درست کنم که بتونه منظور کاربر رو بفهمه ! و نتایج بهتری از پایگاه داده استخراج کنه .
البته با نحوه طراحی موتور جستجو و پایگاه داده و اینجور چیزها فعلا کاری ندارم . در حال حاظر میخوام روی اینجورالگوریتمها و هوش مصنوعی کار کنم
اگه امکانش هست راهنماییم کنید . من 2 ماه وقت دارم تا روی اینها مطالعه کنم و بعدش باید شروع به کار کنم
متاسفانه این مسایل در دوره کاردانی مطرح نشد .
در ضمن این پروزه به صورت متن باز منتشر خواهد شد !

با تشکر از شما

[علیرضا طالقانی]

ی کتاب به اسم «اصول مهندسی اینترنت» ترجمه ی آقای « احسان مکلیان» هستش که اصلا توصیه نمی کنم بخری! چون ی بخش کمی رو در این خصوص صحبت کرده ولی خب جالبه!(فصل ۱۰ ام اش)
در خصوص هوشمندی!  بیشتر باید به این مطلب دقت که کنترل های موتور های جستجو آماری هستش! ی مثال ساده اش همین Gnome-DO هستش!
 اگه تونستی ی بررسی کن اش!


ضمنا ی چیزی رو باید دقت کنی که چطوری این اطلاعات رو بدست بیاری!  اینم خودش ی داستانی ی!  که موتور ت در حال گشت و گذار در نت باشه و از روی متا-دیتا های سایت هایی که گیر میاره! بانک اش رو توسعه بده!

[ابراهیم]

یک موتور جست و جوی کامل از قسمت‌های مختلفی تشکیل می‌شه که هر کدومشون دریایی هست! به نظرم پروژه‌ی خیلی سنگینی رو برای کاردانی انتخاب کرده‌ای. یادمه تعدادی دانش‌جوی کارشناسی ارشد دانش‌گاه شریف برای پایان‌نامه‌شون روی یک موتور جست و جو (شریکی!) کار می‌کردند. با این حال خود دانید.
تعدادی پروژه‌ی آزاد/بازمتن جدی در مورد موتور جست و جو هست که شاید کمکت کنه. مثلاً:
http://lucene.apache.org
http://lucene.apache.org/nutch

[Ajax]

دروود دوست من
از زمانی که باهم هم اتاقی شدیم یادم هر کاری می خواستی می تونستی انجام بدهی
دنیا در انتظار موتور جستجوی شماست
موفق باشی 

[فاراب]

به نظر من عنوان پروژه رو ریز کنید. یعنی روی یه بخش خاص معطوف بشید.
مثلا روش اسنتاج معنایی در موتور های جستجو. یا بررسی الگوریتم های جستجوی تحت وب و اگه شد یه راه کار جدید، حتی لازم هم نیست کاملا پیاده سازی عملی بشه. یا هر عنوانی که به فکر خودتون میرسه.
به هر حال اگه غیر از این عمل کنید کارتون خیلی مشکل می شه.
موفق باشید...

[ghreza]

دوست عزیز، همت ساوالانی شما ستودنیه. این طور که من متوجه شدم شما میخاید موتوری طراحی
کنی که منظور کاربر رو از کلیدهاش تشخیص بده و سایتهای مرتبط رو که مفهومی مشابه دارن از
پایگاه در بیاره. اگه منظورتون اینه که احسنت به شما و فکرتون و جسارتتون و خاک بر سر استاد
راهنماتون. حقا که اسم savalan برازندتونه. من هم آرزومه یه همچین موتوری وجود داشته
باشه و یا خودم روش کار کنم. ولی اگه بیای توی کار میبینی به معنای واقعی کلمه سخته. و میشه
به قول دوستمون به عنوان پروژه گروهی توی دوره ارشد یا حتی دکترا مطرح کرد. اگه مطالعه کنی
میبینی که لری و پیچ (بنیان گذاران google) از دانشگاه استنفورد انصراف دادن (یکیشون دوره
دکتری بود و یکیشون ارشد) تا روی پروژه موتور جستجو که امروز ما به اسم google میشناسیم
کار کنن. با یه  استاد راهنمای توپ که 1000000 دلار روی طرح سرمایه گذاری کرد. (مثل اساتید
ما نیستن که نه سواد داشته باشن نه پول، با کلی ادعا و دبدبه کبکبه)
از من میشنوی موضوتو خرد کن (100 بار) و فقط روی قسمت استنتاج معنایی کار کن. اونم نه
خیلی ریشه ای و عمیق و نه در سطح پیاده سازی. همین در سطح مقاله (نه قابل ارائه به کنفرانس)
و مفهوم، خودش خیلی زیاده. نمیدونم سواد استادت در چه حد هستش و یا شاید من پروژه شما رو
با اون چیزی که تو ذهن خودمه خیلی گنده کردم، ولی اگه استادت تو این زمینه کار کرده بود پیشنهاد
بهتری بهت میکرد. من خودم میخاستم برای پروژه کارشناسی روی موضوع تشخیص چهره کار کنم ولی
استادم ممانعت کرد و بهم تذکر داد تنها میزان جذابیت و مهمی پروژه و قدرت من نیس که مهمه، زمان
مهمترین فاکتوره. تازه پروژه ساده شده من هم خیلی سخت بود (License plate recognition)
فعلا پروژت رو ساده تر ک، بعدا اگه علاقه داشتی ادامه میدی.
ولی بهتره مقالات و کتابهائی راجع به Language Modeling و Natural Language
Processing مطالعه کنی تا مطلب بیشتر دستت بیاد.

[savalan]

سلام
واقعا از راهنمایی شما دوستان ممنونم !
میدونم که پرو‍‍‍‍‍‍‍‍‍ژه بزرگی هست و نیاز به دانش بالایی داره و همچنین کار یک نفر نیست ! ولی واقعیتش احساس میکنم تا وقت دارم باید یه کاری بکنم !
اینجا اونجایی نیست که لری پیج زندگی میکنه ! و اشکال از استاد راهنمای من نیست !
من تا الان این موضوع را با استادهام مطرح نکردم ولی گمون کنم یکیشون خوشش بیاد و فکر نکنم بتونه کمکی بهم بکنه چون اصلا وقت نداره !
جوونه و دنبال جمع کردن سرمایه واسه خودش ! . اگه میشد به جای کلاسهای الکی و بیخودی که برگذار میشه به این استاد 2 برابر پول بدی با دانشجوها مشاوره کنه چی میشد ! اینجا هم میشد همونجایی که لری ‍‍‍‍‍‍‍‍‍پیج زندگی میکنه نه ! گرچه شاید تو دانشگاههای بزرگ اینطور باشه ولی به نظر من این اصلا ارزشی نداره ! این تعداد کم مغزها برای ما چیکار کردن ؟ کار خونه لگن سازی هم دستگاههاش خارجیه ! . به نظر شما بهتر نیست روی اکثریت هزینه کنیم !
مثلا من اصلا از دانشگاه خوشم نمیاد ولی از کار کردن با چند نفر علاقمند به یه موضوع مشترک خوشم میاد . حال جایگاه من تو جامعه چیه ؟ یک سال دیگه برم سربازی و برگردم واسه اینکه از گشنگی نمیرم بگردم دنبال کار ؟
یادمه چند سال پیش یه ایده با ذهن من رسید که الان شما اونو با اسم Cloud Computing   میشناسین ! ,  بدون اینکه بدونم همچین چیزی هست یا نه . اصلا ایده خیلی به ذهنم میرسه ولی نمیتونم اجراش کنم ! خسته شدم از بس کتابهای مختلف زبانهای برنامه نویسی خوندم ؟! چون فقط کتاب میخونم و چیزی تولید نمیکنم ! ولی تصمیم گرفتم این یکی رو اجرا کنم . باور نمیکنید چه فکرهایی در این زمینه میکنم و حتی گوگل و ... رو به حساب نمیآرم بااینکه بزرگترین برنامه ای که نوشتم برنامه ویدیو کلوپه ! . ولی میدونم میشه و اگه نتونم ایراد از منه پس حتما خواهم توانست ! ( حتی با شرایط بد )
مطمعن باشید ایده هایی دارم که الان در گوگل نیست و اگه اونا اجرا بشن چی میشن ! . البته در طی چند سال اینده
پس اگه شما هم روح اوپن سورس تو خونتون جاری هست هر کمکی از دستتون بر میاد بهم بکنید . کم کمش اینه که من 6 ماه دیگه میتونم سیستمی رو درست کنم که 60 درصد کارایی گوگل رو بده و این خیلی خوبه ! فکرشو بکن الان گوگل با اون همه عظمت اون قابلیتهایی که تو ذهن منه رو نداره
ببینید الان هدف من اینه که یه مجموعه نرم افزار درست کنم که با هم تشکیل یه سیستم رو میدن و هر کدوم کاری رو انجام میدن و نتیجه این تعامل اینه که من یه پایگاه داده پر از اطلاعات دارم و باید حد اکثر استفاده رو از اونا بکنم . و از این به بعد هست که احتیاج به سوزوندن فسفر و تعامل انسانها با هم برای تکامل هست !
منتظر نظرات سازنده شما هستم

[سید وحید رضا برهانی]

اگر کمکی از دست من بر میاد خوشحال می شم کمکت کنم راستی تا الان گروهی تشکیل دادین؟

[Armageddon]

سلام

ایده فوق العاده ای داری من نمی خوام منصرفت نکنم ام کمی تو مسله عمق تر شو اگه اوایل گوگل یادت باشه اون زمانی که کسی به انون محل نمی داد. اون زمان هم خیلی روش کار شده بود تازه اونجایی که کلی منابع دست اول و کامل هست. این روند رکود در گوگل ادامه داشت تا اینکه گوگل از یک ریاضیدان برای طراحی الگورتم جستجوش استفاده کرد.

درسته بانک و زبان مورد استفادت مهمه اما تا یک اگوریتم درست و حسابی نداشته باشی فاید نداره ُ این کار میشه درجا زدن. پس حتما باید یک الگوریتم داشته باشی که رو اصول ساخته شده باشه. اگه تا بحال مثل خیلی ها از اطلاعاتی که تو دانشگاه در مورد الگوریتم ؛ زبان برنامه نویسی و بانک اطلاعاتی بهت دادن استفاده کنی که فاتحه .... بی خیال پروژه 

یه کم از خودت بگو ؛ اطلاعاتی که داری ؛ زبان مورد استفادت ؛ بانکت و هر چی که فکر می کنی به این پروژه مربوط می شه ولی بازم تاکید می کنم حتما باید با یکی که به ریاضی و طراحی الگوریتم ها آشنایی کامل داره مشورت کنی ؛ در این مورد کتاب زیاده هست اما به زبان اصلی . کتابهای ترجمه شده رو در هر مورد کلا فراموش کن چون همشون ناقص اند 

موفق باشی 

[savalan]

سلام
نه من گروهی رو تشکیل ندادم . راستش فعلا نمیخوام اینکار رو بکنم چون حودمم زیاد اماده نیستم
من میخوام این پروزه رو روی لینوکس بازبانهای c++   و php  و ... با بانک mysql  انجام بدم
میدونم که باید الگوریتم و ریاضی بلد باشم ولی فعلا واسه شروع نمیخوام زیاد روی اینها مانور بدم . بعد از این که اسکلت اصلی رو ساختم از دیگران تو این زمینه ها کمک میگیرم .
در واقع اشتیاق اصلی من واسه اینکار همون قسمت الگوریتم هست که میخوام راجع بهش خیلی فکر کنم و ایده های زیادی دارم
بازم منتظر راهنمایی های شما دوستان هستم

[ghreza]

حالا من ایده شما رو درست متوجه شده بودم؟

[Armageddon]

سلام

امیدوارم از این نوشته من ناراحت نشی چون خودم قبلا این طوری تو  خوردم می خوام اینا رو بگم.

این طور کار کردن مثل آدم بدون استخوان، چی می میونه جز یه کپه درهم و رو هم 

ببین هر کاری کنی تا اصل کاری رو نداشته باشی بی فایده است. چون هر کاری کنی به الگوریتم نیاز داری. ببین موتور جستجو دارای 3 بخش اصلی است
1- جمع اوری اطلاعات
2- دریافت و تجزیه و تحلیل در خواست
3- بدست اوردن نتجه و باز گرداندن به کاربر

تو هیچ کدوم از این ها نمی تونی بدون الگوریتم کار کنی مگه اینکه بخوای فقط در حد یه پروژه دانشجویی کار کنی.

در ضمن تاریچه تمام موتورهای جستجو رو که بخونی هیچ کس تنهایی کار نکرده پس این رو از سرت بیرون کن  این روش که منحصر به ما ایرانیهاست (متاسفانه) رو کنار بزار. با چند تا از هم کلاسهات که می دونی کار بلد هستن و وبال گردن نمی شن صحبت کن. حتما حتما حتما یه استاد راهنمای باسواد پیداکن که اطلاعاتش بروز باشه و هم دسته بر آتش . نظرات و پیشرفت کارت رو هم ایجا ( اگه خواستی) مطرح کن اگه تونستیم کمکت می کنیم.

راستی ایده هات رو روی یه کاغذ بنویس و اولویت بندی کن کمک می کنه ( امتحان کردم ) و وقتی به اولی رسدی برو سوراغ بعدی .

در مورد زبان ++C فکر خوبیه اما در مورد PHP و MySQL اصلا . البته توصیه من اینه که از زبان Java استفاده کنی چون هم بخش هسته موتور رو پوشش میده هم با JSP می تونی بخش وب قویی داشته باشی در مورد بانک هم به غیر از Oracle به چیز دیگه فکر نکن.چون Google هم اینطور هست.

این کتاب هم شاید بدردت بخوره

Advanced Web Metrics with Google Analytics

بله متاسفانه به دلیل قوانین کپی رایت لیک کتاب رو ناظرین حذف کردن. خوب اشتباه از من بود. ( امان از قانون کپی رایت که در ایران ایقدر مو به مو اجرا می شه      )

اگه تند رفتم عذر می خوام امیدوارم ناراحت نشده باشی قصد من فقط کمک بود. با آرزوی موفقت برای همه فلا