بهينه سازی روش تشخيص اهميت پيوند در پايگاه پيوند و کاربست آن در معماری موتورهای جستجو

بهينه سازی روش تشخيص اهميت پيوند در پايگاه پيوند و کاربست آن در معماری موتورهای جستجو

فرمت فایل : ورد / قابل ویرایش چکیدهدرعصر اطلاعات، وب امروزه به یکی از قدرتمند ترین و سریع ترین ابزارهایارتباطات و تعـامل میان انسان ها بدل شده است. موتورهای جستجو به عنوانبرنامه های کاربردی وب به طور خودکار پهنه وب را پیمایش نموده و مجموعـه ایاز اسناد و مـدارک بروز موجـود را دریافـت می کننـد. فرآینـد دریافت،ذخیره سازی، رده بندی و شاخص دهی بر اساس الگوریتم های نيمه هوشمند به صورتخودکار انجـام می شود. اگر چه بسیاری از حقایق در مورد ساختار این برنامههای کاربردی به عنـوان اسـرار تجاری پنهان باقی مانـده است، ادبيات تحقيقدر شاخه ی موتورهای جستجو و ابزارهای بازيابی اطلاعات تلاش در يافتن بهترینراهکارها برای عملکرد بهينه ی هر ماژول در ساختار موتورهای جستجو دارد. باتوجه به زمان محدود کاربران وب امروزی، ارائه مرتبط ترين و تازه تريناسناد به آنها اغلب مهمترين چالشی برای موتورهای جستجو می باشد. برای انجاماين مهم، هر ماژول در معماری موتور جستجو باید به گونه ای هوشمند طراحیشود که نه تنها اسناد مرتبط را ارائه دهد بلـکه به پاسخگویی در سريع ترينزمان ممکن بپردازد. در میـان این ماژول ها بخش حساس و حیاتی به نام خزندهوجود دارد. یکی از مسائل قابل بحث در بهینه سازی عملکرد موتورهای جستجو ایناست که، سیاست خزیدن پیکربندی مجـدد گردد به طریقی که لینک های خارجیمرتبطی که به محتوای مرتبط با صفحات منبع پيوند می خورند دنبال گردد. ماژولخزنده مسئول واکشی صفحات برای ماژول رتبه بندی است. اگر صفحات با کیفیتبالاتر با انحراف موضوع کمتر توسط خزنده نمایه سازی شوند، رتبه بندی سریعتر انجام خواهد شد. بادر نظر گرفتن ساختار وب به صورت گراف، نحوه ی پیمایش وب به صورت روش هایجستجوی گرافی می باشد. در این پژوهش، با بکار بردن تجربی روشهای مختلفجستجوی گراف و ترکیبات مختلف آنها و با صدور پرس و جوهایی به موتور جستجویگوگل جهت اندازه گیری کیفیت صفحات دریافتی و با ثابت در نظر گرفتن فاکتورعمق پيمايش به شناسایی بهترین روش با پیچیدگی زمانی و فضایی معقول به منظوربکار گيری در بخش خزنده در معماری موتور جستجو پرداخته خواهد شد. کلمات کلیدی: خزنده وب، پيمايش گراف، موتورهاي جستجو، انحراف موضوع. چکیده ۱ فصل اول: کلیات ۲ ۱-۱ مقدمه ۳ ۱-۲ بیان مسأله ۴ ۱-۳ اهمیت و ضرورت انجام تحقیق ۵ ۱-۴ ساختار پروژه ۶ فصل دوم: مبانی و مفاهیم پایه ۷ ۲-۱ مقدمه ۸ ۲-۲ انواع موتورهای جستجو ۱۳۲-۲-۱ موتورهای کلید واژه ای ۱۳ ۲-۲-۲ موتورهای جستجو بر اساس فهرست راهنمای موضوعی ۱۳ ۲-۲-۳ موتورهای جستجوی مبتنی بر خزنده ۱۵ ۲-۲-۳-۱ تفاوت موتورهای دایرکتوری با موتورهای مبتنی بر خزنده ۱۶ ۲-۲-۴ موتورهای جستجوی ترکیبی ۱۶ ۲-۲-۵ موتورهاي جستجوی متا ۱۷ ۲-۲-۵-۱ فهرستي از موتورهاي جستجو ۱۷ ۲-۲-۵-۲ جستجوي متوالي ۱۷ ۲-۲-۵-۳ جستجوي هم زمان ۱۷ ۲-۲-۶ موتورهاي جستجوي هوشمند ۱۸ ۲-۲-۷ موتورهای جستجوگر مبتنی بر هزینه ۱۸ ۲-۳ معماری موتورهای جستجو ۲۰ ۲-۴ اجزای معماری موتورهای جستجو ۲۲ ۲-۵ استراتژی های روزآمد سازی مخزن ۲۷ ۲-۵-۱ روش دسته ای يا خزنده دائمی ۲۷ ۲-۵-۲ جستجوهای نسبی یا کامل ۳۲ ۲-۶ دو نمايه اصلي واحد نمايه ساز ۲۸ ۲-۷ یک مثال از نحوه عملکرد موتور جستجو ۳۱ ۲-۸ مراحل كار موتورهاي جستجو…………………….. ۳۱ ۲-۸-۱ پیش پردازش دادها ۳۱ ۲-۸-۲ الویت بندی نتایج ۳۲ ۲-۹ برچسب ها ۳۳ ۲-۹-۱ برچسب های توصیفی متن ۳۳ ۲-۹-۲- بر چسب alt tag 33 ۲-۱۰ فایل robots.txt 34 ۲-۱۱ موقعیت و مسافت ۳۴ ۲-۱۲ مشکلات خزنده ۳۵ ۲-۱۳ روشهای بهینه سازی موتورهای جستجو ۳۵ ۲-۱۳-۱ شاخص گذاری ۳۵ ۲-۱۳-۲ جلوگیری از خزش و استاندارد خروج روبات ها ۳۵ ۲-۱۳-۳ افزایش اهمیت ۳۶ ۲-۱۴ الگوريتم هاي رتبه بندي ۳۷ ۲-۱۴-۱ پارامتر های رتبه دهی ۳۷ ۲-۱۴-۲ وزن دهی به کلمات ۳۷ ۲-۱۴-۳ ارزیابی کلمات کلیدی ۳۷ ۲-۱۴-۴ پارامتر های وزن دهی ۳۸ ۲-۱۴-۵ بازیابی تحمل پذیر ۳۸ ۲-۱۴-۶ الگوریتم کلی غلط یابی املایی در موتور های جستجو ۳۸ ۲-۱۴-۷ غلط یابی املایی ۳۹ ۲-۱۴-۸ الگوریتم فاصله ویرایشی ۳۹ ۲-۱۴-۹ الگوریتم مجاورت کی-گرم ۴۰ ۲-۱۴-۱۰ غلط یابی حساس به متن ۴۰ ۲-۱۴-۱۱ مفهوم ربط ۴۱ ۲-۱۴-۱۱-۱ ربط از نظر کاربر ۴۲ ۲-۱۴-۱۱-۲ ربط از نظر سیستم بازیابی ۴۲ ۲-۱۴-۱۲ نظر خواهی از کاربر در رتبه بندی ۴۳ ۲-۱۴-۱۳ موتورهاي جستجوي اصلي ۴۳ ۲-۱۴-۱۳-۱ Google 43 ۲-۱۴-۱۳-۲ Excite 44 ۲-۱۴-۱۳-۳ Altavista 44 ۲-۱۴-۱۳-۴ Yahoo 44 ۲-۱۴-۱۳-۵ Fast 44 ۲-۱۴-۱۳-۶ Lycos 44 ۲-۱۴-۱۴ موتورهاي جستجوي خبري ۴۵ ۲-۱۴-۱۵ متا كراولر ۴۶ ۲-۱۴-۱۶ موتورهاي جستجوي منفعتي ۴۸ ۲-۱۴-۱۷ موتورهاي جستجوي ليست پرداخت ۴۹ ۲-۱۴-۱۸ موتورهاي جستجوي اختصاصي ۴۹ ۲-۱۴-۱۹ جستجوي پاسخ ۵۰ ۲-۱۴-۲۰ موتورهاي جستجوي كودكان ۵۱ ۲-۱۴-۲۱ موتورهاي جستجوي منطقه اي ۵۱ ۲-۱۵ نتیجه گیری ۵۲ فصل سوم: معماری خزنده وب و استراتژی های خزش ۵۳ ۳-۱ مقدمه ۵۴ ۳-۲ معماري خزنده هاي وب ۵۴ ۳-۳ انتخاب صفحه ۵۶ ۳-۴ اهمیت صفحه ۵۷ ۳-۵ چالش های اجرای یک خزنده ۵۷   ۳-۵-۱ انتخاب صفحات برای دانلود ۵۷ ۳-۵-۱ انتخاب صفحات برای دانلود ۵۷   ۳-۶ پيچيدگي هاي فرآيند خزیدن ۵۸ ۳-۶-۱ استرات‍ژي هاي سنجش انتخاب صفحات ۵۸   ۳-۶-۱-۱ معیار مبتنی بر گرایشات کاربران ۵۸ ۳-۶-۱-۲ معیار مبتنی بر شهرت صفحات ۵۸   ۳-۶-۱-۳ معیار مبتنی بر محل قرار گرفتن صفحات ۵۸ ۳-۷ چگونگی آغاز و ختم فرآیند استخراج و ذخیره سازی صفحات وب ۵۹ ۳-۷-۱ خزش و توقف…………………………… ۵۹۳-۷-۲ خزش و توقف مبتنی بر مقدار آستانه……….. ۵۹ ۳-۸ استراتژی های روزآمدسازی صفحات ۶۰ ۳-۸-۱ سیاست روزآمد سازی یکپارچه ۶۰ ۳-۸-۲ سیاست روزآمد سازی نسبی ۶۰ ۳-۹ به حداقل رساندن بار روی وب سایت های بازدید شده ۶۰ ۳-۱۰ موازی سازی روند خزنده ۶۰ ۳-۱۱ ساختار وب ۶۱ ۳-۱۲ استراتژی های خزش ۶۲ ۳-۱۲-۱ جستجوی ناآگاهانه ۶۲ ۳-۱۲-۱-۱ حركت اول عمق ۶۲ ۳-۱۲-۱-۲ حركت اول سطح ۶۳ ۳-۱۲-۱-۳ جستجو با هزینه یکنواخت ۶۵ ۳-۱۲-۲ جستجوی آگاهانه یا اکتشافی ۶۶ ۳-۱۲-۲-۱ حركت بهترين-شروع ۶۷ ۳-۱۲-۲-۲ جستجوی * A 69 ۳-۱۲-۳ جستجوی محلی ۶۹ ۳-۱۲-۳-۱ جستجوی تپه نوردی ۷۰ ۳-۱۲-۳-۲ جستجوی پرتو محلی ۷۰ ۳-۱۲-۳-۳ جستجوی شبیه سازی حرارت ۷۱ ۳-۱۲-۳-۴ الگوریتم آستانه پذیرش ۷۲ ۳-۱۲-۳-۲ جستجوی پرتو محلی ۷۰ ۳-۱۳ نتیجه گیری ۷۳ فصل چهارم: تجزیه و تحلیل نتایج حاصل از تحقیق ۷۴ ۴-۱ مقدمه ۷۵ ۴-۲ مرحله اول: بررسی روش اول سطح ۷۵ ۴-۳ مرحله دوم: بررسی روش اول عمق ۸۰ ۴-۴ مرحله سوم: بررسی روش ترکیبی ۸۶ ۴-۴-۱ ترکیب اول: پیمایش اولین سطح به صورت BFS 86 ۴-۴-۲ ترکیب دوم: پیمایش اولین و دومین سطح به صورت BFS 86 ۴-۴-۳ ترکیب سوم: پیمایش اولین و دومین و سومین سطح به صورت BFS 86 ۴-۵ مرحله چهارم: بررسی روش بهترین-شروع ۸۶ ۴-۶ مرحله پنجم: بررسی روش تپه نوردی ۸۷ ۴-۷ نتایج تجربی بدست آمده ۸۸ ۴-۸ تعداد صفحات دانلود شده برای هر پرس و جو ۹۰ ۴-۹ نتیجه گیری ۹۱ فصل پنجم: نتیجه گیری و ارائه پیشنهادات ۹۷ ۵-۱ نتیجه گیری و جمع بندی نهایی ۹۳ ۵-۲ پیشنهادات و کارهای آینده ۱۰۰ منابع ۱۰۱