پروژه بهینه سازی خوشه ها با استفاده از الگوریتم های تکاملی برای شخصی سازی وب

پروژه بهینه سازی خوشه ها با استفاده از الگوریتم های تکاملی برای شخصی سازی وب

عنوان : بهینه سازی خوشه ها با استفاده از الگوریتم های تکاملی برای شخصی سازی وب تعداد صفحات : 82 چکیده: گرانبارشدن اطلاعات یک مشکل عمده در وب کنونی به شمار می­رود. برای مقابله با اینمشکل، سیستم‌های شخصی­ سازی وب ارائه شده­ اند که محتوا و سرویس­ های یکوب­ سایت را با افراد براساس علایق و رفتار گردشی آن­ها سازگار می­کنند. یکمؤلفه­ی اساسی در هر سیستم شخصی­سازی وب، مدل کاربر آن است. هدف از شخصیسازی وب، مهیا ساختن محتوا و سرویس ­های مورد نیاز کاربران به وسیله دانشبه دست آمده از تعاملات قبلی کاربران در صفحات وب است. در حال حاضر، برایشخصی­ سازی وب چندین متد خوشه­ بندی در دسترس است. روش­هایی که تاکنونارائه شده ­اند، در مواردی دارای اشکالاتی بودند. البته تکنیک­ های جدیدیدر رفع این مشکلات و بهبود آنها ارائه شده است. اما در بیشتر این تکنیک­ها،مسائل افزونگی داده و مقیاس­ بندی بالا وجود دارد. با توجه به اینکهافزایش کاربران وب منجر به افزایش اندازه‌ی خوشه می‌گرد، نیاز بهبهینه‌سازی خوشه‌ها اجتناب‌ناپذیر خواهد بود. در تحقیق، یک متدولوژی بهینهسازی خوشه بر اساس سیستم فازی ارائه شده است. به منظور افزایش دقت نهاییخوشه­ بندی، برای تنظیم پارامترهای توابع عضویت از الگوریتم ژنتیک استفادهشده است. نتایج حاصل از شبیه‌سازی نشان می‌دهد که روش پیشنهادی دقت خوشه­بندی صفحات وب را تا حد قابل توجهی افزایش می­دهد.فصل اول: کلیات تحقیق 1-1- مقدمه باتوسعه سیستم‌های اطلاعاتی، داده به یکی از منابع پراهمیت سازمان‌ها مبدلگشته است. بنابراین روش‌ها و تکنیک‌هایی برای دستیابی کارا به داده، اشتراکداده، استخراج اطلاعات از داده و استفاده از این اطلاعات، مورد نیازمی‌باشد. با ایجاد و گسترش وب و افزایش چشم گیر حجم اطلاعات، نیاز به اینروش‌ها و تکنیک‌ها بیش از پیش احساس می‌شود. وب، محیطی وسیع، متنوع و پویااست که کاربران متعدد اسناد خود را در آن منتشر می‌کنند. در حال حاضر بیشاز دو بیلیون صفحه در وب موجود است و این تعداد با نرخ 7.3 میلیون صفحه درروز افزایش می‌یابد. با توجه به حجم وسیع اطلاعات در وب، مدیریت آن باابزارهای سنتی تقریباً غیر ممکن است و ابزارها و روش­هایی نو برای مدیریتآن مورد نیاز است. به طور کلی کاربران وب در استفاده از آن با مشکلات زیرروبرو هستند: 1-یافتن اطلاعات مرتبط: یافتن اطلاعات مورد نیاز در وب دشوار می‌باشد.روش‌های سنتی بازیابی اطلاعات که برای جستجوی اطلاعات در پایگاه داده‌ها بهکار می‌روند، قابل استفاده در وب نمی‌باشند و کاربران معمولاً از موتورهایجستجو که مهم­ترین و رایج ترین ابزار برای یافتن اطلاعات در وب می باشند،استفاده می‌کنند. این موتورها، یک پرس و جوی مبتنی بر کلمات کلیدی از کاربردریافت کرده و در پاسخ لیستی از اسناد مرتبط با پرس و جوی وی را که براساس میزان ارتباط با این پرس و جو مرتب شده اند، به وی ارائه می­کنند. اماموتورهای جستجو دارای دو مشکل اصلی هستند (Baeza-Yates, 2004). اولاً دقتموتورهای جستجو پایین است، چراکه این موتورها در پاسخ به یک پرس و جویکاربر صدها یا هزاران سند را بازیابی می‌کنند، در حالی که بسیاری از اسنادبازیابی شده توسط آنها با نیاز اطلاعاتی کاربر مرتبط نمی‌باشند (Bharat,and et. al., 2001). ثانیاً میزان فراخوان این موتورها کم می‌باشد، به آنمعنی که قادر به بازیابی کلیه اسناد مرتبط با نیاز اطلاعاتی کاربر نیستند.چرا که حجم اسناد در وب بسیار زیاد است و موتورهای جستجو قادر به نگهداریاطلاعات کلیه اسناد وب، در پایگاه داده‌های خود نمی‌باشند (Chakrabarti,and et. al., 1999). 2-ایجاد دانش جدید با استفاده از اطلاعات موجود در وب: در حال حاضر این سوالمطرح است که چگونه می‌توان داده‌های فراوان موجود در وب را به دانشی قابلاستفاده تبدیل کرد، به طوری که یافتن اطلاعات مورد نیاز در آن به سادگیصورت بگیرد. همچنین چگونه می‌توان با استفاده از داده‌های وب به اطلاعات ودانشی جدید دست یافت. 3-خصوصی سازی اطلاعات: از آن جا که کاربران متفاوت هر یک درباره نوع ونحوه­ی بازنمایی اطلاعات سلیقه خاصی دارند، این مسئله باید توسط تأمین­کنندگان اطلاعات در وب مورد توجه قرار بگیرد. برای این منظور با توجه بهخواسته‌ها و تمایلات کاربران متفاوت، نحوه ارائه اطلاعات به آنها بایدسفارشی گردد. تکنیک‌های وب کاوی قادر به حل این مشکلات می‌باشند (Chakrabarti, 2000). 2-1- تعریف مسئله وببه یک بخش تسلیم نشدنی جهان تبدیل شده است و گشت و گذار وب، یک فعالیت مهمبرای مشتریانی که خرید آنلاین دارند، به شمار می­آید (Varghese, 2012).همانطور که گفته شد، با توجه به حجم وسیع اطلاعات در وب، مدیریت آن باابزارهای سنتی تقریباً غیر ممکن است و ابزارها و روش­هایی نو برای مدیریتآن مورد نیاز است. یکی از این روش­ها وب­کاوی است. به طور کلی وب­کاوی رامی­توان داده کاوی بر روی داده­های محتوا، ساختار و کاربرد وب به حسابآورد. هدف وب­کاوی کشف مدل­ها و الگوهای نهفته در منابع وب می­باشد. هدف وبکاوی کاربرد وب به طور خاص کشف الگوهای رفتاری کاربران وب می­باشد. کشفچنین الگوهایی از حجم عظیمی از داده­های تولید شده توسط وب سرورهاکاربردهای مهمی دارد (Anand, and Mobasher, 2005). از جمله­ی آن­ها می­توانبه سیستم­ هایی که میزان مؤثر بودن یک سایت را در برآوردن انتظارات کاربرارزیابی می­کنند، تکنیک­ هایی برای متعادل کردن پویای بار و بهینه­سازی وبسرورها برای دستیابی مؤثرتر کاربران و کاربردهای مربوط به ساختاردهی مجدد وتطبیق یک سایت براساس نیازهای پیش بینی شده­ی کاربر اشاره کرد. کشفاستخراج اطلاعات مفید از داده­ی وب یا فایل­های وبلاگ، بهبود کاراییاطلاعات وب و فراهم کردن تکنولوژی برای کاربردهای وب به عنوان مثال،شخصی­سازی و غیره از جمله اهداف دیگر وب­کاوی می­باشد. برای مدیریتتصمیم­گیری، نتیجه کاوش کاربرد وب می­تواند برای تبلیغات، بهبود طراحی وب،بهبود رضایت مشتری، هدایت استراتژی تصمیم آنالیز بازار و سازمان مورداستفاده قرار گیرد (Naveena Devi et al., 2012). درسال های اخیر تکنیک‌های وب­کاوی کاربرد وب به عنوان رویکردی دیگر که مبتنیبر کاربر است در شخصی­سازی وب ارائه شده است که برخی از مشکلات مربوط بهفیلترکردن جمعی را کاهش می­دهد. به طور خاص وب کاوی کاربرد وب برای افزایشگسترش‌پذیری سیستم­ های شخصی­سازی شده­ی سنتی که برمبنای تکنیک­هایفیلترکردن جمعی می­باشند استفاده شده است. شخصی­سازیصفحه وب شامل خوشه­بندی صفحات مختلف وبی است که الگوی مشابهی دارند.شخصی­سازی وب از تکنیک کاربرد وب­ کاوی برای سفارشی کردن صفحات وب برای یککاربر خاص استفاده می­کند. این مسئله شامل استخراج جلسات کاربر از فایل­هایورود به سیستم می­شود. یک جلسه کاربر، دنباله­ی صفحات وبی که توسط کاربردر یک دوره زمانی خاص مورد دسترسی قرار گرفته، می­باشد.3-1- اهمیت و ضرورت تحقیق بارشد ناگهانی اندازه وب و استفاده از وب گسترده جهانی، برای کاربران بسیارمشکل شد که بتوانند به طور مؤثر به اطلاعات مرتبط و مورد علاقه خود دسترسیپیدا کنند. نیاز به پیش­بینی نیازهای کاربر به منظور بهبود قابلیت استفاده وحفظ کاربر سایت، آشکار است و می­تواند با استفاده از شخصی­سازی آدرس­دهیشود. شخصی‌سازی وب، پردازشی از یک سایت برای بر طرف کردن نیاز یک کاربر خاصیا مجموعه­ای از کاربران با استفاده از دانش به دست آمده از طریق تحلیلرفتار گشت و گذار کاربر است. هدف از سیستم شخصی سازی وب، مهیا ساختناطلاعات و نیازهای کاربران، بدون این که صریحاً از آنها سوالی پرسیده شود. هراقدامی که اطلاعات یا سرویس­های فراهم شده توسط یک وب­سایت با نیازهای یککاربر یا گروه خاصی از کاربران با به کارگیری دانش بدست آمده از رفتارگردشی کاربر و علایق خاص او به صورت ترکیب با محتوا و ساختار وب­سایتسازگار می­کند شخصی ­سازی وب نامیده می­شود (Eirinaki, 2003). بطور کلی اهداف شخصی­ سازی وب عبارتند از: –شخصی ­سازی سرویس­های ارائه شده توسط یک وب­سایت نقش مهمی در کاهش گرانبارشدن اطلاعات ایفا می­کند و وب­سایت را به یک محیط کاربر پسندتر برای افرادتبدیل می­کند. – با فراهم کردن اطلاعات دلخواه کاربر به روش مناسب و در زمان مناسب، باعث بهبود گردش کاربر در وب­ سایت می­شود. –در تجارت الکترونیکی مکانیزیمی برای درک بهتر نیازهای مشتری، شناساییتمایلات آینده­ی او و در نهایت افزایش پابرجایی مشتری به سرویس ارائه شدهفراهم می­کند. درسال های اخیر تکنیک‌های وب­کاوی کاربرد وب به عنوان رویکردی دیگر که مبتنیبر کاربر است در شخصی­سازی وب ارائه شده­ است که برخی از مشکلات مربوط بهفیلترکردن جمعی را کاهش می­دهند. به طور خاص وب کاوی کاربرد وب برای افزایشگسترش پذیری سیستم­های شخصی­سازی شده­ی سنتی که برمبنای تکنیک­هایفیلترکردن جمعی می­باشند استفاده شده است. بهطور نمونه شخصی سازی برروی پردازش شناسایی کاربر وب، جمع آوری اطلاعات ازطریق اولویت یا علاقه­مندی های کاربر، تمرکز دارد. به طور مختصر شخصی­ سازیوب می­تواند برای مهیا ساختن سرویس با کیفیت­ تر استفاده شود و برنامهکاربردی از وب را برای کاربران در طول گشت و گذار آنها در وب مهیا سازد.این فعالیت­ها می­ تواند با مشخص کردن لینک­ها و لینک­های جدید مورد علاقهکاربر به صورت اتوماتیک و ایجاد صفحات ایندکس جدید، ساخته شود. رویکردتنها مبتنی بر کاربرد در شخصی­سازی وب یک عیب مهم دارد و آن این است کهفرآیند توصیه به کاربر تنها براساس داده­های تراکنشی موجود او صورت می­گیردو از این رو اقلام یا صفحاتی که اخیراً به سایت اضافه شده­اند نمی­توانندبه او توصیه شوند. این مشکل عموماً مشکل قلم جدید نامیده می­شود. از سویدیگر اگرچه الگوهای کشف شده­ی مربوط به کاربرد منابع وب از طریق وب­کاویکاربرد وب در کشف ارتباطات اقلام با یکدیگر یا کاربران با یکدیگر و نیزتعیین شباهت در جلسات کاربر مفیدند اما بدون استفاده از دانش عمیق­تری ازدامنه­ی وب سایت مورد نظر چنین الگوهایی درک اندکی از دلایل آن که چرااقلام یا کاربران در گروه­ هایی با هم قرار می­گیرند در اختیار ما قرارمی­دهند. یک رویکرد معمول برای حل این مشکل در فیلتر کردن جمعی آن است کهمشخصات محتوای صفحات را با رتبه ­بندی­ ها و قضاوت­ های کاربر ادغام کنیم.به طور کلی در این رویکردها کلمات کلیدی از محتوای وب­سایت استخراج می­شوندو برای اندیس­گذاری صفحات براساس محتوا یا طبقه­بندی آن­ها به دسته­ هایمختلف مورد استفاده قرار می‌گیرند. در حوزه­ی شخصی ­سازی وب این رویکرد بهسیستم اجازه می ­دهد تا صفحات را نه تنها براساس افراد مشابه بلکه براساسشباهت محتوایی آن­ها به صفحاتی که کاربر اخیراً بازدید کرده است به اوتوصیه کند. یکضعف عمده در بیشتر رویکردهای موجود که از محتوای وب برای بهبود مدل کاربراستفاده می‌کنند این است که این روش­ها معمولاً از بردار عبارات برای نمایشعلایق کاربر استفاده می­کنند و ارتباطات معنایی بین این عبارات را نادیدهمی­گیرند. در صورتی که می­توان با استفاده از معنا این روش نمایش را بهبودداد. روش­هاییکه تاکنون ارائه شده­اند، در مواردی دارای اشکالاتی بودند. البتهتکنیک‌های جدیدی در رفع این مشکلات و بهبود آنها ارائه شده است. اما دربیشتر این تکنیک‌ها، مسائل افزونگی داده و مقیاس‌بندی بالا وجود دارد.الگوریتم­های خوشه­بندی متعددی براساس تکنیک­ های مختلف وجود دارد. بیشتراین الگوریتم ­ها، اشکالات متعددی دارند. همان­طور که اندازه خوشه در طیافزایش کاربران وب افزایش می‌یابد، نیاز به بهینه‌سازی خوشه ­ها اجتنابناپذیر خواهد بود. در این پایان‌نامه قصد بر آنست تا یک متدولوژیبهینه‌سازی خوشه بر اساس سیستم فازی و الگوریتم ژنتیک ارائه شود.  فهرست مطالب: چکیده فصل اول 1-1-مقدمه 1-2-تعریف مسئله 1-3-اهمیت و ضرورت تحقیق 1-4-شیوه پژوهش 1-5-چارچوب پایان‏ نامه مراجع فصل دوم 2-1-مقدمه 2-2-مروی بر کارهای انجام شده مراجع فصل سوم 3-1-مقدمه 3-2-مراحل وب کاوی 3-2-1-انواع وب‌کاوی 3-3-شخصی‌سازی وب 3-3-1-دلایل نیاز به شخصی‌سازی وب 3-3-2-مراحل شخصی سازی وب 3-3-2-1-جمع‌آوری داده 3-3-2-2-پردازش داده 3-3-2-3-کشف الگو 3-3-2-4-تحلیل دانش 3-3-3-تکنیک های مدل­سازی کاربر در شخصی‌سازی وب 3-3-3-1-تکنیک tf-idf 3-3-3-2-تکنیک متا مدل و ابزار OLAP 3-3-3-3-تکنیک براساس محتوای وب 3-3-3-4-تکنیک براساس فراهم کردن داده‌های موثر (ODP)3-3-3-5-شخصی­سازی وب با استفاده از روش­های ترکیبی 3-3-3-6-شخصی­سازی وب براساس الگوریتم استقرایی و تکنولوژی tf-idf 3-3-3-7-شخصی­سازی وب با استفاده از کندوکاو الگوی ترتیبی و درخت الگو 3-4-خوشه‌بندی برای شخصی‌سازی وب 3-4-1-خوشه­ بندی فازی 3-4-1-1-الگوریتم پایه‌ای خوشه‌بندی فازی 3-4-1-2-الگوریتم فازی کامینز 3-4-1-3-خوشه­بندی صفحات وب با استفاده از خوشه ­بندی فازی k-means 3-4-2-الگوریتم ژنتیک 3-4-2-1-بهینه‌سازی خوشه‌بندی فازی با استفاده از الگوریتم ژنتیک 3-4-3-روش پیشنهادی در این تحقیق 3-4-4-شمای کلی سیستم پیشنهادی 3-4-5-مثالی از سیستم پیشنهادی 3-4-6-شبه کد روش پیشنهادی 3-5-جمع­ بندی مراجع فصل چهارم 4-1-مقدمه 4-2-مجموعه داده­ ها 4-2-1-دیتاست YANDEX 4-2-1-1-پیش پردازش انجام شده با مجموعه داده­های خام قبل از انتشار 4-3-پارامترهای ارزیابی 4-4-آزمایشات انجام شده 4-4-1-سخت افزار مورد استفاده 4-4-2-نتایج آزمایشات 4-5-جمع ­بندی مراجع فصل پنجم 5-1-مقدمه 5-2-نتایج و دستاوردهای پروژه 5-3-پیشنهادات مراجع