ارائه یک مدل بهینه تشخیص خطا در فرایند ETL

ارائه یک مدل بهینه تشخیص خطا در فرایند ETL

چکیده: تحمل‌پذیریدر مقابل خطا برای سیستمهای اطلاعاتی امروزه یکی از ویژگی‌های بارز وبااهمیت می‌باشد.در میان روش‌های مختلف ارتقا تحمل‌پذیری خطا، شیوهنرم‌افزاری نسبت به دیگر روش‌ها از پیچپیدگی بیشتری برخوردار می‌باشد.دراینجا با توجه به اینکه سیستم هدف ما سیستمهای هوشمند کسب‌وکار میباشند کهدر تصمیم‌گیری و تصمیم سازی محیط کسب‌وکار نقش بسزایی داشته و بعنوان یکسیستم استراتژیک اهمیت ارتقاء تحمل‌پذیری خطای آن بیشتر می‌شود.در این تحقیق یک روش جدید نرم‌افزاری برای شناسایی وقوع خطا در سیستمهایهوشمند کسب‌وکار در مرحله انتقال اطلاعات از منابع اطلاعاتی به سیستم مقصد وساخت انبار داده با استفاده از شاخصهای عملکردی کسب‌وکار ارائه نموده‌ایم.این روش در جاهایی که با استفاده ازتکنیک افزونگی نسبت به ارتقاءتحمل‌پذیری خطای سیستم اقدام نموده‌اند برای شناسایی خطای رخ داده و همچنینانتخاب ماژول سالم، قابل‌استفاده است.از مزایای این روش انعطاف‌پذیریبالای آن جهت استفاده در بخش‌های مختلف سیستم ،شناسایی عمومی خطاهای رخداده در طول فرایند انتقال ،قابلیت توسعه آن بدون هزینه اضافی و همچنینقابلیت استفاده این روش در هر سیستمی که نیاز به انتقال اطلاعات از یک محیطبه محیط دیگر دارندمیباشد.این روش بر پایه متدولوژی تشخیص بر اساس مقایسه بنا شده است و هدفششناسایی سریع خطا با مقایسه داده‌های انتقال‌یافته و داده‌های منابع درچارچوب شاخصهای عملکردی محیط کسب‌وکار می‌باشد. با توجه به اینکه این روش یک راه‌کار نرم‌افزاری می‌باشد هزینه آن از روش‌های سخت‌افزاری مشابه پایین تر می‌باشد . کلمات کلیدی: سیستمهای هوشمند کسب‌وکار،واکشی انتقال و بار گزاری، تحمل‌پذیری خطا،افزونگی ،شاخص‌های عملکردی،انبار داده فهرست مطالب عنوان چکیدهفهرست مطالب ‌و فهرست جداول ‌ي فهرست اشکال ‌ك فصل اول: مقدمه 1 مقدمه 2 طرح مساله 3 هدف تحقیق 3 محدوده تحقیق 3 ساختار پروژه 3 فصل دوم: مروری بر سیستمهای کسب‌وکار هوشمند 5 مقدمه 6 سیستمهای هوشمند کسب‌وکار 7 انبار داده 7 معماری جریان داده 8 معماری سیستم 10 یکپارچگی داده 10 تناوب باریابی 11 منبع داده‌ای ابعادی 11 منبع داده‌ای نرمال شده 11 Master Data Management (MDM) 11 ETL [(5و6 مر) 12 دیدگاه‌ها و معماری ETL 14 گزارش‌های تحلیلی 15 داده کاوی 15 سرویس گزارش‌های 16 نتیجه‌گیری 17 فصل سوم: سیستمهای مطمئن 18 مقدمه 19 اتکاپذیري 20 قابلیت اطمینان 21 قابلیت دسترسی 21 ایمنی 21 قابلیت نگهداری 22 آزمون‌پذیری 22 امنیت 22 نقص و خطا و شکست 22 کارایی 23 تحمل‌پذیری خطا 23 افزونگی 24 افزونگی سخت‌افزاری 25 افزونگی سخت‌افزاری ایستا 25 افزونگی سخت‌افزاری فعال 27 تکنیک Duplication with Comparison 28 تکنینک Standby Sparing 29 تکنیک Pair-and-a-Spare 30 Watchdog Timers 30 افزونگی سخت‌افزاری ترکیبی 30 تحمل‌پذیری خطاي نرم‌افزاری 31 تاکتیک‌های تحمل‌پذیری خطاي نرم‌افزاری تک نسخه‌ای 32 آشکارسازي نقص 32 محدودسازي نقص 33 بازیابی نقص 34 تاکتیک‌های تحمل‌پذیری خطاي نرم‌افزاری چند نسخه‌ای 34 گوناگونی طراحی 35 بلوک‌های بازیابی 35 برنامه‌نویسی چند نسخه‌ای 36 برنامه‌نویسی خود بررسی 37 بلوک‌های بازیابی توزیع‌شده 38 بلوک‌های بازیابی اجماعی 38 رأی‌گیری پذیرش 39 شاخصهای عملکردی 40 روش‌های رایج برای ارزیابی قابلیت اطمینان سیستم ها 41 ساده‌سازی سری و موازی 42 تجزیه محوری 43 ایجاد مسیرها و قطعات مینیمم 43 ماتریس رابطه 44 روش حذف گره برای تولید یک مسیر مینیمم 45 تولید قطعات مینیمم از مسیرهای مینیمم 45 روش شمول- عدم شمول 46 روش جمع حاصل ضرب های گسسته 47 ضوابط گسسته: قانون افزایش 47 فصل چهارم :روش پیشنهادی 49 مقدمه 50 مطالعه موردی اجرا شده در شرکت فولاد خوزستان 58 فصل پنجم: نتیجه‌گیری و کارهای آینده 62 نتیجه‌گیری 63 کارهای آینده 64 مراجع 65   مقدمه دادهیکی از باارزش‌ترین سرمایه‌های هر سازمان است. سیستمهای هوشمند کسب‌وکاراین امکان را فراهم می‌کنند تا با استفاده ازداده‌ها و ابزارهایی، ارزشواقعی این داده‌ها را با تبدیل داده به اطلاعات و سپس به دانش انجام گیرد.مکانیزم سیستمهای هوشمند کسب‌وکار به اینصورت می‌باشد که داده‌های موجود دربخش‌های مختلف سازمان با فرمتهای گوناگون طی یک فرایند بازیابی ،انتقال،پاک‌سازی و بارکردن به انبار داده انتقال داده و با استفاده از ابزارهایتحلیلی ،گزارش‌های مناسب در اختیار کاربران قرار خواهد داد.فرایند ETLتقریبا 70 درصد کل فرایند پیاده‌سازی سیستم هوشمند کسب‌وکار را شامل میشودومیتوان گفت صحت کارکرد کل سیستم تا حد زیادی به صحت بخش ETL وابستهاست.سیستمهای هوشمند کسب‌وکار از شاخصهای عملکردی برای ارزیابی وضعیت کمی وکیفی بخش‌های مختلف سازمان استفاده می‌کنند در واقع سیستمهای هوشمندکسب‌وکار با استفاده از این شاخص‌ها وضعیت کلی سازمان را مانیتور و کنترلمیکند.کارهای گذشته که در مورد سیستمهای هوشمند کسب‌وکار در زمینه ارتقاء قابلیتاطمینان هوشمند کسب‌وکار و تحمل‌پذیری در مقابل خطا ارائه شده است محدودبه استفاده از تکنیک افزونگی است بدون اینکه اشاره‌ای به روش شناسایی خطاداشته باشند . در این تحقیق ما سعی خواهیم نمود با نگاهی به معماری‌هایاستاندارد و معمول سیستمهای هوشمند کسب‌وکار ،جهت افزایش قابلیت اطمینان وتحمل‌پذیری در مقابل خطا یک مکانیزم جدید برای تشخیص وقوع خطا مبتنی براستفاده از شاخصهای عملکردی پیشنهاد کنیم.در اینجا یک روش عمومی نرم‌افزاریمتمرکز برای کنترل صحت انتقال اطلاعات در مراحل مختلف انتقال از سیستمهایاطلاعاتی به سیستمهای هوشمند کسب‌وکار ارائه می‌نماید که با ترکیب باتکنیکهای افزونگی برای افزایش قابلیت اطمینان سیستمها بسیار کارامد می‌باشدو از مزایایی همچون قابلیت انعطاف برای اعمال تغییرات و توسعه ،شناساییدقیق محل وقوع خطا،قابلیت استفاده عمومی در هرگونه پروژه ایی که نیاز بهانتقال اطلاعات از یک محیط به محیط دیگری دارند قابل‌استفاده می‌باشد.طرح مساله سیستمهایتصمیم گیر و تصمیم ساز نقشی استراتژیک در موفقیت یک کسب‌وکار دارند لذاصحت اطلاعات و در دسترس بودن آن‌ها از اهمیت بسیاری برخوردار می‌باشد.عمومابرای بالا بردن قابلیت اعتماد این‌گونه از سیستمها از راه‌کارهای افزونگیسخت افزای که پیاده‌سازی آن‌ها نسبت به راه‌حل‌های نرم‌افزاری راحت تر و ازپیچیدگی کمتری برخوردار است استفاده می‌شود ولی یک از ضعفهای عمومیاین‌گونه راه حلها عدم اطمینان صدرصدی درستی آن‌ها می‌باشد بخصوص برای اینبحث خاص یعنی انتقال داده‌ها از یک محیط به محیط دیگر. بعنوان مثال برایروشن تر شدن موضوع میتوان به انتقال تعدادی رکورد از منبع به یک مقصد اشارهکرد که در راه‌کارهای سخت‌افزاری بروی انجام عملیات انتقال مترکز می‌باشد وبروی ماهیت داده‌ها و مقادیر آن‌ها هیچ‌گونه درکی ندارد یعنی اگر در طولفرایند انتقال مقداری از یک رکورد تغییر کند سیستم متوجه نخواهد شد درصورتی که در روش نرم‌افزاری پیشنهادی با مقایسه مقادیر انتقالی متوجه هرگونه تغییر و خطای خواهد شد.هدف تحقیقهدف ما در این تحقیق ارائه یک راه‌کار نرم افرازی می‌باشد که قابلیتاجرایی در هر کسب‌وکاری که نیاز به انتقال اطلاعات از یک محیط به محیط دیگرنیاز دارد قابل‌استفاده می‌باشد ما در این روش از نگاشت جداول محیط منبع وجداول مقصد و همچنین بر اساس متدولوژی تشخیص بر اساس مقایسه استفادهکرده‌ایم.با توجه به اینکه انتقال اطلاعات در کسب‌وکارهایی انجام می‌شود کهدر آن‌ها سیستمهای اطلاعاتی قبلا استقرار داشته‌اند میتوان از نگاشت‌ها وهمچنین شاخصهای عملکردی استفاده نمود.