وب کاوی در صنعت

تعداد صفحات : ۴۳ | قابل ویرایش

با توسعه سیستم های اطلاعاتی، داده به یکی از منابع پراهمیت سازمان ها مبدل گشته است. بنابراین روش ها و تکنیک هایی برای دستیابی کارا به داده، اشتراک داده، استخراج اطلاعات از داده و استفاده از این اطلاعات، مورد نیاز می باشد.

وب کاوی در صنعت

فهرست مطالب

عنوان         شماره صفحه

فصل اول:مقدمه

مقدمه ۱

فصل دوم:داده کاوی

۲- ۱ مقدمهای بر داده کاوی. ۶

۲-۱-۱ چه چیزی سبب پیدایش داده کاوی شده است؟ ۷

۲-۲ مراحل کشف دانش.. ۹

۲- ۳ جایگاه داده کاوی در میان علوم مختلف. ۱۲

۲-۴ داده کاوی چه کارهایی نمی تواند انجام دهد؟ ۱۴

۲-۵ داده کاوی و انبار داده ها ۱۴

۲-۶ داده کاوی و OLAP. 15

۲-۷ کاربرد یادگیری ماشین و آمار در داده کاوی. ۱۶

۲-۸ توصیف داده ها در داده کاوی. ۱۶

۲-۸-۱ خلاصه سازی و به تصویر در آوردن داده ها ۱۶

۲-۸-۲ خوشه بندی. ۱۷

۲-۸-۳ تحلیل لینک.. ۱۸

۲-۹ مدل های پیش بینی داده ها ۱۸

۲-۹-۱ دسته بندی. ۱۸

۲-۹-۲ رگرسیون. ۱۸

۲-۹-۳ سری های زمانی. ۱۹

۲-۱۰ مدل ها و الگوریتم های داده کاوی. ۱۹

۲-۱۰-۱ شبکه های عصبی. ۱۹

۲-۱۰-۲ درخت تصمیم ۲۲

۲-۱۰-۳ Multivariate Adaptive Regression Splines(MARS) 24

۲-۱۰-۴ Rule induction. 25

۲-۱۰-۵ K-nearest neibour and memory-based reansoning(MBR) 25

۲-۱۰-۶ رگرسیون منطقی. ۲۶

۲-۱۰-۷ تحلیل تفکیکی. ۲۷

۲-۱۰-۸ مدل افزودنی کلی (GAM) 28

۲-۱۰-۹ Boosting. 28

۲-۱۱ سلسله مراتب انتخابها ۲۸

۲-۱۲داده کاوی و مدیریت بهینه وب سایت ها ۳۰

۲-۱۳داده‌کاوی و مدیریت دانش.. ۳۱

فصل سوم: وب کاوی

۳-۱ تعریف وب کاوی. ۳۳

۳-۲ مراحل وب کاوی. ۳۳

۳-۳ وب کاوی و زمینه های تحقیقاتی مرتبط. ۳۴

۳-۳-۱ وب کاوی و داده کاوی. ۳۴

۳-۳-۲ وب کاوی و بازیابی اطلاعات. ۳۵

۳-۳-۳ وب کاوی و استخراج اطلاعات. ۳۶

۳-۳-۴ وب کاوی و یادگیری ماشین. ۳۷

۳-۴ انواع وب کاوی. ۳۷

۳-۵ چالش های وب کاوی. ۳۸

۳-۶مشکلات ومحدودیت های وب کاوی در سایت های فارسی زبان. ۳۹

۳-۷ محتوا کاوی وب. ۴۰

فصل چهارم: وب کاوی در صنعت

۴-۱ انواع وب کاوی در صنعت. ۴۳

۴-۱-۱وب کاوی در صنعت نفت، گاز و پتروشیمی. ۴۳

۴-۱-۱-۱ مهندسی مخازن/ اکتشاف. ۴۳

۴-۱-۱-۲مهندسی بهره برداری. ۴۴

۴-۱-۱- ۳مهندسی حفاری. ۴۴

۴-۱-۱-۴بخشهای مدیریتی. ۴۴

۴-۱-۲ کاربرد های دانش داده کاوی در صنعت بیمه ۴۵

۴-۱-۳کاربردهای دانش داده کاوی در مدیریت شهری. ۴۶

۴-۱-۴کاربردهای داده کاوی در صنعت بانکداری. ۴۷

۴-۱-۴-۱بخش بندی مشتریان. ۴۷

۴-۲ پژوهش های کاربردی. ۴۸

نتیجه گیری. ۵۰

منابع و ماخذ فارسی. ۵۱

مراجع و ماخذ لاتین و سایتهای اینترنتی. ۵۲

فهرست اشکال

عنوان                                                                                      شماره صفحه

شکل(۲-۱) داده کاوی به عنوان یک مرحله از فرآیند کشف دانش… ۸

شکل(۲-۲) سیر تکاملی صنعت پایگاه داده. ۱۰

شکل (۲-۳) معماری یک نمونه سیستم داده کاوی.. ۱۱

شکل (۲-۴) داده ها از انباره داه ها استخراج می گردند. ۱۴

شکل(۲-۵( داده ها از چند پایگاه داده استخراج شده اند. ۱۵

شکل(۲-۶) شبکه عصبی با یک لایه نهان. ۲۰

شکل(۲-۷) Wx,y وزن یال بین X و Y است. ۲۱

شکل(۲-۸) درخت تصمیم گیری.. ۲۳

شکل(۲-۹( روش MBR.. 26

چکیده

با افزایش چشمگیر حجم اطلاعات و توسعه وب، نیاز به روش ها و تکنیک هایی که بتوانند امکان دستیابی کارا به داده‌ها و استخراج اطلاعات از آنها را فراهم کنند، بیش از پیش احساس می شود. وب کاوی یکی از زمینه های تحقیقاتی است که با به کارگیری تکنیک های داده کاوی به کشف و استخراج خودکار اطلاعات از اسناد و سرویس‌های وب می پردازد. در واقعوب کاوی، فرآیند کشف اطلاعات و دانش ناشناخته و مفید از داده های وب می باشد.

روش های وب کاوی بر اساس آن که چه نوع داده ای را مورد کاوش قرار می دهند، به سه دسته کاوش محتوای وب، کاوش ساختار وب و کاوش استفاده از وب تقسیم می شوند.  طی این گزارش پس از معرفی وب کاوی و بررسی مراحل آن، ارتباط وب کاوی با سایر زمینه های تحقیقاتی بررسی شده و به چالش ها، مشکلات و کاربردهای این زمینه تحقیقاتی اشاره می شود.

همچنین هر یک از انواع وب کاوی به تفصیل مورد بررسی قرار می گیرند که در این پروژه بیشتر به وب کاوی در صنعت می پردازم. برای این منظور مدل ها، الگوریتم ها و کاربردهای هر طبقه معرفی می شوند.

مقدمه

با توسعه سیستم های اطلاعاتی، داده به یکی از منابع پراهمیت سازمان ها مبدل گشته است. بنابراین روش ها و تکنیک هایی برای دستیابی کارا به داده، اشتراک داده، استخراج اطلاعات از داده و استفاده از این اطلاعات، مورد نیاز می باشد. با ایجاد و گسترش وب و افزایش چشمگیر حجم اطلاعات، نیاز به این روش ها و تکنیک ها بیش از پیش احساس می شود. وب، محیطی وسیع، متنوع و پویا است که کاربران متعدد اسناد خود را در آن منتشر می کنند.

در حال حاضر بیش از دو بیلیون صفحه در وب موجود است و این تعداد با نرخ ۳/۷ میلیون صفحه در روز افزایش مییابد. با توجه به حجم وسیع اطلاعات در وب، مدیریت آن با ابزارهای سنتی تقریبا غیر ممکن است و ابزارها و روش هایی نو برای مدیریت آن مورد نیاز است. به طور کلی کاربران وب در استفاده از آن با مشکلات زیر روبرو هستند:

۱. یافتن اطلاعات مرتبط: یافتن اطلاعات مورد نیاز در وب دشوار می باشد. روش های سنتی بازیابی اطلاعات که برای جستجوی اطلاعات در پایگاه داده ها به کار می روند، قابل استفاده در وب نمی‌باشند وکاربران معمولا از موتورهای جستجو که مهمترین و رایج ترین ابزار براییافتن اطلاعات در وب می باشند، استفاده می کنند.

این موتورها، یک پرس و جوی[۱] مبتنی بر کلمات کلیدی از کاربر دریافت کرده و در پاسخ لیستی از اسناد مرتبط با پرس و جوی وی را که بر اساس میزان ارتباط با این پرس و جو مرتب شده اند، به وی ارائه می کنند. اما موتورهای جستجو دارای دو مشکل اصلیهستند.

اولا دقت[۲] موتورهای جستجو پایین است، چراکه این موتورها در پاسخ به یک پرس و جوی کاربر صدها یا هزاران سند را بازیابی می کنند، در حالی که بسیاری از اسناد بازیابی شده توسط آنها با نیاز اطلاعاتی کاربر مرتبط نمی باشند.

دوما میزان فراخوان[۳]این موتورها کم می باشد، به آن معنی که قادر به بازیابی کلیه اسناد مرتبط با نیاز اطلاعاتی کاربر نیستند. چرا که حجم اسناد در وب بسیار زیاد است و موتورهای جستجو قادر به نگهداری اطلاعات کلیه اسناد وب، در پایگاه داده های خود نمی باشند.

۲. ایجاد دانش جدید با استفاده از اطلاعات موجود در وب: این مشکل در واقع بخشی از مشکل مطرح شده در قسمت قبل می باشد. در حال حاضر این سوال مطرح است که چگونه می توان داده های فراوان موجود در وب را به دانشی قابل استفاده تبدیل کرد، به طوری که یافتن اطلاعات مورد نیاز در آن به سادگی صورت بگیرد. همچنین چگونه می توان با استفاده از داده های وب به اطلاعات و دانشی جدید دست یافت.

۳. خصوصی سازی[۴] اطلاعات: از آن جا که کاربران متفاوت هر یک درباره نوع و نحوه بازنمایی اطلاعات سلیقه خاصی دارند،این مسئله باید توسط تامین کنندگان اطلاعات در وب مورد توجه قرار بگیرد. برای این منظور با توجه به خواسته ها و تمایلات کاربران متفاوت، نحوه ارائه اطلاعات به آنها باید سفارشی گردد.

تکنیک های وب کاوی[۵]قادر به حل این مشکلات می باشند. دروب کاویبه صورت زیر تعریف شده است:

وب کاوی به کارگیری تکنیک های داده کاوی[۶] برای کشف و استخراج خودکار اطلاعات از اسناد و سرویس های وب می باشد.

البته تکنیک های وب کاوی تنها ابزار موجود برای حل این مشکلات نیستند. بلکه تکنیک های مختلفی از سایر زمینه های تحقیقاتی همچون پایگاه داده ها، بازیابی اطلاعات، پردازش زبان طبیعی قابل استفاده در این زمینه می باشند. همچنین تکنینک های وب کاوی می توانند به صورت مستقیم یا غیر مستقیم برای حل این مشکلات به کار روند. منظور از رویکرد مستقیم آن است که کاربرد تکنیک های وب کاوی به صورت مستقیم مشکلات مطرح شده را حل می نماید.

یک عامل گروه خبری که مرتبط بودن یک خبر به یک کاربر را تعیین می کند، مثالی از این رویکرد می باشد. اما در رویکرد غیر مستقیم، تکنیک های وب کاوی به عنوان بخشی از یک روش جامع تر که به حل این مشکلات می پردازد، مورد استفاده قرار می گیرند.

با توجه به گسترش روز افزون حجم اطلاعات در وب و ارتباط وب کاوی با تجارت الکترونیکی، وب کاوی به یک زمینه تحقیقاتی وسیع مبدل گشته است. طی این گزارش پس از بررسی مراحل وب کاوی،انواع آن معرفی می شوند. سپس ارتباط وب کاوی با سایر زمینه های تحقیقاتی بررسی شده و به چالش ها و مشکلات این زمینه تحقیقاتی اشاره می شود.

در ادامه هر یک از انواع وب کاوی به تفصیل مورد بررسی قرار می گیرند. برای این منظور مدل ها، الگوریتم ها و کاربردهایهر طبقه معرفی می شوند. در پایان نیز به برخی از نمونه کاربردهای واقعی وب کاویاشاره می شود.

منابع و ماخذ فارسی

• دانشنامه آزاد ویکی پدیا
• ماهنامه عملی آموزشی تدبیر شماره ۱۵۶
• مهریزی، حائری، علی اصغر ، «داده‌کاوی: مفاهیم، روش‌ها و کاربردها» (۱۳۸۲) پایان‌نامه کارشناسی ارشد آمار اقتصادی و اجتماعی، دانشکده اقتصاد، دانشگاه علامه طباطبائی.
• زعفریان، رضا و زعفریان،قاسم، «مروری بر داده‌کاوی» (۱۳۸۰) فصلنامه صنایع، شماره ۲۹
• شاه‌سمندی، پرستو «داده‌کاوی در مدیریت ارتباط با مشتری» (۱۳۸۴)، مجله تدبیر شماره ۱۵۶.
• گودرزی، حمیدرضا، مترجم «داده‌کاوی چیست»، نشریه گزیده مطالب آماری، مرکز آمار ایران، شماره ۵۲.
• جمالی، آرمان – شهر الکترونیکی، بستر ورود به رقابت­های عصر سیبرنتیک

مراجع و ماخذ لاتین و سایت های اینترنتی

• Barbara Mento and Brendan Rapple, SPEC Kit 274: Data mining and data warehousing, Association of Research Libraries, Washington, DC (2003, July)
• http://www.infotechera.com/
• http://www.ece.ut.ac.ir/dbrg/index.htm
• http://www.irandoc.ac.ir/index.htm
• http://www.arts.uci.edu/dobrain/gems.980415b.htm