پایان نامه بهبود مدل کاربر در وب سایت بصورت خودکار با استفاده از معناشناسی با مفاهیم خاص دامنه

تعداد صفحات: ۱۶۱ | قابل ویرایش

فهرست

۱- مقدمه. ۹

مقدمه. ۱۳

۱-۱- دلایل نیاز به شخصی سازی وب. ۱۳

۱-۱-۱- گرانبار شدن اطلاعات. ۱۳

۱-۱-۲- نیاز به جذب مشتری پابرجای برای وب سایت. ۱۴

۱-۲- تعریف شخصی سازی وب. ۱۴

۱-۳- فواید سیستم شخصی سازی وب. ۱۴

۱-۴- تفاوت شخصی سازی وب با تطبیق طرح کلی سایت. ۱۵

۱-۵- طبقه بندی عملکردهای اصلی شخصی سازی وب. ۱۵

۱-۶- نیازمندیهای اصلی سیستم شخصی سازی وب. ۱۶

۱-۷- رویکرد های موجود در شخصی سازی وب. ۱۷

۱-۸- نقش وب کاوی کاربرد وب در شخصی سازی وب. ۱۸

۱-۹- نیاز به استفاده از محتوا در شخصی سازی وب. ۱۹

۱-۱۰- نیاز به استفاده از معنا در شخصی سازی وب. ۱۹

۱-۱۱- هدف پروژه. ۲۱

۱-۱۲- نحوه ی گردآوری مراجع. ۲۱

۱-۱۳- رویکرد بکار رفته در تحقیق. ۲۱

۱-۱۴- ساختار پایان نامه. ۲۲

مراجع. ۲۲

۲- مطالب پیش زمینه. ۲۵

مقدمه. ۲۵

۲-۱- شخصی سازی وب براساس وب کاوی کاربرد وب. ۲۵

۲-۱-۱- آماده سازی و مدلسازی داده. ۲۸

۲-۱-۱-۱- منابع و انواع داده. ۲۹

۲-۱-۱-۱-۱- داده های کاربرد. ۲۹

۲-۱-۱-۱-۱-۱- فرمت های ثبت. ۳۰

۲-۱-۱-۱-۱-۲- منابع داده های کاربرد. ۳۲

۲-۱-۱-۱-۲- داده های محتوا. ۳۶

۲-۱-۱-۱-۳- داده های ساختار. ۳۷

۲-۱-۱-۱-۴- داده های کاربران. ۳۷

۲-۱-۱-۲- آماده سازی و پیش پردازش داده ها. ۳۸

۲-۱-۱-۲-۱- پاکسازی داده ها. ۳۸

۲-۱-۱-۲-۲- شناسایی کاربر. ۴۰

۲-۱-۱-۲-۳- تشخیص مشاهده صفحه. ۴۱

۲-۱-۱-۲-۴- تشخیص جلسه ی کاربر. ۴۲

۲-۱-۱-۲-۵- تکمیل مسیر. ۴۳

۲-۱-۱-۲-۶- تشخیص تراکنش. ۴۴

۲-۱-۱-۲-۷- پیش پردازش نهایی داده های کاربرد. ۴۶

۲-۱-۱-۲-۸- یکپارچه سازی داده ها از منابع گوناگون. ۴۷

۲-۱-۲- کشف الگو از داده های کاربرد وب. ۴۸

۲-۱-۲-۱- سطوح و انواع تحلیل. ۴۸

۲-۱-۲-۲- وظایف داده کاوی بر روی داده های کاربرد وب. ۴۹

۲-۱-۲-۲-۱- کاوش قواعد انجمنی. ۵۰

۲-۱-۲-۲-۲- کشف الگوهای ترتیبی. ۵۲

۲-۱-۲-۲-۳- خوشه بندی. ۵۷

۲-۱-۳- استفاده از الگوهای کشف شده جهت شخصی سازی وب. ۶۱

۲-۱-۴- زمینه های تحقیقاتی شخصی سازی وب. ۶۱

۲-۲- منابع معنایی لغوی. ۶۳

۲-۲-۱- فرهنگ لغت. ۶۳

۲-۲-۲- فرهنگ های جامع. ۶۳

۲-۲-۳- واژگان شناختی و رده بندی. ۶۴

۲-۲-۳-۲- رده بندی. ۶۷

۲-۲-۳-۳- واژگان شناختی ها و رده بندی های موجود. ۶۷

۲-۲-۳-۳-۱- واژگان شناختی های مربوط به یک دامنه ی خاص  ۶۸

۲-۲-۳-۳-۲- واژگان شناختی های عمومی. ۶۸

۲-۲-۳-۳-۲-۱- CYC و OpenCYC.. 68

۲-۲-۳-۳-۲-۲- WordNet 68

۲-۲-۳-۳-۲-۳- دایرکتوری های وب. ۷۰

۲-۲-۳-۴- زبان های نمایش واژگان شناختی. ۷۱

۲-۲-۴- فرهنگ های عمومی. ۷۲

۲-۲-۴-۱- Wikipedia. 72

۲-۲-۴-۱-۱- نقاط ضعف و قوت Wikipedia. 74

۲-۲-۴-۱-۲- ساختار Wikipedia. 75

۲-۲-۴-۱-۳- انواع اطلاعات معنایی لغوی در Wikipedia. 76

۲-۲-۵- نتیجه گیری. ۷۸

مراجع. ۸۰

۳- کارهای انجام شده در زمینه مدلسازی کاربر در شخصی سازی وب با استفاده از محتوای وب. ۸۵

مقدمه. ۸۵

۳-۱- تکنیک های مورد استفاده. ۸۶

۳-۱-۱- تکنیک tf-idf 86

۳-۱-۲- تکنیک تحلیل معنایی پنهان. ۸۶

۳-۱-۳- تکنیک های مربوط به محاسبه ی ارتباط معنایی دو کلمه  ۸۷

۳-۱-۳-۱- معیارهای ارتباط معنایی مهم در ساختارهای سلسله مراتبی  ۸۷

۳-۱-۳-۱-۱- رویکردهای مبتنی بر مسیر. ۸۸

۳-۱-۳-۱-۲- رویکردهای مبتنی بر محتوای اطلاعات. ۸۸

۳-۱-۳-۱-۳- رویکردهای مبتنی بر همپوشانی متن. ۸۹

۳-۱-۳-۲- رویکردهای محاسبه ی ارتباط معنایی دو کلمه برای روابط غیر رابطه ی هست. ۸۹

۳-۱-۳-۳- کارهای انجام شده در مورد محاسبه ی ارتباط معنایی دو کلمه در Wikipedia. 90

۳-۲- رویکردهای انجام شده در زمینه ی مدلسازی کاربر در وب سایت با استفاده از محتوای صفحات. ۹۱

۳-۲-۱- رویکردهای بر مبنای کلمات کلیدی. ۹۲

۳-۲-۲- رویکردهای معنایی. ۹۲

۳-۲-۲-۱- روش های آماری. ۹۳

۳-۲-۲-۲- روش های مبتنی بر سلسله مراتب. ۹۴

جمع بندی. ۱۰۰

مراجع. ۱۰۱

۴- روش پیشنهادی. ۱۰۶

مقدمه. ۱۰۶

۴-۱- تعریف مساله. ۱۰۶

۴-۲- طراحی روش جدید. ۱۰۶

۴-۲-۱- مولفه ی پیش پردازش اولیه ی ثبت. ۱۰۷

۴-۲-۲- مولفه ی استخراج کلمات کلیدی از صفحات وب سایت. ۱۰۷

۴-۲-۳- مولفه ی استخراج مفاهیم دامنه از وب سایت. ۱۱۱

۴-۲-۴- مولفه ی سازنده ی بردار کلمات کلیدی. ۱۱۳

۴-۲-۵- مولفه ی نگاشت. ۱۱۵

۴-۶- دیاگرام های UML قسمت های اصلی سیستم. ۱۱۷

۴-۷- بررسی تطابق طرح پیشنهادی با صورت مساله. ۱۱۷

جمع بندی. ۱۱۹

مراجع. ۱۱۹

۵- جزئیات پیاده سازی. ۱۲۱

مقدمه. ۱۲۱

۵-۱- مولفه ی پیش پردازش اولیه ی ثبت. ۱۲۱

۵-۱-۲- نحوه ی دریافت ثبت وب سرور. ۱۲۱

۵-۲- مولفه ی استخراج کلمات کلیدی از صفحات وب سایت. ۱۲۳

۵-۳- مولفه ی استخراج مفاهیم دامنه از وب سایت. ۱۲۵

۵-۴- مولفه ی سازنده ی بردار کلمات کلیدی. ۱۲۵

۵-۵- مولفه ی نگاشت. ۱۲۵

۵-۶- پیاده سازی آزمایشات. ۱۲۵

جمع بندی. ۱۲۶

مراجع. ۱۲۶

۶- ارزیابی روش پیشنهادی. ۱۲۹

مقدمه. ۱۲۹

۶-۱- مجموعه داده ها. ۱۲۹

۶-۲- پارامترهای ارزیابی. ۱۳۰

۶-۳- بررسی درستی مولفه های سیستم. ۱۳۱

۶-۴- آزمایشات انجام شده. ۱۳۱

۶-۴-۱- سخت افزار مورد استفاده. ۱۳۲

۶-۴-۲- نتایج آزمایشات. ۱۳۲

۶-۴-۳- تحلیل نتایج آزمایشات. ۱۳۲

جمع بندی. ۱۳۳

مراجع. ۱۳۳

۷- نتیجه گیری و کارهای آینده. ۱۳۶

مقدمه. ۱۳۶

۷-۱- نتایج حاصل از پروژه. ۱۳۶

۷-۲- دستاوردهای پروژه. ۱۳۶

۷-۳- کارهای آینده. ۱۳۷

مراجع. ۱۳۹

واژه نامه. ۱۴۵

چکیده

گرانبار شدن اطلاعات یک مشکل عمده در وب کنونی به شمار می­رود. برای مقابله با این مشکل، سیستم­های شخصی­سازی وب ارائه شده­اند که محتوا و سرویس­های یک وب­سایت را با افراد براساس علایق و رفتار گردشی آن­ها سازگار می­کنند. یک مولفه­ی اساسی در هر سیستم شخصی­سازی وب، مدل کاربر آن است.

محتوای صفحات یک وب­سایت را می­توان به منظور ایجاد مدل دقیق­تری از کاربر مورد استفاده قرار داد، اما رویکردهای مبتنی بر کلمات کلیدی نگرش عمیقی از وب­سایت ندارند. اخیرا تحقیقاتی برای ترکیب کردن معنای موجود در وب­سایت در نمایش کاربران آن انجام شده است. تمامی این تلاش­ها یا از یک رده­بندی یا واژگان شناختی خاص و دست ساخته و یا از واژگان­شناختی­های عمومی مانند WordNet برای نگاشت مشاهده صفحات به عناصر معنایی استفاده می­کنند. با این وجود ساختن یک سلسله مراتب از مفاهیم بصورت دستی زمان­بر و هزینه­بر است.

از سوی دیگر منابع معنایی لغوی عمومی از پوشش کم عبارات خاص دامنه رنج می­برند. در این پایان نامه ما قصد داریم که هر دوی این نقص­ها را برطرف کنیم. دستاورد اصلی ما این است که مکانیسمی برای بهبود نمایش کاربر در وب­سایت بصورت خودکار و با استفاده از یک منبع معنایی لغوی جامع معرفی می­کنیم.

ما از Wikipedia، بزرگ­ترین دایره­المعارف امروزی به عنوان یک منبع غنی معنایی برای بهبود ساخت خودکار مدل برداری از علایق کاربر بهره­برداری می­کنیم. معماری ارائه شده شامل تعدادی مولفه است که عبارتند از: پیش پردازش اولیه، استخراج مفاهیم دامنه­ی وب سایت، استخراج کلمات کلیدی از وب­سایت، سازنده­ی بردار کلمات کلیدی و نگاشت کلمات کلیدی به مفاهیم.

مقدمه

در این فصل دلیل پرداختن به موضوع پروژه و صورت مساله آن مورد بررسی قرار می­گیرد. برای این منظور ابتدا مقدماتی در رابطه با شخصی­سازی وب، دلیل مطرح شدن آن، مولفه های اصلی و مشکلات آن به اختصار مطالبی ارائه می­شود.

در این میان به لزوم استفاده از معنا در فرآیند شخصی­سازی وب اشاره شده و مدل کاربر به عنوان یک مولفه از سیستم شخصی­سازی وب به منظور بهبود با استفاده از معنا مورد انتخاب قرار می­گیرد. سپس مساله­ای که پایان نامه سعی در حل آن دارد مطرح می­گردد. در انتها رویکرد بکار رفته در تحقیق و ساختار پایان نامه ارائه می­شود.

گرانبار شدن اطلاعات

وب جهانی منبعی عظیم از اطلاعات را فراهم آورده است. در بررسی­های گوناگون انجام شده در زمینه­ی گسترش وب تخمین زده شده است که روزانه بیش از یک میلیون صفحه به وب اضافه می­شود و بیش از ۶۰۰ گیگابایت از صفحات در هر ماه تغییر می­کنند[Nasraoui 2008] و[Achananuparp 2007] . این پدیده که گرانبار شدن اطلاعات نامیده می­شود مشکلاتی را برای کاربران وب بوجود آورده است.

از مهم­ترین این مشکلات عدم دسترسی آسان به اطلاعات مورد نیاز می­باشد. در این انباره­ی عظیم کاربران در یافتن اطلاعات مورد نیاز خود در زمان مناسب و بصورت آسان دچار مشکل هستند زیرا از یک سو باید میزان ربط هر صفحه را با نیاز خود بررسی کنند و از سوی دیگر باید صفحات را از نظر میزان قابلیت اعتماد ارزیابی کنند.

برای رفع این مشکل در دهه­های اخیر سیستم­های بازیابی اطلاعات و به تبع آن موتورهای جستجو ایجاد شدند که محتوای صفحات وب را اندیس­گذاری می­کنند و صفحات مرتبط با پرسش کاربر را برمی­گردانند اما این تکنولوژی­ها دو مشکل دارند:

• حجم اطلاعاتی که موتورهای جستجو به کاربر تحویل می­دهند بسیار بیشتر از آن است که قابل پردازش توسط کاربر باشد.
• بیشتر موتورهای جستجوی معروف موجود در وب تنها از محتوای صفحات و ساختار ارتباطی موجود بین آن­ها برای ارزیابی میزان ربط صفحات با پرسش کاربر استفاده می­کنند. از این رو برایشان اهمیت ندارد که پرسش توسط چه کسی و با چه علایق و دانش پیش­زمینه­ای وارد شده است. نتیجه آنکه صفحات بازیابی شده برای دو کاربر با علایق متفاوت و با پرسش یکسان مجموعه­ی یکسانی از صفحات وب می­باشد.

نقش وب کاوی کاربرد وب در شخصی­ سازی وب

بطور کلی وب­کاوی را می توان داده کاوی بر روی داده­های محتوا، ساختار و کاربرد وب به حساب آورد. هدف وب کاوی کشف مدل ها و الگوهای نهفته در منابع وب می­باشد.

هدف وب کاوی کاربرد وب بطور خاص کشف الگوهای رفتاری کاربران وب می باشد. کشف چنین الگوهایی از حجم عظیمی از داده های تولید شده توسط وب سرورها کاربردهای مهمی دارد[Anand 2005].

از جمله­ ی آن­ها می­توان به سیستم هایی که میزان موثر بودن یک سایت را در برآوردن انتظارات کاربر ارزیابی می­کنند، تکنیک هایی برای متعادل کردن پویای بار و بهینه سازی وب سرورها برای دستیابی موثرتر کاربران و کاربردهای مربوط به ساختاردهی مجدد و تطبیق یک سایت براساس نیازهای پیش بینی شده­ی کاربر اشاره کرد.

در سال های اخیر تکنیک های وب کاوی کاربرد وب به عنوان رویکردی دیگر که مبتنی بر کاربر است در شخصی­سازی وب ارائه شده اند که برخی از مشکلات مربوط به فیلترکردن جمعی را کاهش می­دهند.

بطور خاص وب کاوی کاربرد وب برای افزایش گسترش پذیری سیستم های شخصی­سازی شده­ی سنتی که برمبنای تکنیک های فیلترکردن جمعی می­باشند استفاده شده است. در فصل دوم بطور مفصل شخصی­سازی وب براساس وب کاوی کاربرد وب را شرح می­دهیم.

مراجع

1. ]اکبری۱۳۸۴[ علی اکبری، “طراحی یک وب سایت تطبیقی مبتی بر تکنییکهای شناسائی الگو”، تحت راهنمایی دکتر محمد رحمتی، دانشگاه صنعتی امیر کبیر، دانشکده مهندسی کامپیوتر و فناوری اطلاعات، ۱۳۸۴.
2. ]جعفری۱۳۸۴[ محمد اسماعیل جعفری، ” طراحی یک سیستم تحت وب برای بازیابی اطلاعات سازگار با کاربر “، دانشگاه شهید بهشتی، دانشکده مهندسی کامپیوتر و فناوری اطلاعات، ۱۳۸۴.
3. ]مبارک آبادی۱۳۸۴[ بهاره مبارک آبادی، “مدل کردن کاربر مبتنی بر هستان شناسی برای بازیابی اطلاعات”، تحت راهنمایی دکتر محمدرضا رزازی، دانشگاه صنعتی امیر کبیر، دانشکده مهندسی کامپیوتر و فناوری اطلاعات، ۱۳۸۴.
4. ] مسعودیفر۱۳۸۵[ بهرنگ مسعودیفر، “ارائه روشهایی برای حل مشکل کاربر جدید در سیستمهای توصیه کننده همکارانه بر مبنای حافظه”، تحت راهنمایی دکتر محمدرضا مطش بروجردی، دانشگاه صنعتی امیر کبیر، دانشکده مهندسی کامپیوتر و فناوری اطلاعات، ۱۳۸۵.
5. [Achananuparp 2007] P. Achananuparp, H. Han, O. Nasraoui and R. Johnson, “Semantically Enhanced User Modeling”, Proceedings of the 2007 ACM Symposium on Applied Computing (Seoul, Korea, March 11 – 15, 2007). SAC ’07. ACM, New York, NY, 1335-1339.
6. [Acharyya 2003] S. Acharyya and J. Ghosh, “Context-Sensitive Modeling of Web Surfing Behaviour Using Concept Trees”, Proceedings of the fifth WEBKDD Workshop, ۲۰۰۳.
7. [Alesso 2006] H. P. Alesso and C. F. Smith, “Thinking on the Web”, John Wiley & Sons, ۲۰۰۶.