وب کاوی و بررسی مراحل آن

          عباس 
            بازدید : 204
          جمعه 07 خرداد 1395
           نظرات (0)
        

دانلود پایان نامه مهندسی نرم افزار

وب کاوی و بررسی مراحل آن

چکیده:

با افزایش چشمگیر حجم اطلاعات و توسعه وب، نیاز به روش ها و تکنیک هایی که بتوانند امکان دستیابی کارا به داده ها و استخراج اطلاعات از آنها را فراهم کنند، بیش از پیش احساس می شود. وب کاوی یکی از زمینه های تحقیقاتی است که با به کارگیری تکنیک های داده کاوی به کشف و استخراج خودکار اطلاعات از اسناد و سرویس های وب می پردازد. در واقع وب کاوی، فرآیند کشف اطلاعات و دانش ناشناخته و مفید از داده های وب می باشد. روش های وب کاوی بر اساس آن که چه نوع داده ای را مورد کاوش قرار می دهند، به سه دسته کاوش محتوای وب، کاوش ساختار وب و کاوش استفاده از وب تقسیم می شوند. طی این گزارش پس از معرفی وب کاوی و بررسی مراحل آن، ارتباط وب کاوی با سایر زمینه های تحقیقاتی بررسی شده و به چالش ها، مشکلات و کاربردهای این زمینه تحقیقاتی اشاره می شود. همچنین هر یک از انواع وب کاوی به تفصیل مورد بررسی قرار می گیرند. برای این منظور مدل ها، الگوریتم ها و کاربردهای هر طبقه معرفی می شوند.

کلمات کلیدی:

وب کاوی

داده کاوی

انواع وب کاوی

الگوریتم های کاوش

بررسی مراحل وب کاوی

مقدمه

با توسعه سیستم های اطلاعاتی، داده به یکی از منابع پراهمیت سازمان ها مبدل گشته است. بنابراین روش ها و تکنیک هایی برای دستیابی کارا به داده، اشتراک داده، استخراج اطلاعات از داده و استفاده از این اطلاعات، مورد نیاز می باشد. با ایجاد و گسترش وب و افزایش چشمگیر حجم اطلاعات، نیاز به این روش ها و تکنیک ها بیش از پیش احساس می شود. وب، محیطی وسیع، متنوع و پویا است که کاربران متعدد اسناد خود را در آن منتشر می کنند. در حال حاضر بیش از دو بیلیون صفحه در وب موجود است و این تعداد با نرخ 7.3 میلیون صفحه در روز افزایش می یابد. با توجه به حجم وسیع اطلاعات در وب، مدیریت آن با ابزارهای سنتی تقریبا غیر ممکن است و ابزارها و روش هایی نو برای مدیریت آن مورد نیاز است.

فهرست مطالب

1- مقدمه

2- مراحل وب کاوی

3- وب کاوی و زمینه های تحقیقاتی مرتبط

3-1- وب کاوی و داده کاوی

3-2- وب کاوی و بازیابی اطلاعات

3-3- وب کاوی و استخراج اطلاعات

3-4- وب کاوی و یادگیری ماشین

4- انواع وب کاوی

5- چالش های وب کاوی

6- کاوش محتوای وب

6-1- انواع کاوش محتوا در وب

6-1-1- طبقه بندی

6-1-2- خوشه بندی

6-1-3- سایر انواع کاوش محتوا در وب

6-2- رویکردهای کاوش محتوا در وب

6-3- الگوریتم های کاوش محتوا در وب

6-3-1- درخت تصمیم

6-3-2- شبکه عصبی

6-3-3- سایر الگوریتم های کاوش

7- کاوش ساختار وب

7-1- مدل های بازنمایی ساختار وب

7-1-1- مدل های مبتنی بر گراف

7-1-2- مدل های مارکو

7-2- الگوریتم های کاوش ساختار وب

7-2-1- HITS

7-2-2- Page Rank

7-2-3- الگوریتم جریان بیشینه

7-2-4- Average Clicks

7-3- کاربردهای کاوش ساختار وب

7-3-1- تشخیص اجتماعات وب

7-3-2- پیمایش وب

8- کاوش استفاده از وب

8-1- انواع داده های استفاده از وب

8-1-1- داده های سرورهای وب

8-1-2- داده های سرورهای پراکسی

8-1-3- داده های کلاینت

8-2- پیش پردازش داده های استفاده از وب

8-2-1- پاکسازی داده

8-2-2- تشخیص و بازسازی نشست

8-2-3- بازیابی ساختار و محتوا

8-2-4- قالب بندی داده

8-3- روش های کاوش استفاده از وب

8-3-1- قوانین انجمنی

8-3-2- الگوهای ترتیبی

8-3-3- خوشه بندی

8-4- کاربردهای کاوش استفاده از وب

8-4-1- خصوصی سازی محتوای وب

8-4-2- پیش بازیابی

8-4-3- بهبود طراحی سایت های وب

9- کاربردهای وب کاوی

9-1- تجارت الکترونیکی

9-2- موتورهای جستجو

9-3- حراجی در وب

نتیجه گیری

فهرست منابع

گزارش تخلف برای وب کاوی و بررسی مراحل آن

ادامه مطلب ...

تشریح مفهوم بهینه سازی و بکارگیری آن در الگوریتمهای جستجو

          عباس 
            بازدید : 323
          دوشنبه 27 اردیبهشت 1395
           نظرات (0)
        

دانلود پایان نامه مهندسی نرم افزار

تشریح مفهوم بهینه سازی و بکارگیری آن در الگوریتمهای جستجو

*آپدیت:ضمیمه کردن مقاله ترجمه شده با عنوان Metaheuristics in Combinatorial Optimization در قالب 42 صفحه بصورت رایگان:)

قابل توجه مشتریان عزیز:هم فایل انگلیسی و هم فارسی ضمیمه شده است.

چكیده

بهینه‌سازی یك فعالیت مهم و تعیین‌كننده در طراحی ساختاری است. طراحان زمانی قادر خواهند بود طرح‌های بهتری تولید كنند كه بتوانند با روش‌های بهینه‌سازی در صرف زمان و هزینه طراحی صرفه‌جویی نمایند. بسیاری از مسائل بهینه‌سازی در مهندسی، طبیعتاً پیچیده‌تر و مشكل‌تر از آن هستند كه با روش‌های مرسوم بهینه‌سازی نظیر روش برنامه‌ریزی ریاضی و نظایر آن قابل حل باشند.

بهینه‌سازی تركیبی (Combinational Optimization)، جستجو برای یافتن نقطه بهینه توابع با متغیرهای گسسته (Discrete Variables) می‌باشد. امروزه بسیاری از مسائل بهینه‌سازی تركیبی كه اغلب از جمله مسائل با درجه غیر چندجمله‌ای (NP-Hard) هستند، به صورت تقریبی با كامپیوترهای موجود قابل حل می‌باشند. از جمله راه‌حل‌های موجود در برخورد با این گونه مسائل، استفاده از الگوریتم‌های تقریبی یا ابتكاری است. این الگوریتم‌ها تضمینی نمی‌دهند كه جواب به دست آمده بهینه باشد و تنها با صرف زمان بسیار می‌توان جواب نسبتاً دقیقی به دست آورد و در حقیقت بسته به زمان صرف شده، دقت جواب تغییر می‌كند.

کلمات کلیدی:

بهینه سازی

الگوریتمهای جستجو

سیستم های نرم افزاری

مقدمه

هدف از بهینه‌سازی یافتن بهترین جواب قابل قبول، با توجه به محدودیت‌ها و نیازهای مسأله است. برای یك مسأله، ممكن است جواب‌های مختلفی موجود باشد كه برای مقایسه آنها و انتخاب جواب بهینه، تابعی به نام تابع هدف تعریف می‌شود. انتخاب این تابع به طبیعت مسأله وابسته است. به عنوان مثال، زمان سفر یا هزینه از جمله اهداف رایج بهینه‌سازی شبكه‌های حمل و نقل می‌باشد. به هر حال، انتخاب تابع هدف مناسب یكی از مهمترین گام‌های بهینه‌سازی است.

در این گزارش ابتدا به بررسی تعاریف مختلف بهینه سازی پرداخته و سپس تعریف مورد قبول که پایه بخشهای بعدی قرار میگیرد انتخاب می شود. سپس به معرفی تکنیک های مورد استفاده در سیستم های نرم افزاری پرداخته و تمرکز مطالب بر روی تکنیک جستجو قرار می گیرد. یکی از (و قطعاُ مهمترین) مفاهیم مطرح در تحقیق عملیات مفهوم بهینه سازی است. بهینه سازی را می‌توان تخصیص منابع به مصارف به بهترین شکل ممکن تعریف کرد. نکته اساسی در این تعریف رسیدن به بهترین تخصیص ممکن است، بطوریکه تخصیصی بهتر از آن وجود نداشته باشد. استفاده از روشهای اولیه بهینه سازی شامل برنامه ریزی خطی ، برنامه ریزی عدد صحیح ، برنامه ریزی پویا ، و برنامه ریزی غیر خطی با مشکلاتی همراه بود و مهمترین این مشکلات وقت¬گیر بودن حل مسائل بزرگ با آنها بود.

به گونه ای که حتی با تکنولوژی‌های محاسباتی پیشرفته امروزی حل یک مساله با ابعاد وسیع با تکنیکهای ذکر شده به چندین سال زمان نیاز دارد. بروز این مشکل به توهماتی که در ابتدای شکل گیری دانش تحقیق در عملیات، مبنی بر حل بهینه تمام مسائل دنیا با استفاده از این دانش، ایجاد شده بود پایان داد. بروز این مشکل، همچنین، سبب شد محققان مجبور به تعدیل انتظارات خود از این دانش جدید در یافتن بهترین جواب ممکن شوند و به جوابهایی به اندازه کافی خوب، که حتی درمورد مسائل با ابعاد بزرگ نیز در مدت زمان منطقی می‌توان به آنها رسید، اکتفا کنند.

فهرست مطالب

فصل اول:بهینه سازی و انواع آن

چكیده

. مقدمه

هدف

بررسی روشهای جستجو و بهینهسازی

شكل ـ : طبقه بندی انواع روش‌های بهینه سازی

روشهای شمارشی

روشهای محاسباتی (جستجوی ریاضی یا Based Method Calculus)

مسائل بهینه سازی تركیبی (Optimization Problems Combinational)

روش حل مسائل بهینهسازی تركیبی

آزادسازی

تجزیه

تكرار

روش تولید ستون (Column Generation)

جستجوی سازنده (Constructive Search)

جستجوی بهبود یافته (Improving Search)

روش جستجوی همسایه ( NS= Neighbourhood Search)

روش‌های فرا ابتكاری (Metaheuristic) برگرفته از طبیعت

معرفی

مسأله فروشنده دوره گرد (Travelling Salesman Problem = TSP)

انواع روشهای فرا ابتكاری برگرفته از طبیعت

الگوریتم ژنتیك

آنیلینگ شبیهسازی شده

شبکه‌های عصبی

جستجوی ممنوع

سیستم مورچه (Ant System)

فصل دوم: سیستم های نرم افزاری و بهینه سازی آنها

. انواع سیستم های نرم افزاری

. مقدمه

. انواع سیستم های نرم افزاری

. . سیستم تصمیم یار(DSS)

. . . ویژگیها و قابلیتهای DSS

. . . زیرسیستم های DSS

. . سیستم خبره

. . . ساختار سیستم های خبره

. بهینه سازی در سیستم های رابطه ای

. . مروری بر پردازش پرس و جو

. . بهینه سازی پرس و جو

فصل سوم: جستجو

. . روشهای جستجوی ساخت یافته

. . . جستجوی اول بهترین

. . . . کمینه کردن هزینه تخمینی برای رسیدن به یک هدف : جستجوی حریصانه

. . . . کمینه کردن هزینه کل مسیر: جستجوی A*

. . . جستجو با حافظه محدود

. . . . جستجوی A* عمقی تکراری (IDA*)

. . . . جستجوی A* ساده شده با محدودیت حافظه SMA*))

. . . الگوریتم های بهبود تکرار شونده

. . . الگوریتم ژنتیک

. . جستجوی توزیع شده (الگوریتمهای جستجو در عاملها)

. . . تعریف مساله ارضای محدودیت (CSP)

. . . الگوریتم تصفیه

. . . الگوریتم سازگاری برمبنای فرااستدلال

. . . عقبگرد آسنکرون

. . . جستجوی الزام ضعیف آسنکرون

. . مساله یافتن مسیر

. . . تعریف مساله یافتن مسیر

. . . برنامه نویسی پویای آسنکرون

. . . A* بی درنگ یادگیر(LRTA*)

. . . A* بی درنگ(RTA*)

. . . جستجوی هدف متحرک(MTS)

. . . جستجوی دوطرفه بی درنگ(RTBS)

. . . جستجوی چندعامله بی درنگ

. . بازیهای دو نفره

. . . فرموله کردن بازیهای دو نفره

. . . رویه Minimax

. . . هرس βα

. فرااکتشافات در بهینه سازی ترکیبی

. . تعاریف اولیه

. . طبقه بندی فرااکتشافات

. . روشهای خط سیر

. . . جستجوی محلی پایه

. . . آنیلینگ شبیه سازی شده

. . . جستجوی ممنوع

. . . روشهای جستجوی محلی کاوشگرانه

. . . . GRASP

. . . . جستجوی همسایگی متغیر

. . . . جستجوی محلی هدایت شده

. . . . جستجوی محلی تکراری

. . روشهای مبنی بر جمعیت

. . . محاسبه تکاملی

. . . . جستجوی پخشی و اتصال مجدد مسیر

. . . . الگوریتم های تقریب توزیع

. . . بهینه سازی گروه مورچه ها(ACO)

. . دیدگاه متمرکزسازی و متنوع سازی

. . . متمرکزسازی و متنوع سازی

. . . کنترل استراتژیک متمرکزسازی و متنوع سازی

. . . ترکیب فرااکتشافات

. خلاصه و نتیجه گیری

. مراجع

دانلود تشریح مفهوم بهینه سازی و بکارگیری آن در الگوریتمهای جستجو

گزارش تخلف برای تشریح مفهوم بهینه سازی و بکارگیری آن در الگوریتمهای جستجو

ادامه مطلب ...

وب کاوی و بررسی مراحل آن و ارتباط وب کاوی با سایر زمینه های تحقیقاتی

          عباس 
            بازدید : 587
          چهارشنبه 01 اردیبهشت 1395
           نظرات (0)
        

دانلود پایان نامه مهندسی نرم افزار

وب کاوی و بررسی مراحل آن و ارتباط وب کاوی با سایر زمینه های تحقیقاتی

چکیده:

کلمات کلیدی:

وب کاوی

الگوریتم های کاوش

تکنیک های داده کاوی

استخراج داده های وب

سیستم های اطلاعاتی

مقدمه

فهرست مطالب

1- مقدمه

2- مراحل وب کاوی

3- وب کاوی و زمینه های تحقیقاتی مرتبط

3-1- وب کاوی و داده کاوی

3-2- وب کاوی و بازیابی اطلاعات

3-3- وب کاوی و استخراج اطلاعات

3-4- وب کاوی و یادگیری ماشین

4- انواع وب کاوی

5- چالش های وب کاوی

6- کاوش محتوای وب

6-1- انواع کاوش محتوا در وب

6-1-1- طبقه بندی

6-1-2- خوشه بندی

6-1-3- سایر انواع کاوش محتوا در وب

6-2- رویکردهای کاوش محتوا در وب

6-3- الگوریتم های کاوش محتوا در وب

6-3-1- درخت تصمیم

6-3-2- شبکه عصبی

6-3-3- سایر الگوریتم های کاوش

7- کاوش ساختار وب

7-1- مدل های بازنمایی ساختار وب

7-1-1- مدل های مبتنی بر گراف

7-1-2- مدل های مارکو

7-2- الگوریتم های کاوش ساختار وب

7-2-1- HITS

7-2-2- Page Rank

7-2-3- الگوریتم جریان بیشینه

7-2-4- Average Clicks

7-3- کاربردهای کاوش ساختار وب

7-3-1- تشخیص اجتماعات وب

7-3-2- پیمایش وب

8- کاوش استفاده از وب

8-1- انواع داده های استفاده از وب

8-1-1- داده های سرورهای وب

8-1-2- داده های سرورهای پراکسی

8-1-3- داده های کلاینت

8-2- پیش پردازش داده های استفاده از وب

8-2-1- پاکسازی داده

8-2-2- تشخیص و بازسازی نشست

8-2-3- بازیابی ساختار و محتوا

8-2-4- قالب بندی داده

8-3- روش های کاوش استفاده از وب

8-3-1- قوانین انجمنی

8-3-2- الگوهای ترتیبی

8-3-3- خوشه بندی

8-4- کاربردهای کاوش استفاده از وب

8-4-1- خصوصی سازی محتوای وب

8-4-2- پیش بازیابی

8-4-3- بهبود طراحی سایت های وب

9- کاربردهای وب کاوی

9-1- تجارت الکترونیکی

9-2- موتورهای جستجو

9-3- حراجی در وب

نتیجه گیری

فهرست منابع

دانلود وب کاوی و بررسی مراحل آن و ارتباط وب کاوی با سایر زمینه های تحقیقاتی

گزارش تخلف برای وب کاوی و بررسی مراحل آن و ارتباط وب کاوی با سایر زمینه های تحقیقاتی

ادامه مطلب ...

وب کاوی و بررسی مدل ها، الگوریتم ها و کاربردهای انواع آن

          عباس 
            بازدید : 482
          چهارشنبه 01 اردیبهشت 1395
           نظرات (0)
        

دانلود پایان نامه مهندسی نرم افزار

وب کاوی و بررسی مدل ها، الگوریتم ها و کاربردهای انواع آن

چکیده:

کلمات کلیدی:

وب کاوی

انواع وب کاوی

الگوریتم های کاوش

مقدمه

فهرست مطالب

1- مقدمه

2- مراحل وب کاوی

3- وب کاوی و زمینه های تحقیقاتی مرتبط

3-1- وب کاوی و داده کاوی

3-2- وب کاوی و بازیابی اطلاعات

3-3- وب کاوی و استخراج اطلاعات

3-4- وب کاوی و یادگیری ماشین

4- انواع وب کاوی

5- چالش های وب کاوی

6- کاوش محتوای وب

6-1- انواع کاوش محتوا در وب

6-1-1- طبقه بندی

6-1-2- خوشه بندی

6-1-3- سایر انواع کاوش محتوا در وب

6-2- رویکردهای کاوش محتوا در وب

6-3- الگوریتم های کاوش محتوا در وب

6-3-1- درخت تصمیم

6-3-2- شبکه عصبی

6-3-3- سایر الگوریتم های کاوش

7- کاوش ساختار وب

7-1- مدل های بازنمایی ساختار وب

7-1-1- مدل های مبتنی بر گراف

7-1-2- مدل های مارکو

7-2- الگوریتم های کاوش ساختار وب

7-2-1- HITS

7-2-2- Page Rank

7-2-3- الگوریتم جریان بیشینه

7-2-4- Average Clicks

7-3- کاربردهای کاوش ساختار وب

7-3-1- تشخیص اجتماعات وب

7-3-2- پیمایش وب

8- کاوش استفاده از وب

8-1- انواع داده های استفاده از وب

8-1-1- داده های سرورهای وب

8-1-2- داده های سرورهای پراکسی

8-1-3- داده های کلاینت

8-2- پیش پردازش داده های استفاده از وب

8-2-1- پاکسازی داده

8-2-2- تشخیص و بازسازی نشست

8-2-3- بازیابی ساختار و محتوا

8-2-4- قالب بندی داده

8-3- روش های کاوش استفاده از وب

8-3-1- قوانین انجمنی

8-3-2- الگوهای ترتیبی

8-3-3- خوشه بندی

8-4- کاربردهای کاوش استفاده از وب

8-4-1- خصوصی سازی محتوای وب

8-4-2- پیش بازیابی

8-4-3- بهبود طراحی سایت های وب

9- کاربردهای وب کاوی

9-1- تجارت الکترونیکی

9-2- موتورهای جستجو

9-3- حراجی در وب

نتیجه گیری

فهرست منابع

دانلود وب کاوی و بررسی مدل ها، الگوریتم ها و کاربردهای انواع آن

گزارش تخلف برای وب کاوی و بررسی مدل ها، الگوریتم ها و کاربردهای انواع آن

ادامه مطلب ...