• داده کاوی: مفاهیم، روشها، کاربردها، آینده
• مقدمه

معرفی داده‌کاوی و دلایل پیدایش آن

تعاریف داده کاوی

جایگاه داده‌کاوی در علوم کامپیوتر

• · طبقه بندی روش های داده کاوی

1. داده کاوی توصیفی یا توصیف کننده

2. داده کاوی پیشگویانه

• · مراحل و اجزای یک فرآیند داده‌کاوی

1. بیان مسئله و فرموله کردن فرضیه

2. انتخاب و جمع آوری داده ها

3. تبدیل و پیش پردازش داده ها

4. برآورد مدل یا کاوش در داده ها

5. تفسیر نتیجه یا تفسیر مدل و رسیدن به نتایج

• · آماده سازی داده ها

1. مدل استاندارد داده ها

2. دو وظیفه اصلی در آماده سازی داده ها

• · تبدیل و تغییر وضعیت داده های خام

1. نرمال سازی

1-1 مقیاس دهی اعشاری

2-1 نرمال سازی حداقل-حداکثر

3-1 نرمال سازی انحراف معیار

2. یکنواخت سازی داده ها

3. تفاضل ها و نسبت ها

• · مفهوم داده های از دست رفته و راه حل جبران داده های از دست رفته
• · مفهوم و روش های تشخیص داده های نامنطبق

1. روش های آماری 2. تشخیص داده های نامنطیق برمبنای فاصله 3. روش ها و تکنیک های برمبنای انحراف

• · کاهش داده ها

1. 1. اعمال اصلی در فرایند کاهش داده ها
2. 2. یافته های حاصل از کاهش داده ها

2-1 کاهش زمان محاسبه.

2-2 افزایش یادگیری در دقت پیشگویانه/توصیفی.

2-3 سادگی در ارائه مدل داده کاوی.

• · روش های نمونه گیری برای نمونه های بزرگ

1. نمونه گیری سیستمی.

2. نمونه گیری تصادفی.

3. نمونه گیری لایه ای.

4. نمونه گیری معکوس.

مقدمه

امروزه با گسترش سیستم های پایگاهی و حجم بالای داده ها ی ذخیره شده در این سیستم ها، نیاز به ابزاری است تا بتوان داده های ذخیره شده پردازش کرد و اطلاعات حاصل از این پردازش را در اختیار کاربران قرار داد.

با استفاده ار پرسش های ساده درSQL و ابزارهای گوناگون گزارش گیری معمولی، می توان اطلاعاتی را در اختیار کاربران قرار داد تا بتوانند به نتیجه گیری در مورد داده ها و روابط منطقی میان آنها بپردازند اما وقتی که حجم داده ها بالا باشد، کاربران هر چقدرحرفه ای و با تجربه باشند نمی توانند الگوهای مفید را در میان حجم انبوه داده ها تشخیص دهند و یا اگر قادر به این کار هم با شند، هزینه عملیات از نظر نیروی انسانی و مالی بسیار بالا است.

بنابراین میشود گفت که درحال حاضر یک تغییر الگو از مدل سازی و تحلیل های کلاسیک برپایه اصول اولیه به مدل های درحال پیشرفت و تحلیل های مربوط بطور مستقیم از داده ها وجود دارد.

داده کاوی یکی از مهمترین این روشها است که به وسیله آن الگوهای مفید در داده ها با حداقل دخالت کاربران شناخته می شوند و اطلاعاتی را در اختیار کاربران و تحلیل گران قرار می دهند تا براساس آنها تصمیمات مهم و حیاتی در سازمانها اتخاذ شوند.

تعاریف داده کاوی

در متون آکادمیک تعاریف گوناگونی برای داده کاوی ارائه شده اند. در برخی از این تعاریف داده کاوی در حد ابزاری که کاربران را قادر به ارتباط مستقیم با حجم عظیم داده ها می سازد معرفی گردیده است و در برخی دیگر، تعاریف دقیقتر که درآنها به کاوش در داده ها توجه می شود موجود است.

برخی از این تعاریف عبارتند از :

1. داده کاوی عبارت است از فرایند استخراج اطلاعات معتبر، از پیش ناشناخته، قابل فهم و قابل اعتماد از پایگاه داده های بزرگ و استفاده از آن در تصمیم گیری در فعالیت های تجاری مهم.
2. فرایند نیم خودکار تجزیه و تحلیل پایگاه داده های بزرگ به منظور یافتن الگوهای مفید اطلاق می شود.
3. داده کاوی یعنی فرایند جستجو در یک پایگاه داده ها برای یافتن الگوهایی میان داده ها.
4. داده کاوی یعنی تجزیه و تحلیل مجموعه داده های قابل مشاهده برای یافتن روابط مطمئن بین داده ها.
5. داده کاوی یعنی استخراج دانش کلان ، قابل استناد و جدید از پایگاه داده ها ی بزرگ.

نکته: همانگونه که در تعاریف گوناگون داده کاوی مشاهده می شود، تقریبا در تمامی تعاریف به مفاهیمی چون استخراج دانش ، تحلیل و یافتن الگوی بین داده ها اشاره شده است.

" داده کاوی فرآیندی است که طی آن با استفاده از ابزار های تحلیل داده به دنبال کشف الگوها و ارتباطات میان داده های موجود که ممکن است منجر به استخراج اطلاعات جدیدی از پایگاه داده گردند، می باشد."

در داده کاوی از بخشی از به نام تحلیل اکتشافی داده ها استفاده می شود که در آن بر کشف اطلاعات نهفته و ناشناخته از درون حجم انبوه داده ها تاکید می شودبنابراین می توان گفت در داده کاوی تئوریهای پایگاه داده ها، هوش مصنوعی، یادگیری ماشین وعلم آمار را در هم می آمیزند تا زمینه کاربردی فراهم شود.

باید توجه داشت که اصطلاح داده کاوی زمانی به کار برده می شود که با حجم بزرگی از داده ها در حد گیگابایت یا ترابایت، مواجه باشیم که از این نظر یکی از بزرگترین بازارهای هدف، انبارجامع داده ها، مراکز داده وسیستم های پشتیبانی تصمیم برای بدست آوردن تخصص هایی در صنایعی مثل شبکه های توزیع مویرگی، تولیدف مخابرات، بیمه و... می باشد.

ظهور بانکداری الکترونیکی موجب تغییر در انجام ارتباطات ، عملیات و تراکنش های بانکی شده است . در این میان سرقت هویت و اطلاعات به روش های مختلف صورت می گیرد که فیشینگ رایجترین آنهاست که بیشتر از طریق وب سایت بانکداری الکترونیکی و ایمیل انجام می شود. ما در اینجا به بررسی سیستم های هوشمند برای تشخیص سریع تر و کار آمد تر این وب سایت ها با استفاده از طبقه بندی مجموعه های فازی می پردازیم . در اینجا ، بازیابی اطلاعات مربوطه با توجه به نیاز های اطلاعاتی کاربر است . به طور کلی فرایند بازاریابی اطلاعات از دو مرحله تشکیل شده است. مرحله اول مدل های بازیابی احتمالی که به محاسبه ی ارتباط بین نیاز کاربر به اطلاعات و هریک از اسناد موجود در مجموعه می پردازد. در مرحله دوم به تمرکز روی چگونگی رتبه بندی اسناد محاسبه شده پرداخته می شود.........

واژگان کلیدی: بازیابی اطلاعات ، داده کاوی ، مجموعه های فازی ،منطق فازی ، فیشینگ

فهرست مطالب

الف - عنوان پایان نامه

ب - واژگان کلیدی

تعریف مسأله و بیان اصلی تحقیق

سابقه و ضرورت انجام تحقیق

فرضیه ها

هدف ها

چه کاربردهائی از انجام این تحقیق متصور است

استفاده کنندگان از نتیجة پایان نامه

جنبة جدید بودن و نو آوری طرح در چیست ؟

روش انجام تحقیق

روش و ابزار گردآوری اطلاعات

روش آماری اجرای پایان نامه

جدول زمانبندی مراحل انجام تحقیق

فهرست منابع مورد استفاده در نگارش این پیشنهادیه

مقاله نگاهی بر داده کاوی و کشف قوانین وابستگی

چکیده:
امروزه داده کاوی به عنوان یکی از مهمترین مسائل هوش مصنوعی و پایگاه داده، محققان یسیاری را به خود جذب کرده است. در این تحقیق ابتدا نگاه کلی بر داده کاوی، استراتژیهای داده کاوی و... داریم، سپس مسأله کشف قوانین وابستگی در پایگاه داده را به تفضیل بررسی کردیم و نگاهی به الگوریتمهای موجود برای آن داشتیم. سپس مسأله کشف قوانین وابستگی در پایگاه داده های پویا را مورد بحث قرار دادیم و الگوریتم های ارائه شده مربوطه را مطرح کردیم.


Data mining(داده کاوی)
تعریف :
داده کاوی فرآیند بکارگیری یک یا چند تکنیک آموزش کامپیوتر، برای تحلیل و استخراج داده های یک پایگاه داده می باشد.در واقع هدف داده کاوی یافتن الگوهایی در داده هاست.
دانش کسب شده از فرآیند داده کاوی بصورت مدل یا تعمیمی از داده ها نشان داده می شود.
چندین روش داده کاوی وجود دارد با این وجود همه روشها “ آموزش بر مبنای استنتاج “ را بکار می برند.
آموزش بر مبنای استنتاج، فرآیند شکل گیری تعاریف مفهوم عمومی از طریق مشاهده مثالهای خاص از مفاهیمی که آموزش داده شده اند، است.
مثال زیر نمونه ای از دانش بدست امده از طریق فرایند اموزش بر مبنای استنتاج است:
آیا تا کنون فکر کرده اید، فروشگاههای بزرگ اینترنتی در mail های خود به مشتریان از چه تبلیغاتی استفاده می کنند؟ و آیا این تبلیغات برای همه مشتریان یکسان است؟
پاسخ این است که از روی دانش کسب شده از اطلاعات خرید افراد و نتیجه گیری از این دانش، این کار را انجام می دهند.مثلا در نظر بگیرید یک قانون در پایگاه داده بصورت زیر استخراج می شود:
دقت = 80% : سیگار می خرند ^ نان می خرند کسانی که شیر می خرند
از روی این قانون فروشگاه می تواند به تمام کسانی که شیر می خرند تبلیغات سیگار و انواع نان را نیز بفرستد.همچنین این قانون در چیدن قفسه های فروشگاه نیز بی تاثیر نخواهد بود.
{شیر و نان و سیگار در قفسه های کنار هم چیده شوند}

کشف دانش در پایگاه داده 1
KDD یا کشف دانش در پایگاه داده اصطلاحی است که مکررا بجای داده کاوی بکار می رود. از نظر تکنیکی، KDD کاربردی از روشهای علمی داده کاوی است.
بعلاوه برای انجام داده کاوی فرایند KDD شامل :
1- یک روش برای تهیه داده ها و استخراج داده ها ،
2- تصمیم گیری درباره عملی که پس از داده کاوی باید انجام شود،
می باشد.

آیا داده کاوی برای حل مسائل ما مناسب است؟
تصمیم گیری در مورد اینکه آیا داده کاوی را به عنوان استراتژی حل مساله بکار ببریم یا نه، یک مساله دشوار است.
اما به عنوان نقطه شروع چهار سؤال عمومی را باید در نظر بگیریم :
1. آیا به وضوح می توانیم مساله را تعریف کنیم ؟
2. آیا بطور بالقوه داده با معنی وجود دارد ؟
3. آیا داده ها شامل “ دانش پنهان” هستند یا فقط برای هدف گزارشگری مناسبند ؟
4. آیا هزینه پردازش داده (برای داده کاوی) کمتر از سود حاصل از دانش پنهان بدست آمده از پروژه داده کاوی است ؟
یک مدل پردازش داده کاوی ساده :
در یک دید کلی ، ما می توانیم داده کاوی را به عنوان یک فرآیند چهار مرحله ای تعریف کنیم :
1. جمع آوری یک مجموعه از داده ها برای تحلیل
2. ارائه این داده ها به برنامه نرم افزاری داده کاوی
3. تفسیر نتایج
4. بکارگیری نتایج برای مساله یا موقعیتهای جدید