ابزارهاي تجاري

تعداد صفحات:81
نوع فايل:word
فهرست مطالب:
چكيده
فصل1 – مقدمه اي بر داده كاوي
تعريف داده كاوي
تاريخچه داده كاوي
چه چيزي سبب پيدايش داده كاوي شده است؟
اجزاي سيستم داده كاوي
جايگاه داده كاوي در ميان علوم مختلف
قابليت هاي داده كاوي
چرا به داده كاوي نياز داريم؟
داده كاوي چه كارهايي نميتواند انجام دهد؟
كاربردهاي داده كاوي
كاربردهاي پيش بيني كننده
كاربردهاي توصيف كننده
ابزارهاي تجاري داده كاوي
داده كاوي و انبار داده ها
تعاريف انبار داده
چهار خصوصيت اصلي انبار داده
موارد تفاوت انبار داده و پايگاه داده
داده كاوي و OLAP
OLAP
انواع OLAP
مراحل فرآيند كشف دانش از پايگاه داده ها
انبارش داده ها
انتخاب داده ها
پاكسازي، پيش پردازش و آماده سازي
تبديل داده ها
كاوش در داده ها (Data Mining)
تفسير نتيجه
فصل 2 – قوانين ارتباطي
قوانين ارتباطي
اصول پايه
شرح مشكل جدي
پيمايش فضاي جستجو
مشخص كردن درجه حمايت مجموعه اقلام
الگوريتم هاي عمومي
دسته بندي
BFS و شمارش رويدادها
BFS و دونيم سازي TID-list
DFS و شمارش رويداد
DFS و دو نيم سازي TID-list
الگوريتم Apriori
مفاهيم كليدي
پياده سازي الگوريتم Apriori
معايب Apriori و رفع آن ها
الگوريتم رشد الگوي تكرار شونده
چرا رشد الگوي تكرار سريع است؟
مقايسه دو الگوريتم Apriori و FP-growth
تحليل ارتباطات
فصل 3 – وب كاوي و متن كاوي
وب كاوي
الگوريتم هاي هيتس و لاگسام
كاوش الگوهاي پيمايش مسير
متن كاوي
كاربردهاي متن كاوي
جستجو و بازيابي
گروه بندي و طبقه بندي
خلاصه سازي
روابط ميان مفاهيم
يافتن و تحليل گرايشات
برچسب زدن نحوي (pos)
ايجاد Thesaurus و آنتولوژي به صورت اتوماتيك
فرآيند متن كاوي
روش هاي متن كاوي
مراجع

فهرست اشكال:
مراحل فرآيند كشف دانش
سير تكاملي صنعت پايگاه داده
معماري يك نمونه سيستم داده كاوي
نرخ رشد اطلاعات
كاربرد پيش بيني كننده
داده ها از انبار داده ها استخراج ميگردند
داده ها از از چند پايگاه داده استخراج ميگردند
دسته بندي الگوريتم ها
پايان الگوريتم Apriori
درخت الگوي تكرار
اندازه گيري كاركرد درجه حمايت براي پايگاه داده D1 40K
اندازه گيري Apriori با درجه حمايت/تراكنش
اندازه گيري FP-growth با درجه حمايت/تراكنش
مقداردهي اوليه الگوريتم HITS
مثالي از الگوهاي پيمايش
فرآيند متن كاوي
مثال يافتن روابط

فهرست جداول:
كاوش FP-tree با ايجاد پايگاه هاي الگو شرطي
پارامترها
نتايج براي فاكتور درجه حمايت 5%
نتايج براي D1 150K با درجه حمايت
تراكنشهاي توصيف شده توسط مجموعه اي از URLها
نمايش URLها بعنوان بردارهايي از فعاليت گروه تراكنش
يك SOM مرسوم كه توسط توصيف URLها توليد شده است

چكيده:
در دو دهه قبل توانايي هاي فني بشر براي توليد و جمع آوري داده‌ها به سرعت افزايش يافته است. عواملي نظير استفاده گسترده از باركد براي توليدات تجاري، به خدمت گرفتن كامپيوتر در كسب و كار، علوم، خدمات دولتي و پيشرفت در وسائل جمع آوري داده، از اسكن كردن متون و تصاوير تا سيستم هاي سنجش از دور ماهواره اي، در اين تغييرات نقش مهمي دارند.
به طور كلي استفاده همگاني از وب و اينترنت بعنوان يك سيستم اطلاع رساني جهاني ما را مواجه با حجم زيادي از داده و اطلاعات ميكند. اين رشد انفجاري در داده‌هاي ذخيره شده، نياز مبرم وجود تكنولوژي هاي جديد و ابزارهاي خودكاري را ايجاد كرده كه بصورت هوشمند به انسان ياري رسانند تا اين حجم زياد داده را به اطلاعات و دانش تبديل كند. داده كاوي بعنوان يك راه حل براي اين مسائل مطرح ميباشد. در يك تعريف غير رسمي داده كاوي فرآيندي است، خودكار براي استخراج الگوهايي كه دانش را بازنمايي ميكنند، كه اين دانش بصورت ضمني در پايگاه داده هاي عظيم، انباره داده و ديگر مخازن بزرگ اطلاعات، ذخيره شده است.
به لحاظ اين كه در چند سال اخير مبحث داده كاوي و اكتشاف دانش موضوع بسياري از مقالات و كنفرانس ها قرار گرفته و نرم افزارهاي آن در بازار به شدت مورد توجه قرار گرفته، از اين رو در مقاله سعي بر آن شده تا گذري بر آن داشته باشيم.
در اين مقاله در فصل اول مروري بر داده كاوي خواهيم داشت. كه بطور عمده به تاريخچه، تعاريف، كاربردها و ارتباط آن با انبار داده و OLAP خواهيم پرداخت. در پايان فصل مراحل فرآيند كشف دانش از پايگاه داده ها را ذكر كرديم كه داده كاوي يكي از مراحل آن است.
در فصل 2 يكي از شيوه هاي داده كاوي كه از سبد خريد گرفته شده است توضيح داده شده است. در اين فصل به شرح قوانين ارتباطي خواهيم پرداخت كه در آن بعد از دسته بندي الگوريتم ها، الگوريتم Apriori (كه يك الگوريتم پايه در اين زمينه است) و الگوريتم FP-Growth (يك الگوريتم جديد مي باشد) را با شرح يك مثال توضيح ميدهيم و در آخر آن دو را با هم مقايسه ميكنيم.
در فصل 3 مباحث وب كاوي و متن كاوي را كه در بسياري از مراجع جزء كاربردهاي داده كاوي به حساب مي آيد شرح داده خواهد شد.

مقدمه:
امروزه با گسترش سيستم‌هاي پايگاهي و حجم بالاي داده‌هاي ذخيره شده در اين سيستم‌ها، نياز به ابزاري است تا بتوان داده‌هاي ذخيره شده را پردازش كرد و اطلاعات حاصل از اين پردازش را در اختيار كاربران قرار داد.
با استفاده از پرسشهاي ساده در SQL و ابزارهاي گوناگون گزارش‌گيري معمولي، ميتوان اطلاعاتي را در اختيار كاربران قرار داد تا بتوانند به نتيجه‌گيري در مورد داده‌ها و روابط منطقي ميان آن ها بپردازند. اما وقتي كه حجم داده‌ها بالا باشد، كاربران هرچند زبر دست و باتجربه باشند نمي‌توانند الگوها مفيد را در ميان حجم انبوه داده‌ها تشخيص دهند و يا اگر قادر به اين كار هم باشند، هزينه عمليات از نظر نيروي انساني و مادي بسيار بالا است. از سوي ديگر، كاربران معمولاً فرضيه‌اي را مطرح مي‌كنند و سپس بر اساس گزارشات مشاهده شده به اثبات يا رد فرضيه ميپردازند، در حالي كه امروزه نياز به روش هايي است كه اصطلاحاً به كشف دانش بپردازند يعني با كمترين دخالت كاربر و به صورت خودكار الگوها و رابطه‌هاي منطقي را بيان نمايند.
داده كاوي يكي از مهم ترين اين روش ها است كه به الگوهاي مفيد در داده‌ها با حداقل دخالت كاربران شناخته ميشوند واطلاعاتي را در اختيار كاربران و تحليل گران قرار ميدهند تا براساس آن تصميمات مهم و حياتي در سازمان ها اتخاذ شوند.
اصطلاح داده كاوي زماني به كار برده ميشود كه با حجم بزرگي از داده‌ها، در حد مگا يا ترابايت، مواجه باشيم. در تمامي منابع داده كاوي بر اين مطلب تاكيد شده است. هرچه حجم داده‌ها بيشتر و روابط آن ها پيچيده تر باشد دسترسي به اطلاعات نهفته در ميان داده ها مشكل تر ميشود و نقش داده كاوي به عنوان يكي از روشهاي كشف دانش، روشن‌تر ميگردد.
داده كاوي به طور همزمان از چندين رشته علمي بهره ميبرد نظير: تكنولوژي پايگاه داده، هوش مصنوعي، يادگيري ماشين، شبكه‌هاي عصبي، آمار، الگو، سيستم‌هاي مبتني بر دانش، حصول دانش، بازيابي اطلاعات، محاسبات سرعت بالا و بازنمايي بصري داده.

تعداد صفحات:71
نوع فايل:word
فهرست مطالب:
مقدمه
عناصر داده كاوي
پردازش تحليلي پيوسته
قوانين وابستگي
شبكه هاي عصبي
الگوريتم ژنتيكي
نرم افزار
كاربردهاي داده كاوي
داده كاوي و كاربرد آن در كسب و كار هوشمند بانك
داده كاوي در مديريت ارتباط با مشتري
كاربردهاي داده كاوي در كتابخانه ها و محيط هاي دانشگاهي
مديريت موسسات دانشگاهي
داده كاوي آماري و مديريت بهينه وب سايت ها
داده كاوي در مقابل پايگاه داده Data Mining vsdatabase
ابزارهاي تجاري داده كاوي
منابع اطلاعاتي مورد استفاده
انبار داده
مسائل كسب و كار براي داده كاوي
چرخه تعالي داده كاوي چيست؟
متدلوژي داده‌كاوي و بهترين تمرين هاي آن
يادگيري چيزهايي كه درست نيستند
الگوهايي كه ممكن است هيچ قانون اصولي را ارائه نكنند
چيدمان مدل ممكن است بازتاب دهنده جمعيت وابسته نباشد
ممكن است داده در سطح اشتباهي از جزئيات باشد
يادگيري چيزهايي كه درست ولي بلااستفاده اند
مدل‌ها، پروفايل سازي، و پيش‌ بيني
پيش بيني
متدلوژي
تبديل مسئله كسب و كار به مسئله داده‌كاوي
انتخاب داده مناسب
پيش به سوي شناخت داده
ساختن يك مجموعه مدل
تثبيت مسئله با داده‌ها
تبديل داده براي آوردن اطلاعات به سطح
ساختن مدل ها
ارزيابي مدل ها
استقرار مدل ها
ارزيابي نتايج
شروع دوباره
وظايف داده كاوي
دسته بندي
خوشه‌بندي
تخمين
وابستگي
رگرسيون
پيشگويي
تحليل توالي
تحليل انحراف
نمايه‌سازي
منابع

مقدمه:
از هنگامي كه رايانه در تحليل و ذخيره سازي داده ها بكار رفت (1950) پس از حدود 20 سال، حجم داده ها در پايگاه داده ها دو برابر شد. ولي پس از گذشت دو دهه و همزمان با پيشرفت فن آوري اطلاعات (IT) هر دو سال يكبار حجم داده ها، دو برابر شده و همچنين تعداد پايگاه داده ها با سرعت بيشتري رشد نمود. اين در حالي است كه تعداد متخصصين تحليل داده ها با اين سرعت رشد نكرد. حتي اگر چنين امري اتفاق مي افتاد، بسياري از پايگاه داده ها چنان گسترش يافته‌اند كه شامل چند صد ميليون يا چند صد ميليارد ركورد ثبت شده هستند. امكان تحليل و استخراج اطلاعات با روشهاي معمول آماري از دل انبوه داده ها مستلزم چند روز كار با رايانه هاي موجود است. حال با وجود سيستم هاي يكپارچه اطلاعاتي، سيستم هاي يكپارچه بانكي و تجارت الكترونيك، لحظه به لحظه به حجم داده ها در پايگاه داده هاي مربوط اضافه شده و باعث به وجود آمدن انبارهاي عظيمي از داده ها شده است.
اين واقعيت، ضرورت كشف و استخراج سريع و دقيق دانش از اين پايگاه داده ها را بيش از پيش نمايان كرده است، چنان كه در عصر حاضر گفته ميشود اطلاعات طلاست.
هم اكنون در هر كشور، سازمان، شركت و غيره براي امور بازرگاني، پرسنلي، آموزشي، آماري و غيره پايگاه داده ها ايجاد يا خريداري شده است. بطوري كه اين پايگاه داده ها براي مديران، برنامه ريزان، پژوهشگران جهت، تصميم گيري هاي راهبردي، تهيه گزارش هاي مختلف، توصيف وضعيت جاري خود و ساير اهداف مي تواند مفيد باشد. بسياري از اين داده ها از نرم افزارهاي تجاري، مثل كاربردهاي مالي، ERPها، CRMها و web log ها، مي آيند. نتيجه اين جمع آوري داده ها اين ميشود كه در سازمان ها، داده ها غني ولي دانش ضعيف، است. جمع آوري داده ها، بسيار انبوه ميشود و به سرعت اندازه آن افزايش مي يابد و استفاده عملي از داده ها را محدود مي سازد.
داده‌كاوي استخراج و تحليل مقدار زيادي داده به منظور كشف قوانين و الگوهاي معني دار در آن هاست. هدف اصلي داده كاوي، استخراج الگوهايي از داده ها، افزايش ارزش اصلي آن ها و انتقال داده ها به صورت دانش است.