دادهکاوی دادههای حجمزیاد با روش بسط یافته برای مدل نکاشت کاهش
دادهکاوی دادههای حجمزیاد با روش بسط یافته برای مدل نکاشت کاهش
جاسم قاسمی نژاد1 مراد درخشان2
1) دانشجوی کارشناسی ارشد رشته نرم افزار ،گروه مهندسی کامپیوتروفناوری اطلاعات، دانشگاه پیام نور، تهران، ایران
2) استادیار، گروه مهندسی کامپیوتر و فناوری اطلاعات، دانشگاه پیام نور، تهران، ايران
کد IOI مقاله
:
XCCA-FAGBK
محل انتشار :
نهمین کنفرانس بین المللی تحقیقات پیشرفته در علوم، مهندسی و فناوری (setconf.ir)
چکیده :
پردازش دادههای حجمزیاد وابسته به برنامهنویسی موازی است. تاکنون نگاشت کاهش که یکی از روشهای تکراری دادهکاوی در الگوریتم خوشهبندی بدون نظارت است در الگوریتم K-means استفاده شدهاست. اما بهبود مقیاسپذیری و کارایی این الگوریتم همواره یکی از اهداف برای دادهکاوی در دادههای حجمزیاد است. در اینجا یک الگوریتم بسطیافته از مدل K-means پیشنهاد شدهاست که موجب افزایش کارایی عامل مقیاسپذیری در زمان افزایش حجم دادهها میشود. بطوری که در الگوریتم پیشنهادی، وابستگی مستقیم هر رکورد ساختار با رکورهای وضعیت موجود اعمال میشود. با ایجاد این وابستگی، هزینههای نگاشت کاهش و عملیات آغاز نگاشت تاحد زیادی کاهش مییابد. با توجه به بهبود صورتیافته در الگوریتم K-means و استفاده از روش نگاشت کاهش تکراری، میزان کارایی و مقیاسپذیری تاحد مطلوبی افزایش مییابد و آزمایشات ما این بهبودی نتایج را تایید میکنند.
واژگان كليدي: دادهکاوی، دادههای حجمزیاد، نگاشت کاهش تکراری، برنامهنویسی موازی، بسط الگوریتم K-means، پردازش توزیعی.
کلمات کلیدی : دادهکاوی دادههای حجمزیاد نگاشت کاهش تکراری برنامهنویسی موازی بسط الگوریتم k means پردازش توزیعی