اسپارک چهارچوبی برای پردازش داده های بزرگ

آیدین کریم زاده اصل¹

1) دانشجویی کارشناسی تکنولوژی نرم افزار ، دانشگاه آزاد اسلامی واحد تبریز،ایران

کد IOI مقاله : XAHK-CEEZF
محل انتشار : دومین کنفرانس بین المللی افق های نو در علوم مهندسی - 18 مرداد ماه 1397 | استانبول - ترکیه | دانشگاه یلدیز تکنیک(eng2018.ir)
چکیده :
    یکی از چالش هایی متخصصان و برنامه نویسان با آن روبرو هستند چگونگی پردازش داده ها و همچنین ذخیره این داده ها پس از پردازش می باشد. اما امروزه شاید به جرئت میتوان گفت با پیشرفت علم و رایانه ای شدن امورات و داده ها چگونگی و روش های پردازش داده های بزرگ یکی از مهم ترین بحث ها و محور های تحقیقاتی حال حاضر جهان میباشد . در این میان چهارچوب های وجود دارد که میتوان با استفاده از آن داده های عظیم را پالایش پردازش و یا با زبان های Spark) همانند frameworkکاری( برنامه نویسی مانند اسکالا و یا R برنامه نویسی کرده وداده ها را مورد کند و کاو قرار داد . با این حال چنین سوالاتی به وجود می آید که : 1- اسپارک چیست و ماهیت آن چیست ؟ 2- اسپارک چگونه به برنامه نویسی و چردازش داده های بزرگ کمک میکند؟ 3- چگونه و از چه فایل های کتابخانه ای در اسپارک استفاده شده است ؟ 4- در بین چهارچوب کاری موجود اسپارک بهتر است یا هدوپ ؟ در این مقاله سعی شده است که با یکی از چهارچوب های پردازش داده های عظیم بنام Spark آشنا شده و نیز به سوالات ذکر شده تا حد امکان و به نحو احسنت پاسخ داده شود .

کلمات کلیدی : اسپارک spark داده های بزرگ برنامه نویسی چهارچوب کاری پردازش داده