no-img
شبیه سازی، برنامه نویسی، پایان نامه

پردازش موازی داده ها با MapReduce، سمینار کارشناسی ارشد کامپیوتر


شبیه سازی، برنامه نویسی، پایان نامه
adsads

ادامه مطلب

DOC
پردازش موازی داده ها با MapReduce، سمینار کارشناسی ارشد کامپیوتر
doc
آذر ۲۱, ۱۳۹۳
۳۵,۰۰۰ تومان
9 فروش
۳۵,۰۰۰ تومان – خرید

پردازش موازی داده ها با MapReduce، سمینار کارشناسی ارشد کامپیوتر


Want create site? Find Free WordPress Themes and plugins.

موضوع پروژه: پردازش موازی داده ها با MapReduce، سمینار کارشناسی ارشد کامپیوتر

فرمت فایل: WORD (قابل ویرایش)

 

تعداد صفحات فایل: ۴۸

فهرست مطالب

چکیده …………………………………………………………………………………….۸
فصل ۱
مقدمه……………………………………………………………………………………۱۱
فصل ۲
شرح مسئله ……………………………………………………………………………۱۴
۲-۱ جزئیات مدل………………………………………………………………………..۱۴
۲-۱-۱ ساختارهای دادهMaster Worker
۲-۲ مورد مطالعاتی (شمارنده کلمات) …………………………………………..۱۷
فصل ۳
مفاهیم پایه¬ای (پیش زمینه) ……………………………………………………..۱۹
۳-۱ فایل سیستم های توزیع شده ………………………………………………..۱۹
۳-۲ سیستم های خوشه بندی شده ……………………………………………..۲۰
۳-۳ سیستم¬های نا همگن…………………………………………………………۲۰
فصل ۴
کاربردهای مدل MapReduce
۴-۱ موارد کاربرد ………………………-………………………………………………۲۲
۴-۱-۱ Distributed Grep
۴-۱-۲ Count of URL Access frequency
۴-۱-۳ Reverse Web-Link Graph.
۴-۱-۴ Invert Index
۴-۱-۵ Genetic Algorithm
۴-۱-۶ یافتن پیامک های محبوب……………………………………………………۲۳
۴-۲ پایگاه داده …………………………………………………………………………۲۴
۴-۲-۱ پیاده سازی پرس و جو های گروه بندی چندگانه……………………….۲۵
۴-۳ تحمل خطا ………………………………………………………………………….۲۹
۴-۴ کارآیی ………………………………………………………………………………۲۹
۴-۴-۱ برخی دیگر از فاکتور های تاثیر گذار ……………………………………….۳۰
۴-۵ معماری ترکیبی سیستم مدیریت پایگاه داده با MapReduce
۴-۵-۱ مولفه های چهارچوب Hadoop
۴-۵-۲ مولفه های چهارچوب HadoopDB
۴-۵-۲-۱ Database Connector.
۴-۵-۲-۲ Catalog
۴-۵-۲-۳ Data Loader
۴-۵-۲-۴ SQL to MapReduce to SQL (SMS) Planner
فصل ۵
انواع پیاده سازی……………………………………………………………………….۳۶
۵-۱ Hadoop
۵-۲ Mars
۵-۳ Phoenix
۵-۴ Map-Reduce-Merge
۵-۵ GridGain
فصل ۶
نتیجه گیری………………………………………………………………………………۴۱
مراجع………………………………………………………………………………………۴۳
پیوست ۱………………………………………………………………………………….۴۴

فهرست شکل
شکل ۲-۱ گردش کار یک اجرای MapReduce
شکل ۲-۲ نمونه کد مربوط به شمارنده کلمات ………………………………….۱۷
شکل ۳-۱ معماری ساده ای از یک سیستم خوشه…………………………….۲۰
شکل ۴-۱ معماری MRPGA:MapReduceReduce
شکل ۴-۲ نمونه کد SQL گروهبندی چندگانه ……………………………………..۲۵
شکل ۴-۳ نمونه کد SQL گروهبندی چندگانه به صورت گسترده ……………..۲۵
شکل ۴-۴ نمونه کد SQL گروهبندی چندگانه با عملگر Union
شکل ۴-۵ دیاگرام پرس و جوی گروهبندی چندگانه با استفاده از MapReduce
شکل ۴-۶ شبه کد تابع Map
شکل ۴-۷ جریان داده ها در یک کار MapReduce با چهار چوب GridGain
شکل ۴-۸ شبه کد تابع Reduce
شکل ۴-۹ نمای کلی از نحوه ی اجرای MapReduce با استفاده از Combiner و Partitioner
شکل ۴-۱۰ معماری ترکیبی MapReduce و Parallel Database
شکل ۵-۱ دیاگرام جریان داده در چهارچوب Mars

 

 

چکیده

با افزایش حجم اطلاعات و داده ها و افزایش حجم درخواستها، توانایی پردازش رویدادها از اهمیت زیادی برخوردار است. پردازش داده ها با حجم بالا، نیازمند منابع پردازشی زیاد و سیاست موازی سازی میباشد، تا نتایج در زمان معقول بدست بیاید. سازمانهای بزرگ با حجم سخت افزارهایی روبرو هستند که به تنهایی قابلیت پردازشی بالایی ندارند و تهیه ی سخت افزار جدید، هزینه های زیادی را برای سازمانها در بر دارد. بنابراین ما نیازمند مدلی هستیم که بتواند تعداد درخواستهای زیادی را به صورت موازی پردازش کند.
مدل MapReduce یک مدل برنامه نویسی است که توسط گوگل در سال ۲۰۰۳ برای مرتفع کردن این نیازها معرفی شد. مدل MapReduce با موازی سازی پردازشها روی خوشه هایی از کامپیوترها و با کمک گرفتن از توان پردازشی آنها به پردازش حجم بالایی از داده ها به صورت موازی می پردازد. از ویژگیهای MapReduce می توان به افراز داده ها در زمان اجرا، زمانبندی پردازش داده ها روی مجموعه ای از ماشینها، تحمل نقص، مدیریت ارتباط میان ماشینها، قابلیت سنجش دقیق میزان پیشرفت پردازش و استفاده از فایل سیستمهای توزیع شده اشاره کرد[۱].
در این مدل، ایده اصلی پیاده سازی بر پایه ی دوتابع Map و Reduce می باشد. تابع Map، یک جفت Key/Value را برای ایجاد مجموعه¬ای از Key/Value های میانی پردازش می کند. تابع Reduce همه داده های میانی مرتبط با یک Key را ادغام نموده و نتیجه را تولید می کند. این مدل یک چهارچوب عمومی برای محاسبات ابری در آنالیز داده هایی با مقیاس بالا به شمار میرود[۲].
هدف از این سمینار، بررسی جزئیات مدل MapReduce و سایر مدلهای مشابهی است که برای پردازش داده های بزرگ به کار میروند.

 

گردش کار یک اجرای MapReduce

map-300x209 پردازش موازی داده ها با MapReduce، سمینار کارشناسی ارشد کامپیوتر

 

 معماری MRPGA:MapReduceReduce

map2-300x108 پردازش موازی داده ها با MapReduce، سمینار کارشناسی ارشد کامپیوتر

 

دیاگرام پرس و جوی گروهبندی چندگانه با استفاده از MapReduce

map3-300x84 پردازش موازی داده ها با MapReduce، سمینار کارشناسی ارشد کامپیوتر

Did you find apk for android? You can find new Free Android Games and apps.


ads

درباره نویسنده

admin 786 نوشته در شبیه سازی، برنامه نویسی، پایان نامه دارد . مشاهده تمام نوشته های

مطالب مرتبط


دیدگاه ها


دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

*

code