سایت در حال بارگذاری است ...

پردازش موازی داده ها با MapReduce، سمینار کارشناسی ارشد کامپیوتر

موضوع پروژه: پردازش موازی داده ها با MapReduce، سمینار کارشناسی ارشد کامپیوتر

فرمت فایل: WORD (قابل ویرایش)

 

تعداد صفحات فایل: 48

فهرست مطالب

چکیده …………………………………………………………………………………….8
فصل 1
مقدمه……………………………………………………………………………………11
فصل 2
شرح مسئله ……………………………………………………………………………14
2-1 جزئیات مدل………………………………………………………………………..14
2-1-1 ساختارهای دادهMaster Worker
2-2 مورد مطالعاتی (شمارنده کلمات) …………………………………………..17
فصل 3
مفاهیم پایه¬ای (پیش زمینه) ……………………………………………………..19
3-1 فایل سیستم های توزیع شده ………………………………………………..19
3-2 سیستم های خوشه بندی شده ……………………………………………..20
3-3 سیستم¬های نا همگن…………………………………………………………20
فصل 4
کاربردهای مدل MapReduce
4-1 موارد کاربرد ………………………-………………………………………………22
4-1-1 Distributed Grep
4-1-2 Count of URL Access frequency
4-1-3 Reverse Web-Link Graph.
4-1-4 Invert Index
4-1-5 Genetic Algorithm
4-1-6 یافتن پیامک های محبوب……………………………………………………23
4-2 پایگاه داده …………………………………………………………………………24
4-2-1 پیاده سازی پرس و جو های گروه بندی چندگانه……………………….25
4-3 تحمل خطا ………………………………………………………………………….29
4-4 کارآیی ………………………………………………………………………………29
4-4-1 برخی دیگر از فاکتور های تاثیر گذار ……………………………………….30
4-5 معماری ترکیبی سیستم مدیریت پایگاه داده با MapReduce
4-5-1 مولفه های چهارچوب Hadoop
4-5-2 مولفه های چهارچوب HadoopDB
4-5-2-1 Database Connector.
4-5-2-2 Catalog
4-5-2-3 Data Loader
4-5-2-4 SQL to MapReduce to SQL (SMS) Planner
فصل 5
انواع پیاده سازی……………………………………………………………………….36
5-1 Hadoop
5-2 Mars
5-3 Phoenix
5-4 Map-Reduce-Merge
5-5 GridGain
فصل 6
نتیجه گیری………………………………………………………………………………41
مراجع………………………………………………………………………………………43
پیوست 1………………………………………………………………………………….44

فهرست شکل
شکل 2-1 گردش کار یک اجرای MapReduce
شکل 2-2 نمونه کد مربوط به شمارنده کلمات ………………………………….17
شکل 3-1 معماری ساده ای از یک سیستم خوشه…………………………….20
شکل 4-1 معماری MRPGA:MapReduceReduce
شکل 4-2 نمونه کد SQL گروهبندی چندگانه ……………………………………..25
شکل 4-3 نمونه کد SQL گروهبندی چندگانه به صورت گسترده ……………..25
شکل 4-4 نمونه کد SQL گروهبندی چندگانه با عملگر Union
شکل 4-5 دیاگرام پرس و جوی گروهبندی چندگانه با استفاده از MapReduce
شکل 4-6 شبه کد تابع Map
شکل 4-7 جریان داده ها در یک کار MapReduce با چهار چوب GridGain
شکل 4-8 شبه کد تابع Reduce
شکل 4-9 نمای کلی از نحوه ی اجرای MapReduce با استفاده از Combiner و Partitioner
شکل 4-10 معماری ترکیبی MapReduce و Parallel Database
شکل 5-1 دیاگرام جریان داده در چهارچوب Mars

 

 

چکیده

با افزایش حجم اطلاعات و داده ها و افزایش حجم درخواستها، توانایی پردازش رویدادها از اهمیت زیادی برخوردار است. پردازش داده ها با حجم بالا، نیازمند منابع پردازشی زیاد و سیاست موازی سازی میباشد، تا نتایج در زمان معقول بدست بیاید. سازمانهای بزرگ با حجم سخت افزارهایی روبرو هستند که به تنهایی قابلیت پردازشی بالایی ندارند و تهیه ی سخت افزار جدید، هزینه های زیادی را برای سازمانها در بر دارد. بنابراین ما نیازمند مدلی هستیم که بتواند تعداد درخواستهای زیادی را به صورت موازی پردازش کند.
مدل MapReduce یک مدل برنامه نویسی است که توسط گوگل در سال 2003 برای مرتفع کردن این نیازها معرفی شد. مدل MapReduce با موازی سازی پردازشها روی خوشه هایی از کامپیوترها و با کمک گرفتن از توان پردازشی آنها به پردازش حجم بالایی از داده ها به صورت موازی می پردازد. از ویژگیهای MapReduce می توان به افراز داده ها در زمان اجرا، زمانبندی پردازش داده ها روی مجموعه ای از ماشینها، تحمل نقص، مدیریت ارتباط میان ماشینها، قابلیت سنجش دقیق میزان پیشرفت پردازش و استفاده از فایل سیستمهای توزیع شده اشاره کرد[1].
در این مدل، ایده اصلی پیاده سازی بر پایه ی دوتابع Map و Reduce می باشد. تابع Map، یک جفت Key/Value را برای ایجاد مجموعه¬ای از Key/Value های میانی پردازش می کند. تابع Reduce همه داده های میانی مرتبط با یک Key را ادغام نموده و نتیجه را تولید می کند. این مدل یک چهارچوب عمومی برای محاسبات ابری در آنالیز داده هایی با مقیاس بالا به شمار میرود[2].
هدف از این سمینار، بررسی جزئیات مدل MapReduce و سایر مدلهای مشابهی است که برای پردازش داده های بزرگ به کار میروند.

 

گردش کار یک اجرای MapReduce

 

 معماری MRPGA:MapReduceReduce

 

دیاگرام پرس و جوی گروهبندی چندگانه با استفاده از MapReduce

مطلب مفیدی برای شما بود ؟ پس به اشتراک بگذارید برای دوستانتان
درباره این مطلب نظر دهید !

محصولات مرتبط ...

محصولات زیرا حتما ببینید ...