سمینار کارشناسی ارشد کامپیوتر-پردازش موازی داده ها با MapReduce | دانلود پروژه،ترجمه مقاله، پایان نامه و گزارش کارآموزی
alternative text

بستن پنجره
:: با کلیک بر روی لینک دانلود، به صفحه پرداخت هدایت خواهید شد و بعد از پرداخت از طریق کارت های اعتباری بانکی ، لینک دانلود فعال شده و می توانید فایل مورد نظر خود را دانلود کنید.
::
توضیحات بیشتر در مورد سمینار کارشناسی ارشد کامپیوتر-پردازش موازی داده ها با MapReduce :

موضوع پروژه:سمینار کارشناسی ارشد کامپیوتر-پردازش موازی داده ها با MapReduce

فرمت فایل: WORD (قابل ویرایش)

تعداد صفحات فایل: ۴۸

فهرست مطالب

چکیده ………………………………………………………………………………………………۸
فصل ۱
مقدمه…………………………………………………………………………………….۱۱
فصل ۲
شرح مسئله ……………………………………………………………………………………………..۱۴
۲-۱ جزئیات مدل…………………………………………………………………………………………..۱۴
۲-۱-۱ ساختارهای دادهMaster Worker
۲-۲ مورد مطالعاتی (شمارنده کلمات) ………………………………………………………..۱۷
فصل ۳
مفاهیم پایه¬ای (پیش زمینه) ……………………………………………………………………………………………..۱۹
۳-۱ فایل سیستم های توزیع شده ……………………………………………………………..۱۹
۳-۲ سیستم های خوشه بندی شده ………………………………………………………………۲۰
۳-۳ سیستم¬های نا همگن…………………………………………………………………….۲۰
فصل ۴
کاربردهای مدل MapReduce
۴-۱ موارد کاربرد ………………………-……………………………………………….۲۲
۴-۱-۱ Distributed Grep
۴-۱-۲ Count of URL Access frequency
۴-۱-۳ Reverse Web-Link Graph.
۴-۱-۴ Invert Index
۴-۱-۵ Genetic Algorithm
۴-۱-۶ یافتن پیامک های محبوب……………………………………………………………………………………….۲۳
۴-۲ پایگاه داده ……………………………………………………………………….۲۴
۴-۲-۱ پیاده سازی پرس و جو های گروه بندی چندگانه………………………………………۲۵
۴-۳ تحمل خطا ……………………………………………………………………………۲۹
۴-۴ کارآیی …………………………………………………………………………….۲۹
۴-۴-۱ برخی دیگر از فاکتور های تاثیر گذار ……………………………………………..۳۰
۴-۵ معماری ترکیبی سیستم مدیریت پایگاه داده با MapReduce
۴-۵-۱ مولفه های چهارچوب Hadoop
۴-۵-۲ مولفه های چهارچوب HadoopDB
۴-۵-۲-۱ Database Connector.
۴-۵-۲-۲ Catalog
۴-۵-۲-۳ Data Loader
۴-۵-۲-۴ SQL to MapReduce to SQL (SMS) Planner
فصل ۵
انواع پیاده سازی………………………………………………………………………………………..۳۶
۵-۱ Hadoop
۵-۲ Mars
۵-۳ Phoenix
۵-۴ Map-Reduce-Merge
۵-۵ GridGain
فصل ۶
نتیجه گیری………………………………………………………………………………………..۴۱
مراجع………………………………………………………………………………………۴۳
پیوست ۱…………………………………………………………………………………………..۴۴

فهرست شکل
شکل ۲-۱ گردش کار یک اجرای MapReduce
شکل ۲-۲ نمونه کد مربوط به شمارنده کلمات …………………………………………۱۷
شکل ۳-۱ معماری ساده ای از یک سیستم خوشه……………………………………………………………………………۲۰
شکل ۴-۱ معماری MRPGA:MapReduceReduce
شکل ۴-۲ نمونه کد SQL گروهبندی چندگانه …………………………………………….۲۵
شکل ۴-۳ نمونه کد SQL گروهبندی چندگانه به صورت گسترده ………………………………۲۵
شکل ۴-۴ نمونه کد SQL گروهبندی چندگانه با عملگر Union
شکل ۴-۵ دیاگرام پرس و جوی گروهبندی چندگانه با استفاده از MapReduce
شکل ۴-۶ شبه کد تابع Map
شکل ۴-۷ جریان داده ها در یک کار MapReduce با چهار چوب GridGain
شکل ۴-۸ شبه کد تابع Reduce
شکل ۴-۹ نمای کلی از نحوه ی اجرای MapReduce با استفاده از Combiner و Partitioner
شکل ۴-۱۰ معماری ترکیبی MapReduce و Parallel Database
شکل ۵-۱ دیاگرام جریان داده در چهارچوب Mars

چکیده
با افزایش حجم اطلاعات و داده ها و افزایش حجم درخواستها، توانایی پردازش رویدادها از اهمیت زیادی برخوردار است. پردازش داده ها با حجم بالا، نیازمند منابع پردازشی زیاد و سیاست موازی¬سازی میباشد، تا نتایج در زمان معقول بدست بیاید. سازمانهای بزرگ با حجم سخت¬افزارهایی روبرو هستند که به تنهایی قابلیت پردازشی بالایی ندارند و تهیه ی سخت افزار جدید، هزینه¬های زیادی را برای سازمانها در بر دارد. بنابراین ما نیازمند مدلی هستیم که بتواند تعداد درخواستهای زیادی را به صورت موازی پردازش کند.
مدل MapReduce یک مدل برنامه¬نویسی است که توسط گوگل در سال ۲۰۰۳ برای مرتفع کردن این نیازها معرفی شد. مدل MapReduce با موازی¬سازی پردازشها روی خوشه¬هایی از کامپیوترها و با کمک گرفتن از توان پردازشی آنها به پردازش حجم بالایی از داده¬ها به صورت موازی می¬پردازد. از ویژگیهای MapReduce می¬توان به افراز داده¬ها در زمان اجرا، زمانبندی پردازش داده¬ها روی مجموعه¬ای از ماشینها، تحمل نقص، مدیریت ارتباط میان ماشینها، قابلیت سنجش دقیق میزان پیشرفت پردازش و استفاده از فایل سیستمهای توزیع شده اشاره کرد[۱].
در این مدل، ایده اصلی پیاده¬سازی بر پایه¬ی دوتابع Map و Reduce می¬باشد. تابع Map، یک جفت Key/Value را برای ایجاد مجموعه¬ای از Key/Value های میانی پردازش می¬کند. تابع Reduce همه داده-های میانی مرتبط با یک Key را ادغام نموده و نتیجه را تولید می¬کند. این مدل یک چهارچوب عمومی برای محاسبات ابری در آنالیز داده هایی با مقیاس بالا به شمار میرود[۲].
هدف از این سمینار، بررسی جزئیات مدل MapReduce و سایر مدلهای مشابهی است که برای پردازش داده¬های بزرگ به کار می¬روند.

سمینار کارشناسی ارشد کامپیوتر-پردازش موازی داده ها با MapReduce

قیمت : 35000 تومان

350,000 ریال – دانلود
[ بلافاصله بعد از پرداخت لینک دانلود فعال می شود ]




© Copyright uporoje.ir 2009-2012