. 40
4-2- انتخاب پارامترها 40
4-2-1- مقیاس پذیری.. 41
4-2-1-1- Scale up.. 41
4-2-1-2- Scale in.. 41
4-2-1-3- Scale out 41
4-2-2- تعداد Map Taskهای همزمان.. 41
4-2-3- حجم قطعات تصاویر. 42
4-2-4- تعداد تکرار داده ها روی شبکه. 42
4-2-5- حجم داده مورد بررسی.. 42
4-3- برنامه مورد استفاده. 42
4-4- بررسی پارامترها 44
4-4-1- سناریو اول: تاثیر مقیاس پذیری عمودی(Scale Up) بر زمان پردازش… 44
4-4-2- سناریو دوم: بررسی تاثیر مقیاس پذیری (Scale in) بر زمان پردازش… 47
4-4-3- سناریو سوم: بررسی تاثیر حجم قطعات تصاویر بر زمان پردازش… 52
4-4-4- سناریو چهارم: بررسی تاثیر تعداد Map Task های همزمان بر زمان پردازش… 55
4-4-5- سناریو پنجم: بررسی تاثیر تعداد تکرار تصاویر بر زمان پردازش… 58
4-4-6- سناریو ششم: بررسی پارامتر حجم دادهها 63
4-4-7- سناریو هفتم: تاثیر مقیاس پذیری افقی(Scale Out) بر زمان پردازش… 65
4-5- نتایج.. 68
5- بررسی و تحلیل یافتههای تحقیق… 71
6- نتیجهگیری و پیشنهادها 77
فهرست جدولها | ||
عنوان | صفحه | |
جدول 3‑1: زمان صرف شده نسبت به حجم داده ورودی در [32] 23 جدول 3‑2: خلاصه پژوهش های انجام شده در زمینه پردازش تصویر بکمک مدل نگاشت کاهش… 38 جدول 4‑1: مشخصات سیستم برای بررسی مقیاس پذیری عمودی.. 45 جدول 4‑2: ساختار کلاستر اول با 16ماشین. 48 جدول 4‑3: ساختار کلاستر دوم با 8 ماشین. 48 جدول 4‑4: ساختار کلاستر سوم با 5 ماشین. 48 جدول 4‑5: پیکربندی حالت سریال. 49 جدول 4‑6: ساختار کلاستر با 7 ماشین. 53 جدول 4‑7: نتایج بررسی پارامتر حجم قطعات تصاویر. 53 جدول 4‑8: نتیجه تاثیر تعداد Map Taskها بر زمان پردازش در روش دوم. 56 جدول 4‑9: نتایج بررسی پارامتر تعداد تکرار 59 جدول 4‑10: تغییر زمان پردازش با افزایش حجم تصاویر ورودی.. 63 جدول 4‑11: نتایج بررسی تاثیر مقیاس پذیری افقی برزمان پردازش.. 66 جدول 4‑12: مدل پیشنهادی.. 69 جدول 5‑1: مقادیر پیشنهادی برای پارامترها در بررسی موردی.. 74 |
فهرست شکلها
عنوان | صفحه | |
شکل 2‑1: مراحل مدل نگاشت کاهش… 12 شکل 2‑2: شمای کلی مدل برنامه نویسی نگاشت کاهش… 12 شکل 2‑3: نحوه اجرای برنامه WordCount در نگاشتکاهش… 13 شکل 2‑4: برخی از شرکتهایی که از هدوپ استفاده میکنند. 14 شکل 2‑5: نمونهای از یک کلاستر هدوپ.. 14 شکل 2‑6: ذخیره فایل در فایل سیستم توزیع شده هدوپ.. 16 شکل 2‑7: نحوه نوشتن فایل درHDFS. 17 شکل 2‑8: ساختار کلی یک کلاستر هدوپ.. 18 شکل 3‑1: تاثیر افزایش داده ها بر زمان پردازش در کلاسترهای مختلف.. 21 شکل 3‑2: تاثیر تعداد Map Task هایی که بطور همزمان روی هر نود اجرا می شوند بر زمان پردازش.. 22 شکل 3‑3 : تاثیر افزایش حجم تصویر بر زمان پردازش در الگوریتم Auto-Contrast 26 شکل 3‑4 : تاثیر افزایش حجم تصویر بر زمان پردازش در الگوریتم تشخیص لبه. 26 شکل 3‑5: تاثیر افزایش حجم تصویر بر زمان پردازش در الگوریتم Color Sharpening. 27 شکل 3‑6: تاثیر افزایش نود بر زمان پردازش در دیتاست کوچک.. 30 شکل 3‑7: تاثیر افزایش تعداد نود بر زمان پردازش در دیتاست بزرگ.. 30 شکل 3‑8: تاثیر افزایش نود بر زمان پردازش در دو حالت توزیع داده ها 31 شکل 3‑9: تاثیر افزایش نودها بر کارایی در الگوریتم بازیابی تصاویر. 32 شکل 3‑10: نحوه رفتار الگوریتم بازیابی تصاویر با افزایش داده 32 شکل 3‑11: پیچیدگی محاسباتی با اجرای برنامه MLC.. 33 شکل 3‑12: تاثیر حجم داده ورودی بر اجرای برنامه MLC.. 34 شکل 3‑13: ساختار ترکیب Hadoop و Cuda. 35 شکل 3‑14: نمودار جریان داده در ترکیب Hadoop با Cuda. 36 شکل 4‑1: نتیجه اجرای برنامه تشخیص لبه روی تصاویر. 43 شکل 4‑2: تغییر مقیاس عمودی.. 45 شکل 4‑3: تاثیر مقیاس پذیری عمودی بر زمان پردازش در حالت سریال و موازی.. 46 شکل 4‑4: ساختار مقیاس پذیری Scale In. 47 شکل 4‑5: تاثیر تعداد ماشینها با تعداد مپرهای مختلف بر زمان پردازش.. 50 شکل 4‑6: تاثیر تعداد ماشینها با تعداد مپرهای برابر بر زمان پردازش.. 51 شکل 4‑7: مقایسه روشهای موازی با تعداد وظایف مختلف، با پردازش سریال. 51 شکل 4‑8: نمودار تاثیر حجم قطعات تصاویر بر زمان پردازش.. 54 شکل 4‑9: تاثیر تعداد Map Task های مختلف بر زمان پردازش در روش دوم. 57 شکل 4‑10: نمودار تاثیر تعداد تکرار بر زمان پردازش.. 60 شکل 4‑11: تاثیر تعداد تکرار تصاویر بر توان عملیاتی. 62 شکل 4‑12: نحوه تغییر زمان پردازش با افزایش حجم تصاویر ورودی.. 64 شکل 4‑13: تغییر مقیاس افقی. 65 شکل 4‑14: نحوه تاثیر مقیاس پذیری افقی بر زمان پردازش.. 67 |
فهرست نشانههای اختصاری
HDFS Hadoop Distributed File System
GFS Google File System
GPGPU General Purpose Graphics Processing Units
IaaS Infrastructure as a Service
PaaS Platform as a Service
SaaS Software as a Service
VM Virtual Machine
1-1- کلیات
امروزه با افزایش روشهای مختلف اخذ اطلاعات گسسته مانند دوربینهای دیجیتال، پویشگرها و ماهوارهها، پردازش تصویر کاربرد فراوانی یافتهاست. از زمینههای پر کاربرد پردازش تصویر میتوان نجوم، زیست شناسی و پزشکی را نام برد. پردازش تصاویر ارسالی از ماهوارهها و تشخیص پلاک اتومبیلها از نمونههای کاربردی و شناختهشدهی مسائل پردازش تصویر هستند.
با افزایش کاربردهای تصاویر رقمی[1] در حوزههای مختلف، هر روز بر حجم تصاویر موجود در پایگاههای داده افزوده می شود. در پردازش تصاویر ارسالی از ماهوارهها حجم وسیعی از تصاویر برای پردازش ارسال میشوند که برای پردازش این حجم وسیع از تصاویر، نیاز به کامپیوترهای قدرتمندی است تا با سرعت بالایی تصاویر دریافتی را پردازش کنند. در سالهای اخیر تلاشهای بسیاری در زمینهی پردازش دادههای حجیم صورت گرفتهاست. در این بین، پردازش موازی و بطور خاص پردازش توزیع شده یکی از پر طرفدارترین این روشها میباشد.
در بیشتر روشهای توزیع شده برای پردازش دادهها، برنامه نویس باید دانش کافی در برنامه نویسی و شبکه داشته باشد و نیز بتواند مسائل مربوط به زمان اجرا را مدیریت و برطرف کند کهاین کار نیازمند تخصص و مهارت بالایی در برنامه نویسی و مباحث شبکهاست. لذا روشهایی که در آن کاربر بتواند با سهولت بیشتری برنامههایش را ایجاد و اجرا کند بسیار مورد استقبال قرار میگیرد.
یکی از تکنولوژیهایی که امروزه توجه بسیاری را به خود جلب کرده و تحول بزرگی در بسیاری از زمینههای مختلف کامپیوتری به ارمغان آوردهاست رایانش ابری است. ابرها بسیاری از نیازها در زمینهی فناوری اطلاعات را بصورت یک سرویس ارائه میدهند که این سرویس از طریق اینترنت قابل دسترسی است. در این پژوهش به بررسی چالشهایی که کاربران برای اجرای مسائل پردازش تصویر خود در روی ابر و افزایش کارایی آن مواجهند میپردازیم و هدف این پژوهش ارائه روشی برای افزایش کارایی پردازش تصاویر در روی ابر که یک محیط توزیع شدهاست ارائه میشود. بطوریکه طی آن کاربر بتواند برنامههای خود را بصورت بهینه تر و کاراتری تولید، اجرا و مدیریت کند.
فرم در حال بارگذاری ...