کلان داده (Big Data) چیست؟ – تاثیر کلان داده ها بر تیم های IT

در سال های اخیر در مورد کلان داده ها زیاد صحبت شده است که این نشان دهنده اهمیت بالای کلان داده ها در دنیای امروز است. در ادامه در مورد تاثیر و اهمیت کلان داده ها یا Big Data صحبت خواهیم کرد.

میزان داده ها و اطلاعات ایجاد شده در دو سال اخیر بیش از داده های موجود در کل تاریخ بشریت است.

چند نکته آماری مربوط به کلان داده ها

• تولید و ذخیره داده ها با سرعت فزاینده ای ادامه خواهد داشت. پیش بینی می شود پس از سال 2020 مقدار داده های تولید شده به طور سالیانه برابر با داده های تولید شده در سال 2009 – ضرب در 44 باشد. در نتیجه داده های گردآوری شده در سال 2020 برابر با 44 زتابایت خواهد بود. (یک زتابایت برابر با 1،000،000،000،000 گیگا بایت است).
• اگر تمام داده های جمع آوری شده در یک سال بر روی دی وی دی ذخیره شود، تمام دیسک ها در صورت انباشته شدن می توانند یک بار مسیر زمین تا ماه را طی کرده و برگردند.
• اینترنت و رسانه های اجتماعی تولید کننده های بزرگ کلان داده ها هستند.; در هر دقیقه از روز، 100000 توییت، 11 میلیون پیام فوری، 170 میلیون ایمیل و 31 میلیون پیام فیس بوک در سراسر جهان رد و بدل می شود.
• انباشت داده ها در آینده توسط دستگاه های هوشمند سرعت خواهد یافت. انتظار می رود تنها طی چند سال آینده، بیش از 50 میلیارد دستگاه هوشمند در سرتاسر جهان مخازن کلان داده را در جهان تغذیه کرده و رشد دهند.

اما اهمیت و کاربرد بیگ دیتاچیست؟

مزایای کلان داده (Big Data) در دنیای واقعی

در واقع ما تازه شروع به استفاده از بخش کوچکی از کلان داده ها کرده ایم، با نرخی کمتر از یک درصد از کل داده های ورودی. طبیعتا این آمار نشان دهنده وجود پتانسیل فوق العاده در این زمینه است.

تنها افزایش 10 درصدی دسترسی به کلان داده ها می تواند باعث ایجاد متوسط درآمد خالص بیش از 65 میلیون دلار برای یک کسب و کار معمولی شود. محققان موسسه جهانی مک کینزی محاسبه می کنند که خرده فروشان با بهره برداری کامل از تجزیه و تحلیل کلان داده ها و با استفاده از یک نرم افزار ITSM قدرتمند ، می توانند سود حاشیه عملیاتی را بیش از 60 درصد افزایش دهند.

ادغام بهتر کلان داده ها در تجزیه و تحلیل داده ها در صنعت بهداشت و درمان، کاهش هزینه 300 میلیارد دلاری در سال را به همراه خواهد داشت. به همین ترتیب تجزیه و تحلیل کلان داده ها در بسیاری از زمینه های مهم عملکردی امور مالی و بانکی پیشرفت های قابل توجهی را رقم خواهد زد.

اهمیت کلان داده ها برای تیم های فناوری اطلاعات

در ادامه چند مورد از تأثیرات کلیدی بیگ دیتا در بخش های فناوری اطلاعات (IT) شرکت ها ارائه شده است:

مقیاس پذیری

بخش فناوری اطلاعات باید خیلی سریعتر از سایر بخش های یک کسب و کار به سرعت رشد کلان داده ها عکس العمل مناسب نشان دهد و بتواند دقیق تر چگونگی استفاده سازمان از ذخیره کلان داده ها را پیش بینی کند. نرخ رشد باید برنامه ریزی شده باشد تا اطمینان حاصل شود که منابع تقاضای آینده را برآورده خواهد کرد.

پیچیدگی

در گذشته، یک سازمان ممکن بود به یک سرور واحد و یکپارچه تکیه کند. اما در عصر کلان داده ها، این معماری تحول پیدا کرده است. اکنون، یک سرور بزرگ ممکن است توسط ده ها، صد ها و یا حتی هزاران سرور ارزان قیمت جایگزین شود. این اتفاق همچنین تجهیزات مدیریتی را که بخش فناوری اطلاعات باید روی آنها نظارت و از آنها نگهداری کند، چند برابر می کند.

تنوع

قبل از عصر کلان داده ها، کارکنان فناوری اطلاعات معمولاً روی جمع آوری و ذخیره چند نوع داده خاص متمرکز بودند. به عنوان مثال، یک برنامه نرم افزاری در یک موسسه مالی می تواند تنها داده های عددی را جمع آوری و پردازش کند. اما کلان داده ها دارای انواع مختلفی هستند و فناوری اطلاعات برای پشتیبانی از ذخیره و مدیریت بسیاری از اشکال مختلف کلان داده ها باید قابلیت های آگونیستیک خود را توسعه دهد.

کلان داده ها (Big Data) همچنین به IT فرصت می دهد تا برای عدم ثبات بازار آمادگی بیشتری پیدا کند. ناپایداری بازار که در سال 2008 رخ داد را در نظر بگیرید: بخش های بی شمار فناوری اطلاعات جهت برآورده کردن مطالبات ناشی از یک چشم انداز اقتصادی پر از بی نظمی، سخت تلاش می کردند. اکنون، از طریق افزایش قابلیت های تحلیلی که توسط بیگ دیتافعال شده است، فناوری اطلاعات با آمادگی بیشتری قادر به درک بین نیازهای کاربران و ترند های بازار است و این به پیش بینی و پاسخ دهی مناسبتر به بازار کمک می کند.

کلان داده ها و سه اصل مورد نیاز برای پاسخگویی به آنها در IT

چگونه فناوری اطلاعات می تواند سه تأثیر مهم کلان داده ها را که در بالا ذکر شد مدیریت کند؟ با تمرکز متقارن بر تقویت سه بخش اصلی زیر:

تخصص های جدید

بخش های فناوری اطلاعات کسب و کارها مملو از افراد با استعداد است. بسیاری از حوزه های مختلف زیربنایی تخصص در بخش فناوری اطلاعات عبارتند از: توسعه دهندگان، آزمایش کنندگان، DBA ها و غیره. اما بسیاری از بخش های IT اخیرا از کمبود نیرو در حوزه های تخصصی مورد نیاز برای تسلط بر حجم عظیم کلان داده ها و تبدیل آنها به اطلاعات قابل استفاده و عملی برای مشاغل، رنج می برند. مهارت هایی از قبیل تجسم داده ها، تجزیه و تحلیل آماری، داده کاوی، یادگیری ماشین و مدیریت پایگاه داده NoSQL از جمله تخصص هایی هستند که در عصر کلان داده ها برای مدیریت IT از اهمیت بالایی برخوردار هستند.

هماهنگی و ادغام

کلان داده ا انواع مختلفی از داده ها را در بر گرفته و از مجموعه منابع متفاوت تهیه شده اند. موفقیت در زمینه بیگ دیتا مستلزم آن است که همه منابع و انواع داده ها به یک موجودیت هماهنگ تبدیل شوند. اركستراسیون فرایند ادغام و تجزیه اطلاعات ورودی های مختلف داده ها یك نظم در حال تحول است كه باید مورد توجه مداوم بخش های IT باشد.

رهبری

بیشتر بخش های تجاری در هر سازمان از پتانسیل فوق العاده موجود در زمینه کلان داده ها برای پیشرفت آگاهند اما بسیاری از این بخش ها هنوز کاملاً از ارزش بالقوه ارائه شده توسط فناوری های کلان داده ها آگاه نیستند. بخش های فناوری اطلاعات باید ارتباط سازمانی را در اتصال نقاط این بخش ها به عهده بگیرند و به آنها در درک ارزش موجود در استفاده از کلان داده ها کمک کنند.

صرف کلان بودن داده ها ایجاد ارزش نمی کند

اگرچه ما هنوز در طلوع عصر کلان داده ها هستیم، واضح است که انفجار بی سابقه تولید و ذخیره داده ها بر زندگی ما تأثیر می گذارد. اما این فقط حجم عظیم داده های موجود نیست که ارزش فراهم می کند، بلکه روش استفاده از این داده ها است.

همه داده ها دارای ارزش نیستند. داده ها باید برای ارزشمند شدن، طبقه بندی و تجزیه و تحلیل شوند. تفکیک و استخراج ارزش از این کل، کلید تبدیل کلان داده ها به ارزش در دنیای واقعی است.

سوالات متداول

1. مزایای کلان داده (Big Data) در دنیای واقعی چیست؟
   در واقع ما تازه شروع به استفاده از بخش کوچکی از کلان داده ها کرده ایم، با نرخی کمتر از یک درصد از کل داده های ورودی. طبیعتا این آمار نشان دهنده وجود پتانسیل فوق العاده در این زمینه است. تنها افزایش 10 درصدی دسترسی به کلان داده ها می تواند باعث ایجاد متوسط درآمد خالص بیش از 65 میلیون دلار برای یک کسب و کار معمولی شود. محققان موسسه جهانی مک کینزی محاسبه می کنند که خرده فروشان با بهره برداری کامل از تجزیه و تحلیل کلان داده ها و با استفاده از یک نرم افزار ITSM قدرتمند ، می توانند سود حاشیه عملیاتی را بیش از 60 درصد افزایش دهند.
2. اهمیت کلان داده ها برای تیم های فناوری اطلاعات چیست؟
   مقیاس پذیری – پیچیدگی – تنوع