DataOps

DataOps مجموعه ای از روشها، فرآیندها و تکنولوژی‌هایی است که دیدگاهی یکپارچه و فرآیندگرا در ارتباط با داده‌ها را با خودکارسازی روش‌های سریع مهندسی نرم‌افزار برای توسعه و بهبود کیفیت، سرعت و همکاری و ترویج فرهنگ توسعه مداوم در زمینه تحلیل داده‌ها ترکیب میکند.[۱] DataOps که بصورت مجموعه ای از بهترین شیوه‌ها شروع بکار کرد، اکنون به یک رویکرد جدید و مستقل برای  تحلیل داده‌ها تبدیل شده است.[۲] DataOpsبرای کل چرخه داده[۳] از آماده‌سازی داده تا گزارش‌دادن اعمال می‌شود و ماهیت به‌هم‌پیوسته تیم  تحلیل داده‌ها و عملیات فناوری اطلاعات را نیز تشخیص می‌دهد.[۴]

DataOps اصول Agile را برای کوتاه‌تر کردن چرخه زمانی توسعه تجزیه و تحلیل در راستای اهداف تجاری ترکیب می‌کند.[۳]

DevOps با استفاده از منابع IT بر پایه تقاضا و خودکارسازی آزمون‌ها و گسترش نرم‌افزارها بر تحویل مداوم و یکپارچه تمرکز دارد. این ادغام توسعه نرم‌افزار و عملیات‌های IT، سرعت، کیفیت، قابلیت پیش‌بینی و مقیاس مهندسی نرم‌افزار و گسترش و استقرار را بهبود بخشیده است. DataOps با استفاده از روش‌های DevOps، به دنبال ایجاد همین پیشرفت‌ها در تحلیل داده‌ها است.[۴]

DataOps از کنترل آماری فرایندها (SPC) برای نظارت و کنترل بر خط لوله تحلیل داده‌ها استفاده می‌کند. باوجود SPC داده هایی که از طریق یک سیستم عملیاتی جریان میابند، دائماً تحت نظارت هستند و فعال بودن آن‌ها تأیید می‌شود. اگر ناهنجاری‌ای رخ دهد، تیم تحلیل داده توسط هشدار خودکاری مطلع می‌شوند.[۵]

DataOps به یک فناوری، معماری، ابزار، زبان و یا چهارچوب خاص وابسته نیست. ابزارهایی که از DataOps پشتیبانی می‌کنند، همکاری، هماهنگی، کیفیت، امنیت، دسترسی و آسانی استفاده را بهبود بهبود می‌بخشند و ارتقاء می‌دهند.[۶]

تاریخچه

[ویرایش]

DataOps اولین بار توسط Lenny Liebman، ویراستار کمکی در مجله اینفورمیشن‌ویک، در یک پست وبلاگی در IBM Big Data & Analytics Hub با عنوان " ۳ دلیل برای اینکه چرا DataOps برای موفقیت کلان‌داده ضروری است" در ۱۹ ژوئن ۲۰۱۴ معرفی شد.[۷] اصطلاح DataOps بعدها توسط Andy Palmer از Tamr and Steph رایج شد.[۸][۴] DataOps کوتاه شده و نام خودمانی "Data Operations" است.[۳] سال ۲۰۱۷ با توسعه قابل توجه اکوسیستم، پوشش تحلیل‌گران، افزایش جستجوی کلمات کلیدی، نظرسنجی‌ها، انتشارات و پروژه‌های منبع‌باز، سال مهمی برای DataOps بود.[۹] گارتنر DataOps را در چرخه محبوبیت برای مدیریت داده در سال ۲۰۱۸ نام برد.[۱۰]

اهداف و فلسفه

[ویرایش]
Dataops

پیش‌بینی می‌شود که حجم داده‌ها تا سال ۲۰۲۵ با نرخ ۳۲ درصد CAGR به ۱۸۰ زتابایت افزایش یابد( منبع: IDC).[۶] DataOps به‌دنبال ارائه ابزارها، فرآیندها و ساختارهای سازمانی است تا از عهده این افزایش قابل‌توجه داده‌ها بربیاید.[۶] خودکارسازی، نیازهای روزانه مدیریت پایگاه‌ داده‌های یکپارچه بزرگ را ساده می‌کند و تیم داده را آزاد می‌کند تا تجزیه و تحلیل‌های جدید را به روشی کارآمدتر و مؤثرتر توسعه دهند.[۱۱][۴] DataOps به دنبال افزایش سرعت، قابلیت اطمینان و کیفیت  تحلیل داده‌ها است.[۱۲] این بر ارتباط، همکاری، ادغام، خودکارسازی، اندازه‌گیری و همکاری بین دانشمندان داده، تحلیل‌گران داده، مهندسین داده/ETL(extract, transform, load)، فناوری اطلاعات(IT) و تضمین کیفیت/نظارت تأکید دارد.

اجرا

[ویرایش]

Toph Whitmore در Blue Hill Research این اصول رهبری DataOps را برای بخش فناوری اطلاعات ارائه می‌دهد:[۲]

  • "اندازه گیری پیشرفت و عملکرد را در هر مرحله از گردش داده تصدیق کنید. در صورت امکان، زمان‌های چرخه گردش داده‌ها را در معیار قرار دهید.
  • با انجام "eyeball test" اعتبارسنجی کنید: حلقه‌های بازخورد انسانی مبتنی بر بهبود مستمر را شامل شود. مصرف‌کنندگان باید بتوانند به داده‌ها اعتماد کنند و این فقط با اعتبارسنجی افزایشی حاصی می‌شود.
  • تا جایی که ممکن است مراحل گردش داده از جمله هوش تجاری، علم داده و تحلیل داده را خودکار کنید.
  • با استفاده از معیار اطلاعات عملکرد، تنگناها را شناسایی کرده و سپس آن‌ها را بهینه کنید. این ممکن است نیاز به سرمایه‌گذاری در لوازم سخت‌افزار یا خودکارسازی یک مرحله علوم‌داده که قبلاً توسط انسان در این فرآیند ارائه می‌شد داشته باشد.
  • فرآیندی برای رشد و توسعه‌پذیری طراحی کنید. مدل گردش داده باید طوری طراحی شود که حجم و تنوع داده‌ها را در خود جای دهد. اطمینان حاصی کنید که فناوری‌های فعال قیمت مقرون به صرفه‌ای دارند تا با رشد داده‌های آن سازمان تناسب داشته باشند."

رویدادها

[ویرایش]

منایع

[ویرایش]
  1. ↑ Ereth, Julian (2018). "DataOps-Towards a Definition" (PDF). Proceedings of LWDA 2018: 109.
  2. ↑ ۲٫۰ ۲٫۱ "DataOps – It's a Secret". www.datasciencecentral.com (به انگلیسی). Retrieved 2017-04-05.
  3. ↑ ۳٫۰ ۳٫۱ ۳٫۲ "What is DataOps (data operations)? - Definition from WhatIs.com". SearchDataManagement (به انگلیسی). Retrieved 2017-04-05.
  4. ↑ ۴٫۰ ۴٫۱ ۴٫۲ ۴٫۳ "From DevOps to DataOps, By Andy Palmer - Tamr Inc". Tamr Inc. (به انگلیسی). 2015-05-07. Archived from the original on 12 July 2018. Retrieved 2017-03-21.
  5. ↑ DataKitchen (2017-03-07). "Lean Manufacturing Secrets that You Can Apply to Data Analytics". Medium. Retrieved 2017-08-24.
  6. ↑ ۶٫۰ ۶٫۱ ۶٫۲ "What is DataOps? | Nexla: Scalable Data Operations Platform for the Machine Learning Age". www.nexla.com (به انگلیسی). Retrieved 2017-09-07.
  7. ↑ "3 reasons why DataOps is essential for big data success". IBM Big Data & Analytics Hub (به انگلیسی). Archived from the original on 26 اكتبر 2020. Retrieved 2018-08-10. {{cite news}}: Check date values in: |archive-date= (help)
  8. ↑ Mango Solutions: #DataOps - it's a thing (honest) (به انگلیسی), retrieved 2021-06-28
  9. ↑ DataKitchen (2017-12-19). "2017: The Year of DataOps". data-ops. Retrieved 2018-01-24.
  10. ↑ "Gartner Hype Cycle for Data Management Positions Three Technologies in the Innovation Trigger Phase in 2018". Gartner (به انگلیسی). Retrieved 2019-07-19.
  11. ↑ "5 trends driving Big Data in 2017". CIO Dive (به انگلیسی). Retrieved 2017-09-07.
  12. ↑ "Unravel Data Advances Application Performance Management for Big Data". Database Trends and Applications (به انگلیسی). 2017-03-10. Retrieved 2017-09-07.
  13. ↑ "DataOpticon - YouTube". www.youtube.com. Retrieved 2021-06-28.
  14. ↑ "DataOps Summit". www.dataopssummit-sf.com. Archived from the original on 2 July 2021. Retrieved 2021-06-28.
  15. ↑ Intelligence, Corinium Global. "DataOps Champions Online 2021 | Corinium". dco-dataops.coriniumintelligence.com (به انگلیسی). Retrieved 2021-06-28.
برگرفته از «https://fa.wikipedia.org/w/index.php?title=DataOps&oldid=40411368»