تجمع واسع النطاق
المجموعة الكبيرة (Cluster) هي مجموعة من أجهزة الكمبيوتر المستقلة والمترابطة (العُقد) تعمل معًا كنظام واحد وموحد لأداء مهمة حوسبة ضخمة. تم تصميم هذه الأنظمة لتحقيق إنتاجية عالية وتحمل للأخطاء، مما يسمح لها بالتعامل مع أعباء العمل التي تكون أكبر من أن تديرها آلة واحدة بكفاءة.
في بيئة البيانات المكثفة اليوم، يتطلب حجم البيانات المتولدة - من أجهزة استشعار إنترنت الأشياء إلى حركة مرور الويب العالمية - قوة معالجة تفوق بكثير تلك المتوفرة في الخوادم التقليدية. تُعد المجموعات الكبيرة العمود الفقري لتحليلات البيانات الضخمة الحديثة، والمحاكاة المعقدة، وتدريب نماذج الذكاء الاصطناعي على نطاق واسع. إنها تمكّن المؤسسات من الانتقال من القدرة النظرية للبيانات إلى رؤى عملية وفورية.
تعتمد وظيفة المجموعة على مبادئ الحوسبة الموزعة. يتم تقسيم المهام إلى مهام فرعية أصغر وقابلة للإدارة، ثم يتم توزيعها عبر العُقد المختلفة. يقوم مدير موارد متخصص (مثل Kubernetes أو YARN) بتنسيق هذه المهام، مما يضمن معالجة البيانات بالتوازي. إذا فشلت إحدى العُقد، يتم إعادة تعيين عبء العمل تلقائيًا إلى عُقدة أخرى سليمة، مما يوفر تحملًا متأصلًا للأخطاء.
تؤدي إدارة مجموعة كبيرة إلى زيادة التعقيد. تشمل التحديات الرئيسية إدارة زمن الوصول للشبكة بين العُقد، وضمان اتساق البيانات عبر التخزين الموزع، وتطبيق تنسيق قوي للتعامل مع التخصيص الديناميكي للموارد واستعادة الفشل.
تشمل المفاهيم ذات الصلة الأنظمة الموزعة، والحوسبة عالية الأداء (HPC)، وتغليف الحاويات (مثل Docker/Kubernetes)، والحوسبة المتوازية.
