[چین، شینزین، 14 جولائی، 2023] آج، ہواوے نے بڑے پیمانے پر ماڈلز کے دور کے لیے اپنے نئے AI اسٹوریج سلوشن کی نقاب کشائی کی، جو بنیادی ماڈل ٹریننگ، انڈسٹری کے لیے مخصوص ماڈل ٹریننگ، اور منقسم منظرناموں میں اندازہ لگانے کے لیے بہترین اسٹوریج سلوشنز فراہم کرتا ہے۔ نئی AI صلاحیتوں کو جاری کرنا۔
بڑے پیمانے پر ماڈل ایپلی کیشنز کی ترقی اور نفاذ میں، کاروباری اداروں کو چار بڑے چیلنجز کا سامنا ہے:
سب سے پہلے، ڈیٹا کی تیاری کے لیے درکار وقت لمبا ہے، ڈیٹا کے ذرائع بکھرے ہوئے ہیں، اور جمع کرنا سست ہے، سینکڑوں ٹیرا بائٹس ڈیٹا کی پری پروسیسنگ میں تقریباً 10 دن لگتے ہیں۔ دوم، بڑے پیمانے پر ٹیکسٹ اور امیج ڈیٹا سیٹس والے ملٹی موڈل بڑے ماڈلز کے لیے، بڑی چھوٹی فائلوں کے لیے موجودہ لوڈنگ کی رفتار 100MB/s سے کم ہے، جس کے نتیجے میں ٹریننگ سیٹ لوڈنگ کے لیے کم کارکردگی ہے۔ تیسرا، بڑے ماڈلز کے لیے بار بار پیرامیٹر ایڈجسٹمنٹ، غیر مستحکم تربیتی پلیٹ فارمز کے ساتھ، تقریباً ہر 2 دن بعد تربیتی رکاوٹوں کا باعث بنتے ہیں، جس سے تربیت کو دوبارہ شروع کرنے کے لیے چیک پوائنٹ میکانزم کی ضرورت پڑتی ہے، اور بحالی میں ایک دن کا وقت لگتا ہے۔ آخر میں، بڑے ماڈلز، پیچیدہ نظام کے سیٹ اپ، وسائل کے نظام الاوقات کے چیلنجز، اور GPU وسائل کا استعمال اکثر 40% سے کم کے لیے اعلیٰ نفاذ کی حد۔
Huawei بڑے پیمانے پر ماڈلز کے دور میں AI کی ترقی کے رجحان کے ساتھ ہم آہنگ ہو رہا ہے، جو مختلف صنعتوں اور منظرناموں کے لیے تیار کردہ حل پیش کر رہا ہے۔ یہ OceanStor A310 ڈیپ لرننگ ڈیٹا لیک سٹوریج اور FusionCube A3000 ٹریننگ/Inference Super-converged Appliance متعارف کراتا ہے۔ OceanStor A310 ڈیپ لرننگ ڈیٹا لیک سٹوریج بنیادی اور صنعت کی سطح کے بڑے ماڈل ڈیٹا لیک کے منظرناموں دونوں کو ہدف بناتا ہے، ڈیٹا اکٹھا کرنے سے جامع AI ڈیٹا مینجمنٹ، ماڈل ٹریننگ سے پہلے پروسیسنگ، اور انفرنس ایپلی کیشنز کا حصول۔ OceanStor A310، ایک واحد 5U ریک میں، صنعت کی معروف 400GB/s بینڈوتھ اور 12 ملین IOPS تک، 4096 نوڈس تک لکیری اسکیل ایبلٹی کے ساتھ، ہموار کراس پروٹوکول مواصلات کو فعال کرتا ہے۔ گلوبل فائل سسٹم (GFS) تمام خطوں میں ذہین ڈیٹا بنانے کی سہولت فراہم کرتا ہے، ڈیٹا کو جمع کرنے کے عمل کو ہموار کرتا ہے۔ نیئر سٹوریج کمپیوٹنگ ڈیٹا کی پری پروسیسنگ، ڈیٹا کی نقل و حرکت کو کم کرنے، اور پری پروسیسنگ کی کارکردگی کو 30 فیصد تک بہتر بناتی ہے۔
FusionCube A3000 ٹریننگ/Inference Super-converged Appliance، جو صنعت کی سطح کے بڑے ماڈل ٹریننگ/انفرنس منظرناموں کے لیے ڈیزائن کیا گیا ہے، اربوں پیرامیٹرز والے ماڈلز پر مشتمل ایپلی کیشنز کو پورا کرتا ہے۔ یہ OceanStor A300 ہائی پرفارمنس سٹوریج نوڈس، ٹریننگ/انفرنس نوڈس، سوئچنگ آلات، AI پلیٹ فارم سافٹ ویئر، اور مینجمنٹ اور آپریشن سافٹ ویئر کو مربوط کرتا ہے، جو بڑے ماڈل پارٹنرز کو ون سٹاپ ڈیلیوری کے لیے پلگ اینڈ پلے تعیناتی کا تجربہ فراہم کرتا ہے۔ استعمال کے لیے تیار ہے، اسے 2 گھنٹے کے اندر تعینات کیا جا سکتا ہے۔ ٹریننگ/انفرنس اور سٹوریج نوڈس دونوں کو آزادانہ اور افقی طور پر پھیلایا جا سکتا ہے تاکہ مختلف ماڈل پیمانے کی ضروریات کو پورا کیا جا سکے۔ دریں اثنا، FusionCube A3000 اعلی کارکردگی والے کنٹینرز کا استعمال کرتا ہے تاکہ GPUs کا اشتراک کرنے کے لیے متعدد ماڈل ٹریننگ اور انفرنس ٹاسک کو فعال کیا جا سکے، جس سے وسائل کے استعمال کو 40% سے بڑھا کر 70% تک لے جایا جا سکے۔ FusionCube A3000 دو لچکدار کاروباری ماڈلز کو سپورٹ کرتا ہے: Huawei Ascend One-Stop Solution اور تھرڈ پارٹی پارٹنر ون سٹاپ حل جس میں اوپن کمپیوٹنگ، نیٹ ورکنگ، اور AI پلیٹ فارم سافٹ ویئر ہے۔
Huawei کے ڈیٹا سٹوریج پروڈکٹ لائن کے صدر، Zhou Yuefeng نے کہا، "بڑے پیمانے پر ماڈلز کے دور میں، ڈیٹا AI ذہانت کی بلندی کا تعین کرتا ہے۔ ڈیٹا کے کیریئر کے طور پر، ڈیٹا اسٹوریج AI بڑے پیمانے پر ماڈلز کے لیے بنیادی بنیادی ڈھانچہ بن جاتا ہے۔ Huawei ڈیٹا سٹوریج AI بڑے ماڈلز کے دور کے لیے متنوع حل اور پروڈکٹس فراہم کرتے ہوئے اختراعات جاری رکھے گا، اور شراکت داروں کے ساتھ مل کر صنعتوں کی وسیع رینج میں AI کو بااختیار بنانے کے لیے کام کرے گا۔"
پوسٹ ٹائم: اگست 01-2023
