बड़े भाषा मॉडल पैरामीटर और मेमोरी आवश्यकताओं को समझना: एक गहन विश्लेषण

मापदंडों की संख्या की गणना

कुशल ट्रांसफार्मर प्रशिक्षण के लिए पूर्व प्रशिक्षित मॉडल

ट्रांसफॉर्मर-आधारित एलएलएम में मापदंडों की गणना

आइए ट्रांसफॉर्मर-आधारित LLM के प्रत्येक घटक के लिए पैरामीटर गणना को विभाजित करें। हम मूल पेपर से संकेतन का उपयोग करेंगे, जहाँ d_model मॉडल की छिपी हुई अवस्थाओं के आयाम का प्रतिनिधित्व करता है।

1. एम्बेडिंग परत:
   • पैरामीटर = vocab_size * d_model
2. बहु-प्रमुख ध्यान:
   • के लिए h सिर, के साथ d_k = d_v = d_model / h:
   • पैरामीटर = 4 * d_model^2 (Q, K, V, और आउटपुट प्रक्षेपण के लिए)
3. फीड-फॉरवर्ड नेटवर्क:
   • पैरामीटर = 2 * d_model * d_ff + d_model + d_ff
   • कहा पे d_ff आम तौर पर 4 * है d_model
4. परत सामान्यीकरण:
   • पैरामीटर = 2 * d_model (पैमाने और पूर्वाग्रह के लिए)

एक ट्रांसफॉर्मर परत के लिए कुल पैरामीटर:

• Parameters_layer = Parameters_attention + Parameters_ffn +2 * Parameters_layernorm

एक मॉडल के लिए N परतें:

• कुल पैरामीटर = N * Parameters_layer + Parameters_embedding + Parameters_output

उदाहरण गणना

आइये निम्नलिखित विनिर्देशों वाले एक मॉडल पर विचार करें:

• d_model = 768
• h (ध्यान देने वाले शीर्षों की संख्या) = 12
• N (परतों की संख्या) = 12
• vocab_size = 50,000

1. एम्बेडिंग परत:
   • 50,000 * 768 = 38,400,000
2. बहु-प्रमुख ध्यान:
   • 4*768^2 = 2,359,296
3. फीड-फॉरवर्ड नेटवर्क:
   • 2 * 768 * (4 * 768) + 768 + (4 * 768) = 4,719,616
4. परत सामान्यीकरण:
   • 2 * 768 = 1,536

प्रति परत कुल पैरामीटर:

• 2,359,296 + 4,719,616 + (2 * 1,536) = 7,081,984

12 परतों के लिए कुल पैरामीटर:

• 12 * 7,081,984 = 84,983,808

कुल मॉडल पैरामीटर:

• 84,983,808 + 38,400,000 = 123,383,808

इस मॉडल में लगभग 123 मिलियन पैरामीटर होंगे।

मेमोरी उपयोग के प्रकार

एलएलएम के साथ काम करते समय, हमें मेमोरी उपयोग के दो मुख्य प्रकारों पर विचार करना होगा:

1. मॉडल मेमोरीमॉडल पैरामीटर्स को संग्रहीत करने के लिए आवश्यक मेमोरी.
2. मेमोरी कार्य करना: मध्यवर्ती सक्रियण, ग्रेडिएंट और अनुकूलक अवस्थाओं को संग्रहीत करने के लिए अनुमान या प्रशिक्षण के दौरान आवश्यक मेमोरी।

मॉडल मेमोरी की गणना

मॉडल मेमोरी सीधे पैरामीटर की संख्या से संबंधित होती है। प्रत्येक पैरामीटर को आम तौर पर 32-बिट फ़्लोटिंग-पॉइंट नंबर के रूप में संग्रहीत किया जाता है, हालांकि कुछ मॉडल 16-बिट फ़्लोट के साथ मिश्रित-परिशुद्धता प्रशिक्षण का उपयोग करते हैं।

मॉडल मेमोरी (बाइट्स) = पैरामीटरों की संख्या * प्रति पैरामीटर बाइट्स

123 मिलियन पैरामीटर वाले हमारे उदाहरण मॉडल के लिए:

• मॉडल मेमोरी (32-बिट) = 123,383,808 * 4 बाइट्स = 493,535,232 बाइट्स ≈ 494 एमबी
• मॉडल मेमोरी (16-बिट) = 123,383,808 * 2 बाइट्स = 246,767,616 बाइट्स ≈ 247 एमबी

कार्यशील स्मृति का अनुमान लगाना

विशिष्ट कार्य, बैच आकार और अनुक्रम लंबाई के आधार पर कार्यशील मेमोरी की आवश्यकताएँ काफी भिन्न हो सकती हैं। अनुमान के दौरान कार्यशील मेमोरी के लिए एक मोटा अनुमान है:

कार्यशील मेमोरी ≈ 2 * मॉडल मेमोरी

यह मॉडल पैरामीटर और मध्यवर्ती सक्रियण दोनों को संग्रहीत करने के लिए जिम्मेदार है। प्रशिक्षण के दौरान, ग्रेडिएंट और ऑप्टिमाइज़र स्थितियों को संग्रहीत करने की आवश्यकता के कारण मेमोरी की आवश्यकता और भी अधिक हो सकती है:

प्रशिक्षण मेमोरी ≈ 4 * मॉडल मेमोरी

हमारे उदाहरण मॉडल के लिए:

• अनुमान कार्यशील मेमोरी ≈ 2 * 494 एमबी = 988 एमबी ≈ 1 जीबी
• प्रशिक्षण मेमोरी ≈ 4 * 494 एमबी = 1,976 एमबी ≈ 2 जीबी

स्थिर-अवस्था मेमोरी उपयोग और अधिकतम मेमोरी उपयोग

ट्रांसफॉर्मर आर्किटेक्चर पर आधारित बड़े भाषा मॉडल को प्रशिक्षित करते समय, कुशल संसाधन आवंटन के लिए मेमोरी उपयोग को समझना महत्वपूर्ण है। आइए मेमोरी आवश्यकताओं को दो मुख्य श्रेणियों में विभाजित करें: स्थिर-अवस्था मेमोरी उपयोग और अधिकतम मेमोरी उपयोग।

स्थिर-अवस्था मेमोरी उपयोग

स्थिर-अवस्था मेमोरी उपयोग में निम्नलिखित घटक शामिल हैं:

1. मॉडल वजनमॉडल पैरामीटर्स की FP32 प्रतियां, जिसके लिए 4N बाइट्स की आवश्यकता होती है, जहां N पैरामीटर्स की संख्या है।
2. अनुकूलक स्थितियाँएडम ऑप्टिमाइज़र के लिए, इसके लिए 8N बाइट्स (प्रति पैरामीटर 2 स्टेट्स) की आवश्यकता होती है।
3. ढ़ाल: ग्रेडिएंट की FP32 प्रतियां, जिसके लिए 4N बाइट्स की आवश्यकता होती है।
4. इनपुट डेटाint64 इनपुट मानते हुए, इसके लिए 8BD बाइट्स की आवश्यकता होती है, जहाँ B बैच आकार है और D इनपुट आयाम है।

कुल स्थिर-अवस्था मेमोरी उपयोग का अनुमान इस प्रकार लगाया जा सकता है:

• M_steady = 16N + 8BD बाइट्स

पीक मेमोरी उपयोग

पीक मेमोरी उपयोग बैकवर्ड पास के दौरान होता है जब ग्रेडिएंट कंप्यूटेशन के लिए एक्टिवेशन को स्टोर किया जाता है। पीक मेमोरी में मुख्य योगदानकर्ता हैं:

1. परत सामान्यीकरण: प्रति परत मानक 4E बाइट्स की आवश्यकता होती है, जहां E = BSH (B: बैच आकार, S: अनुक्रम लंबाई, H: छिपा आकार)।
2. ध्यान ब्लॉक:
   • QKV गणना: 2E बाइट्स
   • ध्यान मैट्रिक्स: 4BSS बाइट्स (S: अनुक्रम लंबाई)
   • ध्यान आउटपुट: 2E बाइट्स
3. फीड-फॉरवर्ड ब्लॉक:
   • प्रथम रेखीय परत: 2E बाइट्स
   • GELU सक्रियण: 8E बाइट्स
   • दूसरी रैखिक परत: 2E बाइट्स
4. क्रॉस-एंट्रॉपी हानि:
   • लॉगिट: 6BSV बाइट्स (V: शब्दावली आकार)

कुल सक्रियण स्मृति का अनुमान इस प्रकार लगाया जा सकता है:

• M_act = L * (14E + 4BSS) + 6BSV बाइट्स

जहाँ L ट्रांसफार्मर परतों की संख्या है।

कुल अधिकतम मेमोरी उपयोग

प्रशिक्षण के दौरान अधिकतम मेमोरी उपयोग को स्थिर-अवस्था मेमोरी और सक्रियण मेमोरी को मिलाकर अनुमानित किया जा सकता है:

• M_peak = M_steady + M_act + 4BSV बाइट्स

अतिरिक्त 4बीएसवी अवधि, बैकवर्ड पास के प्रारंभ में अतिरिक्त आवंटन के लिए जिम्मेदार है।

इन घटकों को समझकर, हम प्रशिक्षण और अनुमान के दौरान मेमोरी उपयोग को अनुकूलित कर सकते हैं, जिससे कुशल संसाधन आवंटन और बड़े भाषा मॉडल के बेहतर प्रदर्शन को सुनिश्चित किया जा सकता है।