Katta til modeli parametrlari va xotira talablarini tushunish: chuqur sho'ng'in

Parametrlar sonini hisoblash

Transformatorni samarali o'rgatish uchun oldindan tayyorlangan modellar

Transformatorga asoslangan LLMlarda parametrlarni hisoblash

Keling, Transformatorga asoslangan LLM ning har bir komponenti uchun parametr hisobini ajratamiz. Biz asl qog'ozdagi yozuvdan foydalanamiz, bu erda d_model modelning yashirin holatlari hajmini ifodalaydi.

1. O'rnatish qatlami:
   • Parametrlar = vocab_size * d_model
2. Ko'p boshli e'tibor:
   • uchun h boshlar, bilan d_k = d_v = d_model / h:
   • Parametrlar = 4 * d_model^2 (Q, K, V va chiqish proyeksiyalari uchun)
3. Oldinga uzatish tarmog'i:
   • Parametrlar = 2 * d_model * d_ff + d_model + d_ff
   • qayerda d_ff odatda 4 * d_model
4. Qatlamni normallashtirish:
   • Parametrlar = 2 * d_model (masshtab va tarafkashlik uchun)

Bitta transformator qatlami uchun umumiy parametrlar:

• Parameters_layer = Parameters_attention + Parameters_ffn + 2 * Parameters_layernorm

bilan model uchun N qatlamlar:

• Umumiy parametrlar = N * Parameters_layer + Parameters_embedding + Parameters_output

Hisoblash misoli

Keling, quyidagi xususiyatlarga ega modelni ko'rib chiqaylik:

• d_model = 768
• h (diqqat boshlari soni) = 12
• N (qatlamlar soni) = 12
• vocab_size = 50,000

1. O'rnatish qatlami:
   • 50,000 * 768 = 38,400,000
2. Ko'p boshli e'tibor:
   • 4 * 768^2 = 2,359,296
3. Oldinga uzatish tarmog'i:
   • 2 * 768 * (4 * 768) + 768 + (4 * 768) = 4,719,616 XNUMX XNUMX
4. Qatlamni normallashtirish:
   • 2 * 768 = 1,536

Har bir qatlam uchun umumiy parametrlar:

• 2,359,296 4,719,616 2 + 1,536 7,081,984 XNUMX + (XNUMX * XNUMX) = XNUMX XNUMX XNUMX

12 qatlam uchun umumiy parametrlar:

• 12 * 7,081,984 = 84,983,808

Umumiy model parametrlari:

• 84,983,808 + 38,400,000 = 123,383,808

Ushbu model taxminan 123 million parametrga ega bo'ladi.

Xotiradan foydalanish turlari

LLMlar bilan ishlashda biz xotiradan foydalanishning ikkita asosiy turini hisobga olishimiz kerak:

1. Model xotira: Model parametrlarini saqlash uchun zarur bo'lgan xotira.
2. Ishchi xotira: Oraliq faollashtirishlar, gradientlar va optimallashtiruvchi holatlarni saqlash uchun xulosa chiqarish yoki oʻqitish vaqtida zarur boʻlgan xotira.

Model xotirasini hisoblash

Model xotirasi to'g'ridan-to'g'ri parametrlar soniga bog'liq. Har bir parametr odatda 32-bitli suzuvchi nuqtali raqam sifatida saqlanadi, ammo ba'zi modellar 16-bitli float bilan aralash aniqlikdagi treningdan foydalanadi.

Model xotirasi (bayt) = Parametrlar soni * Har bir parametr uchun bayt

123 million parametrli namunamiz uchun:

• Model xotirasi (32 bit) = 123,383,808 4 493,535,232 * 494 bayt = XNUMX XNUMX XNUMX bayt ≈ XNUMX MB
• Model xotirasi (16 bit) = 123,383,808 2 246,767,616 * 247 bayt = XNUMX XNUMX XNUMX bayt ≈ XNUMX MB

Ishchi xotirani baholash

Ishchi xotira talablari aniq vazifa, partiya hajmi va ketma-ketlik uzunligiga qarab sezilarli darajada farq qilishi mumkin. Xulosa qilish paytida ishlaydigan xotira uchun taxminiy taxmin:

Ishchi xotira ≈ 2 * Model xotirasi

Bu model parametrlarini ham, oraliq faollashtirishni ham saqlashni hisobga oladi. Trening davomida xotira talablari gradientlar va optimallashtiruvchi holatlarni saqlash zarurati tufayli yanada yuqori bo'lishi mumkin:

Trening xotirasi ≈ 4 * Model xotirasi

Bizning namunaviy modelimiz uchun:

• Ishchi xotira ≈ 2 * 494 MB = 988 MB ≈ 1 GB
• Trening xotirasi ≈ 4 * 494 MB = 1,976 MB ≈ 2 GB

Doimiy xotiradan foydalanish va maksimal xotiradan foydalanish

Transformator arxitekturasiga asoslangan katta til modellarini o'rgatishda, xotiradan foydalanishni tushunish resurslarni samarali taqsimlash uchun juda muhimdir. Xotira talablarini ikkita asosiy toifaga ajratamiz: barqaror xotiradan foydalanish va maksimal xotiradan foydalanish.

Doimiy xotiradan foydalanish

Barqaror xotiradan foydalanish quyidagi komponentlarni o'z ichiga oladi:

1. Model og'irliklari: 32N baytni talab qiluvchi model parametrlarining FP4 nusxalari, bu erda N - parametrlar soni.
2. Optimizator holatlari: Adam optimallashtiruvchisi uchun bu 8N baytni talab qiladi (har bir parametr uchun 2 ta holat).
3. Gradientlar: 32N baytni talab qiluvchi gradientlarning FP4 nusxalari.
4. Ma'lumotlarni kiritish: int64 kirishlarini nazarda tutsak, buning uchun 8BD bayt kerak bo'ladi, bu erda B partiya hajmi va D - kirish o'lchami.

Jami barqaror holatdagi xotiradan foydalanishni quyidagicha taxmin qilish mumkin:

• M_steady = 16N + 8BD bayt

Xotiradan foydalanishning eng yuqori darajasi

Faollashtirishlar gradientni hisoblash uchun saqlanganida, xotiradan foydalanishning eng yuqori darajasi orqaga o'tish paytida sodir bo'ladi. Eng yuqori xotiraga hissa qo'shadigan asosiy omillar:

1. Qatlamni normallashtirish: Har bir qatlam normasi uchun 4E bayt talab qiladi, bu erda E = BSH (B: partiya hajmi, S: ketma-ketlik uzunligi, H: yashirin o'lcham).
2. Diqqat bloki:
   • QKV hisoblash: 2E bayt
   • Diqqat matritsasi: 4BSS bayt (S: ketma-ketlik uzunligi)
   • Diqqat chiqishi: 2E bayt
3. Oldinga uzatish bloki:
   • Birinchi chiziqli qatlam: 2E bayt
   • GELU faollashuvi: 8E bayt
   • Ikkinchi chiziqli qatlam: 2E bayt
4. O'zaro entropiyani yo'qotish:
   • Logitlar: 6BSV bayt (V: lug'at hajmi)

Umumiy faollashtirish xotirasi quyidagicha baholanishi mumkin:

• M_act = L * (14E + 4BSS) + 6BSV bayt

Bu erda L - transformator qatlamlari soni.

Jami maksimal xotiradan foydalanish

Mashg'ulot paytida maksimal xotiradan foydalanish barqaror holat xotirasi va faollashtirilgan xotirani birlashtirish orqali taxmin qilinishi mumkin:

• M_peak = M_steady + M_act + 4BSV bayt

Qo'shimcha 4BSV muddati orqaga o'tishning boshida qo'shimcha ajratishni hisobga oladi.

Ushbu komponentlarni tushunish orqali biz o'qitish va xulosa chiqarish jarayonida xotiradan foydalanishni optimallashtirishimiz mumkin, bu esa resurslarni samarali taqsimlashni va katta til modellarining yaxshilangan ishlashini ta'minlaydi.