დიდი ენის მოდელის პარამეტრების და მეხსიერების მოთხოვნების გაგება: ღრმა ჩაყვინთვა

პარამეტრების რაოდენობის გამოთვლა

წინასწარ მომზადებული მოდელები ეფექტური ტრანსფორმატორის მომზადებისთვის

პარამეტრების გაანგარიშება ტრანსფორმატორზე დაფუძნებულ LLM-ებში

მოდით დავშალოთ პარამეტრის გაანგარიშება ტრანსფორმატორზე დაფუძნებული LLM-ის თითოეული კომპონენტისთვის. ჩვენ გამოვიყენებთ აღნიშვნას ორიგინალური ქაღალდისგან, სადაც d_model წარმოადგენს მოდელის ფარული მდგომარეობების განზომილებას.

1. ჩაშენების ფენა:
   • პარამეტრები = vocab_size * d_model
2. მრავალმხრივი ყურადღება:
   • იყიდება h თავები, თან d_k = d_v = d_model / h:
   • პარამეტრები = 4 * d_model^2 (Q, K, V და გამომავალი პროგნოზებისთვის)
3. მიწოდების ქსელი:
   • პარამეტრები = 2 * d_model * d_ff + d_model + d_ff
   • სად d_ff ჩვეულებრივ არის 4 * d_model
4. ფენის ნორმალიზაცია:
   • პარამეტრები = 2 * d_model (მასშტაბისთვის და მიკერძოებისთვის)

მთლიანი პარამეტრები ერთი ტრანსფორმატორის ფენისთვის:

• Parameters_layer = Parameters_attention + Parameters_ffn + 2 * Parameters_layernorm

მოდელისთვის N ფენები:

• ჯამური პარამეტრები = N * Parameters_layer + Parameters_embedding + Parameters_output

მაგალითი გაანგარიშება

მოდით განვიხილოთ მოდელი შემდეგი მახასიათებლებით:

• d_model = 768
• h (ყურადღების თავების რაოდენობა) = 12
• N (ფენების რაოდენობა) = 12
• vocab_size = 50,000

1. ჩაშენების ფენა:
   • 50,000 * 768 = 38,400,000
2. მრავალმხრივი ყურადღება:
   • 4 * 768 ^ 2 = 2,359,296
3. მიწოდების ქსელი:
   • 2 * 768 * (4 * 768) + 768 + (4 * 768) = 4,719,616
4. ფენის ნორმალიზაცია:
   • 2 * 768 = 1,536

ჯამური პარამეტრები ფენაზე:

• 2,359,296 + 4,719,616 + (2 * 1,536) = 7,081,984

მთლიანი პარამეტრები 12 ფენისთვის:

• 12 * 7,081,984 = 84,983,808

მოდელის მთლიანი პარამეტრები:

• 84,983,808 + 38,400,000 = 123,383,808

ამ მოდელს დაახლოებით 123 მილიონი პარამეტრი ექნება.

მეხსიერების გამოყენების სახეები

LLM-ებთან მუშაობისას უნდა გავითვალისწინოთ მეხსიერების გამოყენების ორი ძირითადი ტიპი:

1. მოდელის მეხსიერება: მოდელის პარამეტრების შესანახად საჭირო მეხსიერება.
2. სამუშაო მეხსიერება: მეხსიერება, რომელიც საჭიროა დასკვნის ან ვარჯიშის დროს შუალედური აქტივაციების, გრადიენტებისა და ოპტიმიზატორის მდგომარეობის შესანახად.

მოდელის მეხსიერების გაანგარიშება

მოდელის მეხსიერება პირდაპირ კავშირშია პარამეტრების რაოდენობასთან. თითოეული პარამეტრი ჩვეულებრივ ინახება, როგორც 32-ბიტიანი მცურავი წერტილის ნომერი, თუმცა ზოგიერთი მოდელი იყენებს შერეული სიზუსტის ვარჯიშს 16-ბიტიანი ათწილადებით.

მოდელის მეხსიერება (ბაიტი) = პარამეტრების რაოდენობა * ბაიტი თითო პარამეტრზე

ჩვენი მაგალითის მოდელისთვის 123 მილიონი პარამეტრით:

• მოდელის მეხსიერება (32-ბიტი) = 123,383,808 * 4 ბაიტი = 493,535,232 ბაიტი ≈ 494 მბ
• მოდელის მეხსიერება (16-ბიტი) = 123,383,808 * 2 ბაიტი = 246,767,616 ბაიტი ≈ 247 მბ

სამუშაო მეხსიერების შეფასება

სამუშაო მეხსიერების მოთხოვნები შეიძლება მნიშვნელოვნად განსხვავდებოდეს კონკრეტული ამოცანის, სერიის ზომისა და თანმიმდევრობის სიგრძის მიხედვით. სამუშაო მეხსიერების უხეში შეფასება დასკვნის დროს არის:

სამუშაო მეხსიერება ≈ 2 * მოდელის მეხსიერება

ეს ითვალისწინებს როგორც მოდელის პარამეტრების, ასევე შუალედური აქტივაციის შენახვას. ვარჯიშის დროს მეხსიერების მოთხოვნები შეიძლება კიდევ უფრო მაღალი იყოს გრადიენტების შენახვისა და ოპტიმიზატორის მდგომარეობების გამო:

სავარჯიშო მეხსიერება ≈ 4 * მოდელის მეხსიერება

ჩვენი მაგალითის მოდელისთვის:

• დასკვნის სამუშაო მეხსიერება ≈ 2 * 494 MB = 988 MB ≈ 1 GB
• სავარჯიშო მეხსიერება ≈ 4 * 494 MB = 1,976 MB ≈ 2 GB

სტაბილური მდგომარეობის მეხსიერების გამოყენება და მეხსიერების მაქსიმალური გამოყენება

ტრანსფორმატორის არქიტექტურაზე დაფუძნებული დიდი ენების მოდელების სწავლისას, მეხსიერების გამოყენების გაგება გადამწყვეტია რესურსების ეფექტური განაწილებისთვის. მოდით დავყოთ მეხსიერების მოთხოვნები ორ ძირითად კატეგორიად: სტაბილური მდგომარეობის მეხსიერების გამოყენება და მეხსიერების მაქსიმალური გამოყენება.

სტაბილური მდგომარეობის მეხსიერების გამოყენება

სტაბილური მდგომარეობის მეხსიერების გამოყენება მოიცავს შემდეგ კომპონენტებს:

1. მოდელის წონა: FP32 მოდელის პარამეტრების ასლები, საჭიროებს 4N ბაიტს, სადაც N არის პარამეტრების რაოდენობა.
2. ოპტიმიზატორი ქვეყნები: Adam ოპტიმიზატორისთვის ეს მოითხოვს 8N ბაიტს (2 მდგომარეობა თითო პარამეტრზე).
3. გრადიენტი: FP32 გრადიენტების ასლები, რომლებიც საჭიროებენ 4N ბაიტს.
4. Შესაყვანი მონაცემები: ვივარაუდოთ, რომ int64 შეყვანები, ამას სჭირდება 8BD ბაიტი, სადაც B არის ჯგუფის ზომა და D არის შეყვანის განზომილება.

მთლიანი სტაბილური მდგომარეობის მეხსიერების გამოყენება შეიძლება მიახლოებითი იყოს:

• M_steady = 16N + 8BD ბაიტი

პიკის მეხსიერების გამოყენება

მეხსიერების მაქსიმალური გამოყენება ხდება უკან გადასვლის დროს, როდესაც აქტივაციები ინახება გრადიენტური გამოთვლებისთვის. პიკის მეხსიერების ძირითადი წვლილი შეაქვს:

1. ფენის ნორმალიზაცია: მოითხოვს 4E ბაიტს ფენის ნორმაზე, სადაც E = BSH (B: ჯგუფის ზომა, S: მიმდევრობის სიგრძე, H: ფარული ზომა).
2. ყურადღების ბლოკი:
   • QKV გამოთვლა: 2E ბაიტი
   • ყურადღების მატრიცა: 4BSS ბაიტი (S: თანმიმდევრობის სიგრძე)
   • ყურადღება გამომავალი: 2E ბაიტი
3. მიწოდების ბლოკი:
   • პირველი ხაზოვანი ფენა: 2E ბაიტი
   • GELU აქტივაცია: 8E ბაიტი
   • მეორე ხაზოვანი ფენა: 2E ბაიტი
4. ჯვარედინი ენტროპიის დაკარგვა:
   • ლოჯიტები: 6BSV ბაიტი (V: ლექსიკის ზომა)

მთლიანი აქტივაციის მეხსიერება შეიძლება შეფასდეს შემდეგნაირად:

• M_act = L * (14E + 4BSS) + 6BSV ბაიტი

სადაც L არის ტრანსფორმატორის ფენების რაოდენობა.

მეხსიერების მაქსიმალური მაქსიმალური მოხმარება

ვარჯიშის დროს მეხსიერების გამოყენების პიკი შეიძლება მიახლოებული იყოს სტაბილური მდგომარეობისა და აქტივაციის მეხსიერების კომბინაციით:

• M_peak = M_steady + M_act + 4BSV ბაიტი

დამატებითი 4BSV ვადა ითვალისწინებს დამატებით გამოყოფას უკან გადასვლის დასაწყისში.

ამ კომპონენტების გაგებით, ჩვენ შეგვიძლია გავაუმჯობესოთ მეხსიერების გამოყენება ტრენინგისა და დასკვნის დროს, რაც უზრუნველყოფს რესურსების ეფექტურ განაწილებას და დიდი ენობრივი მოდელების გაუმჯობესებულ შესრულებას.