Κατανόηση των παραμέτρων του μοντέλου μεγάλων γλωσσών και των απαιτήσεων μνήμης: Μια βαθιά κατάδυση

Υπολογισμός του αριθμού των παραμέτρων

Προεκπαιδευμένα μοντέλα για αποτελεσματική εκπαίδευση μετασχηματιστών

Υπολογισμός παραμέτρων σε LLM που βασίζονται σε μετασχηματιστές

Ας αναλύσουμε τον υπολογισμό παραμέτρων για κάθε στοιχείο ενός LLM που βασίζεται σε μετασχηματιστή. Θα χρησιμοποιήσουμε τη σημειογραφία από το αρχικό χαρτί, όπου d_model αντιπροσωπεύει τη διάσταση των κρυφών καταστάσεων του μοντέλου.

1. Επίπεδο ενσωμάτωσης:
   • Παράμετροι = vocab_size * d_model
2. Προσοχή πολλαπλών κεφαλών:
   • Για h κεφάλια, με d_k = d_v = d_model / h:
   • Παράμετροι = 4 * d_model^2 (για Q, K, V και προβολές εξόδου)
3. Δίκτυο τροφοδοσίας:
   • Παράμετροι = 2 * d_model * d_ff + d_model + d_ff
   • Πού d_ff είναι συνήθως 4 * d_model
4. Κανονικοποίηση στρώματος:
   • Παράμετροι = 2 * d_model (για κλίμακα και προκατάληψη)

Συνολικές παράμετροι για ένα στρώμα μετασχηματιστή:

• Parameters_layer = Parameters_attention + Parameters_ffn + 2 * Parameters_layernorm

Για ένα μοντέλο με N στρώματα:

• Σύνολο παραμέτρων = N * Parameters_layer + Parameters_embedding + Parameters_output

Παράδειγμα Υπολογισμός

Ας εξετάσουμε ένα μοντέλο με τις ακόλουθες προδιαγραφές:

• d_model = 768
• h (αριθμός κεφαλιών προσοχής) = 12
• N (αριθμός στρώσεων) = 12
• vocab_size = 50,000

1. Επίπεδο ενσωμάτωσης:
   • 50,000 * 768 = 38,400,000
2. Προσοχή πολλαπλών κεφαλών:
   • 4 * 768 ^ 2 = 2,359,296
3. Δίκτυο τροφοδοσίας:
   • 2 * 768 * (4 * 768) + 768 + (4 * 768) = 4,719,616
4. Κανονικοποίηση στρώματος:
   • 2 * 768 = 1,536

Συνολικές παράμετροι ανά στρώμα:

• 2,359,296 + 4,719,616 + (2 * 1,536) = 7,081,984

Συνολικές παράμετροι για 12 επίπεδα:

• 12 * 7,081,984 = 84,983,808

Συνολικές παράμετροι μοντέλου:

• + = 84,983,808 38,400,000 123,383,808

Αυτό το μοντέλο θα έχει περίπου 123 εκατομμύρια παραμέτρους.

Τύποι χρήσης μνήμης

Όταν εργαζόμαστε με LLM, πρέπει να λάβουμε υπόψη δύο βασικούς τύπους χρήσης μνήμης:

1. Μνήμη μοντέλου: Η μνήμη που απαιτείται για την αποθήκευση των παραμέτρων του μοντέλου.
2. Εργασία μνήμης: Η μνήμη που απαιτείται κατά τη διάρκεια της εξαγωγής συμπερασμάτων ή της εκπαίδευσης για την αποθήκευση ενδιάμεσων ενεργοποιήσεων, διαβαθμίσεων και καταστάσεων βελτιστοποίησης.

Υπολογισμός μνήμης μοντέλου

Η μνήμη του μοντέλου σχετίζεται άμεσα με τον αριθμό των παραμέτρων. Κάθε παράμετρος συνήθως αποθηκεύεται ως αριθμός κινητής υποδιαστολής 32 bit, αν και ορισμένα μοντέλα χρησιμοποιούν εκπαίδευση μεικτής ακρίβειας με 16 bit floats.

Μνήμη μοντέλου (bytes) = Αριθμός παραμέτρων * Byte ανά παράμετρο

Για το παράδειγμά μας μοντέλο με 123 εκατομμύρια παραμέτρους:

• Μνήμη μοντέλου (32-bit) = 123,383,808 * 4 byte = 493,535,232 byte ≈ 494 MB
• Μνήμη μοντέλου (16-bit) = 123,383,808 * 2 byte = 246,767,616 byte ≈ 247 MB

Εκτίμηση της μνήμης εργασίας

Οι απαιτήσεις μνήμης εργασίας μπορεί να διαφέρουν σημαντικά ανάλογα με τη συγκεκριμένη εργασία, το μέγεθος παρτίδας και το μήκος της ακολουθίας. Μια πρόχειρη εκτίμηση για τη μνήμη εργασίας κατά την εξαγωγή συμπερασμάτων είναι:

Μνήμη εργασίας ≈ 2 * Μνήμη μοντέλου

Αυτό αντιπροσωπεύει την αποθήκευση τόσο των παραμέτρων του μοντέλου όσο και των ενδιάμεσων ενεργοποιήσεων. Κατά τη διάρκεια της προπόνησης, οι απαιτήσεις μνήμης μπορεί να είναι ακόμη υψηλότερες λόγω της ανάγκης αποθήκευσης διαβαθμίσεων και καταστάσεων βελτιστοποίησης:

Training Memory ≈ 4 * Model Memory

Για το παράδειγμά μας μοντέλο:

• Μνήμη εργασίας συμπερασμάτων ≈ 2 * 494 MB = 988 MB ≈ 1 GB
• Μνήμη προπόνησης ≈ 4 * 494 MB = 1,976 MB ≈ 2 GB

Χρήση μνήμης σταθερής κατάστασης και μέγιστη χρήση μνήμης

Κατά την εκπαίδευση μοντέλων μεγάλων γλωσσών που βασίζονται στην αρχιτεκτονική του Transformer, η κατανόηση της χρήσης μνήμης είναι ζωτικής σημασίας για την αποτελεσματική κατανομή πόρων. Ας αναλύσουμε τις απαιτήσεις μνήμης σε δύο κύριες κατηγορίες: χρήση μνήμης σε σταθερή κατάσταση και μέγιστη χρήση μνήμης.

Χρήση μνήμης σταθερής κατάστασης

Η χρήση μνήμης σε σταθερή κατάσταση περιλαμβάνει τα ακόλουθα στοιχεία:

1. Βάρη μοντέλου: FP32 αντίγραφα των παραμέτρων του μοντέλου, που απαιτούν 4N byte, όπου N είναι ο αριθμός των παραμέτρων.
2. Καταστάσεις βελτιστοποίησης: Για το Adam optimizer, αυτό απαιτεί 8N byte (2 καταστάσεις ανά παράμετρο).
3. Διαβαθμίσεις: Αντίγραφα FP32 των ντεγκραντέ, που απαιτούν 4N byte.
4. Εισαγωγή δεδομένων: Υποθέτοντας εισόδους int64, αυτό απαιτεί 8 byte BD, όπου B είναι το μέγεθος παρτίδας και D είναι η διάσταση εισόδου.

Η συνολική χρήση της μνήμης σε σταθερή κατάσταση μπορεί να προσεγγιστεί από:

• M_steady = 16N + 8BD byte

Μέγιστη χρήση μνήμης

Η κορυφαία χρήση της μνήμης εμφανίζεται κατά το πέρασμα προς τα πίσω, όταν οι ενεργοποιήσεις αποθηκεύονται για υπολογισμό κλίσης. Οι κύριοι παράγοντες που συμβάλλουν στην κορύφωση της μνήμης είναι:

1. Κανονικοποίηση στρώματος: Απαιτεί 4E byte ανά κανόνα επιπέδου, όπου E = BSH (B: μέγεθος παρτίδας, S: μήκος ακολουθίας, H: κρυφό μέγεθος).
2. Μπλοκ Προσοχής:
   • Υπολογισμός QKV: 2E byte
   • Πίνακας προσοχής: 4 BSS byte (S: μήκος ακολουθίας)
   • Έξοδος προσοχής: 2E byte
3. Μπλοκ τροφοδοσίας:
   • Πρώτο γραμμικό στρώμα: 2E byte
   • Ενεργοποίηση GELU: 8E byte
   • Δεύτερο γραμμικό στρώμα: 2E byte
4. Απώλεια διασταυρούμενης εντροπίας:
   • Καταγραφές: 6 BSV byte (V: μέγεθος λεξιλογίου)

Η συνολική μνήμη ενεργοποίησης μπορεί να εκτιμηθεί ως εξής:

• M_act = L * (14E + 4BSS) + 6BSV byte

Όπου L είναι ο αριθμός των στρωμάτων του μετασχηματιστή.

Συνολική μέγιστη χρήση μνήμης

Η μέγιστη χρήση μνήμης κατά τη διάρκεια της προπόνησης μπορεί να προσεγγιστεί συνδυάζοντας τη μνήμη σταθερής κατάστασης και τη μνήμη ενεργοποίησης:

• M_peak = M_steady + M_act + 4 BSV byte

Ο πρόσθετος όρος 4BSV αντιπροσωπεύει μια επιπλέον κατανομή στην αρχή του πάσου προς τα πίσω.

Κατανοώντας αυτά τα στοιχεία, μπορούμε να βελτιστοποιήσουμε τη χρήση της μνήμης κατά τη διάρκεια της εκπαίδευσης και των συμπερασμάτων, διασφαλίζοντας αποτελεσματική κατανομή πόρων και βελτιωμένη απόδοση μεγάλων γλωσσικών μοντέλων.