Tìm hiểu các tham số và yêu cầu về bộ nhớ của mô hình ngôn ngữ lớn: Tìm hiểu sâu

Tính số tham số

Các mô hình được đào tạo trước để đào tạo máy biến áp hiệu quả

Tính toán các thông số trong LLM dựa trên máy biến áp

Hãy chia nhỏ cách tính tham số cho từng thành phần của LLM dựa trên Transformer. Chúng tôi sẽ sử dụng ký hiệu từ bài báo gốc, trong đó d_model đại diện cho kích thước của các trạng thái ẩn của mô hình.

1. lớp nhúng:
   • Thông số = vocab_size * d_model
2. Chú ý nhiều đầu:
   • Trong h đầu, với d_k = d_v = d_model / h:
   • Thông số = 4 * d_model^2 (đối với các phép chiếu Q, K, V và đầu ra)
3. Mạng chuyển tiếp nguồn cấp dữ liệu:
   • Thông số = 2 * d_model * d_ff + d_model + d_ff
   • Ở đâu d_ff thường là 4 * d_model
4. Chuẩn hóa lớp:
   • Thông số = 2 * d_model (đối với quy mô và độ lệch)

Tổng tham số cho một lớp Transformer:

• Parameters_layer = Parameters_attention + Parameters_ffn + 2 * Parameters_layernorm

Đối với một mô hình với N các lớp:

• Tổng tham số = N * Parameters_layer + Parameters_embedding + Parameters_output

Tính toán ví dụ

Hãy xem xét một mô hình với các thông số kỹ thuật sau:

• d_model = 768
• h (số lượng đầu chú ý) = 12
• N (số lớp) = 12
• vocab_size = 50,000

1. lớp nhúng:
   • 50,000 * 768 = 38,400,000
2. Chú ý nhiều đầu:
   • 4 * 768^2 = 2,359,296
3. Mạng chuyển tiếp nguồn cấp dữ liệu:
   • 2 * 768 * (4 * 768) + 768 + (4 * 768) = 4,719,616
4. Chuẩn hóa lớp:
   • 2 * 768 = 1,536

Tổng thông số trên mỗi lớp:

• 2,359,296 + 4,719,616 + (2 * 1,536) = 7,081,984

Tổng thông số cho 12 lớp:

• 12 * 7,081,984 = 84,983,808

Tổng tham số mô hình:

• + = 84,983,808 38,400,000 123,383,808

Mô hình này sẽ có khoảng 123 triệu tham số.

Các loại sử dụng bộ nhớ

Khi làm việc với LLM, chúng ta cần xem xét hai loại sử dụng bộ nhớ chính:

1. Bộ nhớ mô hình: Bộ nhớ cần thiết để lưu trữ các tham số của mô hình.
2. Bộ nhớ làm việc: Bộ nhớ cần thiết trong quá trình suy luận hoặc huấn luyện để lưu trữ các kích hoạt trung gian, độ dốc và trạng thái tối ưu hóa.

Tính toán bộ nhớ mô hình

Bộ nhớ mô hình liên quan trực tiếp đến số lượng tham số. Mỗi tham số thường được lưu trữ dưới dạng số dấu phẩy động 32 bit, mặc dù một số mô hình sử dụng phương pháp huấn luyện có độ chính xác hỗn hợp với số float 16 bit.

Bộ nhớ mô hình (byte) = Số lượng tham số * Byte trên mỗi tham số

Đối với mô hình ví dụ của chúng tôi với 123 triệu tham số:

• Bộ nhớ mẫu (32-bit) = 123,383,808 * 4 byte = 493,535,232 byte ≈ 494 MB
• Bộ nhớ mẫu (16-bit) = 123,383,808 * 2 byte = 246,767,616 byte ≈ 247 MB

Ước tính bộ nhớ làm việc

Yêu cầu về bộ nhớ làm việc có thể thay đổi đáng kể dựa trên tác vụ cụ thể, kích thước lô và độ dài chuỗi. Ước tính sơ bộ về bộ nhớ làm việc trong quá trình suy luận là:

Bộ nhớ làm việc ≈ 2 * Bộ nhớ mẫu

Tài khoản này lưu trữ cả tham số mô hình và kích hoạt trung gian. Trong quá trình đào tạo, yêu cầu về bộ nhớ có thể còn cao hơn do cần lưu trữ gradient và trạng thái tối ưu hóa:

Bộ nhớ huấn luyện ≈ 4 * Bộ nhớ mẫu

Đối với mô hình ví dụ của chúng tôi:

• Bộ nhớ làm việc suy luận ≈ 2 * 494 MB = 988 MB ≈ 1 GB
• Bộ nhớ huấn luyện ≈ 4 * 494 MB = 1,976 MB ≈ 2 GB

Mức sử dụng bộ nhớ ở trạng thái ổn định và mức sử dụng bộ nhớ cao nhất

Khi đào tạo các mô hình ngôn ngữ lớn dựa trên kiến ​​trúc Transformer, việc hiểu cách sử dụng bộ nhớ là rất quan trọng để phân bổ tài nguyên hiệu quả. Hãy chia yêu cầu về bộ nhớ thành hai loại chính: mức sử dụng bộ nhớ ở trạng thái ổn định và mức sử dụng bộ nhớ cao nhất.

Sử dụng bộ nhớ ở trạng thái ổn định

Việc sử dụng bộ nhớ ở trạng thái ổn định bao gồm các thành phần sau:

1. trọng lượng mô hình: Bản sao FP32 của các tham số mô hình, yêu cầu 4N byte, trong đó N là số lượng tham số.
2. Trạng thái tối ưu hóa: Đối với trình tối ưu hóa Adam, việc này yêu cầu 8N byte (2 trạng thái cho mỗi tham số).
3. Độ dốc: Bản sao FP32 của gradient, yêu cầu 4N byte.
4. Dữ liệu đầu vào: Giả sử đầu vào int64, điều này yêu cầu 8BD byte, trong đó B là kích thước lô và D là kích thước đầu vào.

Tổng mức sử dụng bộ nhớ ở trạng thái ổn định có thể được tính gần đúng bằng:

• M_steady = 16N + 8BD byte

Sử dụng bộ nhớ tối đa

Mức sử dụng bộ nhớ cao nhất xảy ra trong quá trình truyền ngược khi các kích hoạt được lưu trữ để tính toán độ dốc. Những yếu tố chính góp phần tạo nên trí nhớ đỉnh cao là:

1. Chuẩn hóa lớp: Yêu cầu định mức 4E byte cho mỗi lớp, trong đó E = BSH (B: kích thước lô, S: độ dài chuỗi, H: kích thước ẩn).
2. Khối chú ý:
   • Tính toán QKV: 2E byte
   • Ma trận chú ý: 4BSS byte (S: độ dài chuỗi)
   • Đầu ra chú ý: 2E byte
3. Khối chuyển tiếp nguồn cấp dữ liệu:
   • Lớp tuyến tính đầu tiên: 2E byte
   • Kích hoạt GELU: 8E byte
   • Lớp tuyến tính thứ hai: 2E byte
4. Mất Entropy chéo:
   • Nhật ký: 6BSV byte (V: kích thước từ vựng)

Tổng bộ nhớ kích hoạt có thể được ước tính là:

• M_act = L * (14E + 4BSS) + 6BSV byte

Trong đó L là số lớp máy biến áp.

Tổng mức sử dụng bộ nhớ tối đa

Mức sử dụng bộ nhớ cao nhất trong quá trình đào tạo có thể được tính gần đúng bằng cách kết hợp bộ nhớ trạng thái ổn định và bộ nhớ kích hoạt:

• M_peak = M_steady + M_act + 4BSV byte

Thuật ngữ 4BSV bổ sung chiếm một phân bổ bổ sung khi bắt đầu chuyển ngược.

Bằng cách hiểu các thành phần này, chúng ta có thể tối ưu hóa việc sử dụng bộ nhớ trong quá trình đào tạo và suy luận, đảm bảo phân bổ tài nguyên hiệu quả và cải thiện hiệu suất của các mô hình ngôn ngữ lớn.