การทำความเข้าใจพารามิเตอร์โมเดลภาษาขนาดใหญ่และข้อกำหนดของหน่วยความจำ: เจาะลึก

การคำนวณจำนวนพารามิเตอร์

โมเดลที่ได้รับการฝึกอบรมล่วงหน้าเพื่อการฝึกอบรมหม้อแปลงไฟฟ้าที่มีประสิทธิภาพ

การคำนวณพารามิเตอร์ใน LLM ที่ใช้หม้อแปลงไฟฟ้า

เรามาดูรายละเอียดการคำนวณพารามิเตอร์สำหรับแต่ละองค์ประกอบของ LLM ที่ใช้ Transformer กัน เราจะใช้สัญกรณ์จากกระดาษต้นฉบับโดยที่ d_model แสดงถึงมิติของสถานะที่ซ่อนอยู่ของโมเดล

1. การฝังเลเยอร์:
   • พารามิเตอร์ = vocab_size * d_model
2. ความสนใจหลายหัว:
   • สำหรับ h หัวด้วย d_k = d_v = d_model / h:
   • พารามิเตอร์ = 4 * d_model^2 (สำหรับ Q, K, V และการคาดการณ์เอาท์พุต)
3. เครือข่ายฟีดส่งต่อ:
   • พารามิเตอร์ = 2 * d_model * d_ff + d_model + d_ff
   • ที่ไหน d_ff โดยทั่วไปคือ 4 * d_model
4. การทำให้เป็นมาตรฐานของเลเยอร์:
   • พารามิเตอร์ = 2 * d_model (สำหรับขนาดและอคติ)

พารามิเตอร์ทั้งหมดสำหรับชั้น Transformer หนึ่งชั้น:

• Parameters_layer = Parameters_attention + Parameters_ffn + 2 * Parameters_layernorm

สำหรับรุ่นที่มี N ชั้น:

• พารามิเตอร์ทั้งหมด = N * Parameters_layer + Parameters_embedding + Parameters_output

ตัวอย่างการคำนวณ

พิจารณารุ่นที่มีคุณสมบัติดังต่อไปนี้:

• d_model = 768
• h (จำนวนหัวความสนใจ) = 12
• N (จำนวนชั้น) = 12
• vocab_size = 50,000

1. การฝังเลเยอร์:
   • 50,000 * 768 = 38,400,000
2. ความสนใจหลายหัว:
   • 4 * 768^2 = 2,359,296
3. เครือข่ายฟีดส่งต่อ:
   • 2 * 768 * (4 * 768) + 768 + (4 * 768) = 4,719,616
4. การทำให้เป็นมาตรฐานของเลเยอร์:
   • 2 * 768 = 1,536

พารามิเตอร์ทั้งหมดต่อชั้น:

• 2,359,296 + 4,719,616 + (2 * 1,536) = 7,081,984

พารามิเตอร์ทั้งหมดสำหรับ 12 ชั้น:

• 12 * 7,081,984 = 84,983,808

พารามิเตอร์โมเดลทั้งหมด:

• 84,983,808 + 38,400,000 = 123,383,808

โมเดลนี้จะมีพารามิเตอร์ประมาณ 123 ล้านพารามิเตอร์

ประเภทของการใช้หน่วยความจำ

เมื่อทำงานกับ LLM เราต้องพิจารณาการใช้หน่วยความจำสองประเภทหลัก:

1. รุ่นหน่วยความจำ: หน่วยความจำที่จำเป็นสำหรับการจัดเก็บพารามิเตอร์โมเดล
2. การทำงานของหน่วยความจำ: หน่วยความจำที่จำเป็นในระหว่างการอนุมานหรือการฝึกอบรมเพื่อจัดเก็บการเปิดใช้งานระดับกลาง การไล่ระดับสี และสถานะของเครื่องมือเพิ่มประสิทธิภาพ

การคำนวณหน่วยความจำโมเดล

หน่วยความจำโมเดลเกี่ยวข้องโดยตรงกับจำนวนพารามิเตอร์ โดยทั่วไปแต่ละพารามิเตอร์จะถูกจัดเก็บเป็นตัวเลขทศนิยม 32 บิต แม้ว่าบางรุ่นจะใช้การฝึกแบบผสมความแม่นยำกับทศนิยม 16 บิต

หน่วยความจำรุ่น (ไบต์) = จำนวนพารามิเตอร์ * ไบต์ต่อพารามิเตอร์

สำหรับโมเดลตัวอย่างของเราที่มีพารามิเตอร์ 123 ล้านพารามิเตอร์:

• หน่วยความจำโมเดล (32 บิต) = 123,383,808 * 4 ไบต์ = 493,535,232 ไบต์ กลับไปยัง 494 MB
• หน่วยความจำโมเดล (16 บิต) = 123,383,808 * 2 ไบต์ = 246,767,616 ไบต์ กลับไปยัง 247 MB

การประมาณค่าหน่วยความจำในการทำงาน

ข้อกำหนดหน่วยความจำในการทำงานอาจแตกต่างกันอย่างมากขึ้นอยู่กับงานเฉพาะ ขนาดแบตช์ และความยาวของลำดับ การประมาณคร่าวๆ สำหรับหน่วยความจำในการทำงานระหว่างการอนุมานคือ:

หน่วยความจำในการทำงาน µ 2 * หน่วยความจำรุ่น

บัญชีนี้ใช้สำหรับจัดเก็บทั้งพารามิเตอร์โมเดลและการเปิดใช้งานระดับกลาง ในระหว่างการฝึก ความต้องการหน่วยความจำอาจสูงขึ้นอีก เนื่องจากจำเป็นต้องจัดเก็บการไล่ระดับสีและสถานะเครื่องมือเพิ่มประสิทธิภาพ:

หน่วยความจำการฝึกอบรม µ 4 * หน่วยความจำโมเดล

สำหรับโมเดลตัวอย่างของเรา:

• หน่วยความจำในการทำงานอนุมาน 2 * 494 MB = 988 MB 1 GB
• หน่วยความจำการฝึกอบรม µ 4 * 494 MB = 1,976 MB µ 2 GB

การใช้หน่วยความจำสถานะคงที่และการใช้หน่วยความจำสูงสุด

เมื่อฝึกอบรมโมเดลภาษาขนาดใหญ่ตามสถาปัตยกรรม Transformer การทำความเข้าใจการใช้หน่วยความจำถือเป็นสิ่งสำคัญสำหรับการจัดสรรทรัพยากรอย่างมีประสิทธิภาพ เรามาแบ่งข้อกำหนดหน่วยความจำออกเป็นสองประเภทหลักๆ ได้แก่ การใช้หน่วยความจำในสภาวะคงตัวและการใช้หน่วยความจำสูงสุด

การใช้หน่วยความจำสถานะคงที่

การใช้หน่วยความจำสถานะคงตัวประกอบด้วยส่วนประกอบต่อไปนี้:

1. รุ่นน้ำหนัก: สำเนา FP32 ของพารามิเตอร์โมเดล ซึ่งต้องใช้ไบต์ 4N โดยที่ N คือจำนวนพารามิเตอร์
2. สถานะของเครื่องมือเพิ่มประสิทธิภาพ: สำหรับเครื่องมือเพิ่มประสิทธิภาพ Adam ต้องใช้ไบต์ 8N (2 สถานะต่อพารามิเตอร์)
3. การไล่ระดับสี: สำเนา FP32 ของการไล่ระดับสี ต้องใช้ไบต์ 4N
4. ป้อนข้อมูล: สมมติว่าอินพุต int64 ต้องใช้ไบต์ 8BD โดยที่ B คือขนาดแบตช์ และ D คือมิติอินพุต

การใช้งานหน่วยความจำสถานะคงตัวทั้งหมดสามารถประมาณได้โดย:

• M_steady = 16N + 8BD ไบต์

การใช้งานหน่วยความจำสูงสุด

การใช้หน่วยความจำสูงสุดเกิดขึ้นระหว่างการย้อนกลับเมื่อมีการจัดเก็บการเปิดใช้งานสำหรับการคำนวณแบบไล่ระดับ ปัจจัยหลักที่ทำให้ความจำสูงสุดคือ:

1. การทำให้เป็นมาตรฐานของเลเยอร์: ต้องใช้ 4E ไบต์ต่อบรรทัดฐานของเลเยอร์ โดยที่ E = BSH (B: ขนาดแบตช์, S: ความยาวลำดับ, H: ขนาดที่ซ่อนอยู่)
2. บล็อกความสนใจ:
   • การคำนวณ QKV: 2E ไบต์
   • เมทริกซ์ความสนใจ: 4BSS ไบต์ (S: ความยาวลำดับ)
   • เอาต์พุตแจ้งเตือน: 2E ไบต์
3. บล็อกฟีดไปข้างหน้า:
   • เลเยอร์เชิงเส้นแรก: 2E ไบต์
   • การเปิดใช้งาน GELU: 8E ไบต์
   • เลเยอร์เชิงเส้นที่สอง: 2E ไบต์
4. การสูญเสียข้ามเอนโทรปี:
   • บันทึก: 6BSV ไบต์ (V: ขนาดคำศัพท์)

หน่วยความจำการเปิดใช้งานทั้งหมดสามารถประมาณได้ดังนี้:

• M_act = L * (14E + 4BSS) + 6BSV ไบต์

โดยที่ L คือจำนวนชั้นของหม้อแปลง

การใช้งานหน่วยความจำสูงสุดทั้งหมด

การใช้งานหน่วยความจำสูงสุดระหว่างการฝึกสามารถประมาณได้โดยการรวมหน่วยความจำสภาวะคงตัวและหน่วยความจำการเปิดใช้งาน:

• M_peak = M_steady + M_act + 4BSV ไบต์

ระยะเวลา 4BSV เพิ่มเติมจะพิจารณาการจัดสรรเพิ่มเติมเมื่อเริ่มต้นการส่งย้อนหลัง

ด้วยการทำความเข้าใจส่วนประกอบเหล่านี้ เราจะสามารถปรับการใช้หน่วยความจำให้เหมาะสมในระหว่างการฝึกอบรมและการอนุมานได้ ทำให้มั่นใจได้ถึงการจัดสรรทรัพยากรอย่างมีประสิทธิภาพ และปรับปรุงประสิทธิภาพของโมเดลภาษาขนาดใหญ่