Te Maramatanga ki nga Tawhā Tauira Reo Nui me nga Whakaritenga Mahara: He Ruku Hohonu

Tauira Reo Nui (LLMs) kua kite i nga ahunga whakamua i roto i nga tau tata nei. Ko nga tauira penei i a GPT-4, Google's Gemini, me Claude 3 e whakatakoto ana i nga paerewa hou mo nga kaha me nga tono. Ko enei tauira ehara i te mea e whakanui ana i te whakaputa tuhinga me te whakamaoritanga engari kei te pakaru ano i nga waahi hou i roto i te tukatuka multimodal, te whakakotahi i te tuhinga, te ahua, te oro, me te whakaurunga ataata ki te whakarato i nga otinga AI whanui ake.

Hei tauira, ko te OpenAI's GPT-4 kua whakaatu i nga whakapainga nui ki te maarama me te whakaputa tuhinga penei i te tangata, i te mea ko nga tauira Gemini a Google he pai ki te whakahaere i nga momo raraunga kanorau, tae atu ki nga tuhinga, nga whakaahua, me nga ororongo, e taea ai nga taunekeneke ngawari me te horopaki. Waihoki, ko nga tauira a Anthropic's Claude 3 e tohuhia ana mo o raatau kaha reo maha me te whakarei ake i nga mahi i roto i nga mahi AI.

I te tere haere tonu o te whakawhanaketanga o nga LLM, ka tino nui te mohio ki nga riipeneta o enei tauira, otira ki o raatau tawhā me o raatau mahara. Ko te whainga o tenei aratohu ki te whakamaarama i enei waahanga, me te whakaatu i te whakamaarama taipitopito me te ngawari ki te maarama.

Nga Taketake o nga Tauira Reo Nui

He aha nga tauira reo nui?

Ko nga Tauira Reo Nui he whatunga neural kua whakangungua ki runga i nga huingararaunga nui kia mohio me te whakaputa i te reo tangata. Ka whakawhirinaki ratou ki nga hoahoanga penei i te Transformers, e whakamahi ana i nga tikanga penei i te aro-whaiaro ki te tukatuka me te whakaputa tuhinga.

Te Hiranga o nga Tawhā i roto i nga LLM

Ko nga tawhā nga waahanga matua o enei tauira. Kei roto i a raatau nga taumaha me nga taapiri, ka whakatikahia e te tauira i te wa e whakangungu ana hei whakaiti i nga hapa o nga matapae. Ko te maha o nga tawhā e hono ana ki te kaha me te mahi o te tauira engari ka awe ano hoki i ona whakaritenga rorohiko me te mahara.

Te Maramatanga ki te Hangahanga Whakawhiti

Hangahanga Kaihuri

Overview

Ko te hoahoanga Transformer, i whakauruhia ki te pepa "Attention Is All You Need" na Vaswani et al. (2017), kua noho hei turanga mo te maha o nga LLM. Kei roto i te whakawaehere me te wetewetewaehere, he maha nga paparanga rite tonu.

Waahanga Whakawaehere me te Wewetewaehere

• encoder: Tukatuka i te raupapa whakaurunga me te hanga i tetahi whakaaturanga-a- horopaki.
• Kaitapa: Ka whakaputa i te raupapa whakaputa ma te whakamahi i te tohu o te encoder me nga tohu i hangaia i mua.

Poraka Hanga Matua

1. Maha-Upoko aro: Ka taea te tauira ki te aro ki nga waahanga rereke o te raupapa whakaurunga i te wa kotahi.
2. Whatunga Neural Whangai-Whakamua: Ka tāpiri i te rārangi-kore me te uaua ki te tauira.
3. Whakaritea Paparanga: Ka whakapumau, ka whakatere i te whakangungu ma te whakarite i nga putanga takawaenga.

Te Tatau i te Tau o nga Tawhā

Nga Tauira Kua Whakangungua Mo Te Whakangungu Whakawhiti Pai

Te Tatau Tawhā i roto i nga LLM-whakawhiti

Ka wehewehea te tatauranga tawhā mo ia waahanga o te LLM-whakawhiti. Ka whakamahia e matou te tohu mai i te pepa taketake, kei hea d_model e tohu ana i te rahi o nga ahua huna o te tauira.

1. Papa Whakamau:
   • Tawhā = vocab_size * d_model
2. Maha-Upoko aro:
   • hoki h upoko, with d_k = d_v = d_model / h:
   • Tawhā = 4 * d_model^2 (mō Q, K, V, me ngā matapae putanga)
3. Whatunga Whakamua-whangai:
   • Tawhā = 2 * d_model * d_ff + d_model + d_ff
   • hea d_ff ko te tikanga 4* d_model
4. Whakaritea Paparanga:
   • Tawhā = 2 * d_model (mo te tauine me te rītaha)

Tapeke tawhā mo te paparanga Panoni kotahi:

• Parameters_layer = Parameters_attention + Parameters_ffn + 2 * Parameters_layernorm

Mo te tauira me N paparanga:

• Tawhā Tapeke = N * Parameters_layer + Parameters_embedding + Parameters_output

Tauira Tatau

Me whakaaro tatou ki tetahi tauira me nga whakaritenga e whai ake nei:

• d_model = 768
• h (te maha o nga upoko aro) = 12
• N (te maha o nga paparanga) = 12
• vocab_size = 50,000

1. Papa Whakamau:
   • 50,000 * 768 = 38,400,000
2. Maha-Upoko aro:
   • 4 * 768^2 = 2,359,296
3. Whatunga Whakamua-whangai:
   • 2 * 768 * (4 * 768) + 768 + (4 * 768) = 4,719,616
4. Whakaritea Paparanga:
   • 2 * 768 = 1,536

Tapeke tawhā mo ia paparanga:

• 2,359,296 + 4,719,616 + (2 * 1,536) = 7,081,984

Tapeke tawhā mo nga paparanga 12:

• 12 * 7,081,984 = 84,983,808

Tapeke tauira tawhā:

• 84,983,808 + 38,400,000 = 123,383,808

Ko tenei tauira ka tata ki te 123 miriona tawhā.

Momo Mahinga Mahara

I te wa e mahi tahi ana me nga LLM, me whakaaro e rua nga momo whakamahinga mahara:

1. Mahara Tauira: Ko te mahara e hiahiatia ana hei penapena i nga tawhā tauira.
2. Mahinga Mahi: Ko te mahara e hiahiatia ana i te wa o te whakatau, i te whakangungu ranei ki te penapena i nga whakahohenga takawaenga, nga rōnaki, me nga ahuatanga o te arotau.

Te Tatau Mahara Tauira

Ko te mahara tauira e hono tika ana ki te maha o nga tawhā. Ko ia tawhā ka penapenahia hei nama moka-32 moka-iti, ahakoa ka whakamahia e etahi tauira nga whakangungu whakauru-tika me nga maanu 16-bit.

Mahara Tauira (paita) = Tau o nga tawhā * Paita mo ia tawhā

Mo ta maatau tauira tauira me te 123 miriona tawhā:

• Tauira Mahara (32-bit) = 123,383,808 * 4 paita = 493,535,232 paita ≈ 494 MB
• Tauira Mahara (16-bit) = 123,383,808 * 2 paita = 246,767,616 paita ≈ 247 MB

Te Whakatau i te Mahara Mahi

Ko nga whakaritenga mahara mahi ka tino rerekee i runga i te mahi motuhake, te rahi o te puranga, me te roa o te raupapa. Ko te whakatau tata mo te mahara mahi i te wa o te whakatau ko:

Mahara Mahi ≈ 2 * Mahara Tauira

Ma tenei e penapena nga tawhā tauira me nga whakahohenga takawaenga. I te wa whakangungu, ka nui ake nga whakaritenga mahara na te hiahia ki te penapena i nga rōnaki me nga korero mo te arotau:

Mahara Whakangungu ≈ 4 * Mahara Tauira

Mo ta maatau tauira tauira:

• Mahara Mahi Whakatau ≈ 2 * 494 MB = 988 MP ≈ 1 GB
• Mahara Whakangungu ≈ 4 * 494 MB = 1,976 MB ≈ 2 GB

Te Whakamahi Mahara Tuturu me te Whakamahi Mahara Nui

I te whakangungu i nga tauira reo nui i runga i te hoahoanga Transformer, he mea nui te mohio ki te whakamahi mahara mo te toha rauemi. Kia wehea e tatou nga whakaritenga mahara ki nga waahanga matua e rua: te whakamahi mahara-tuuturu me te whakamahi mahara teitei.

Te Whakamahi Mahara Whakamau

Kei roto i te whakamahinga mahara-tuuturu nga waahanga e whai ake nei:

1. Tauira Tauira: He kape FP32 o nga tawhā tauira, me 4N paita, kei reira ko N te maha o nga tawhā.
2. Nga whenua mootau: Mo te Adam optimizer, me 8N nga paita (e rua nga ahuatanga mo ia tawhā).
3. Kairangi: FP32 kape o nga rōnaki, me 4N paita.
4. Raraunga Whakauru: Ki te whakaaro ko nga whakaurunga int64, me 8BD paita tenei, ko B te rahi o te puranga me te D te waahanga whakauru.

Ka taea te tata ki te katoa o te whakamahinga mahara u tonu e:

• M_mau = 16N + 8BD paita

Te Mahinga Mahara Nui

Ko te nui o te whakamahinga o te mahara ka puta i te waa whakamuri i te wa e penapena ai nga whakahohenga mo te tatauranga rōnaki. Ko nga kaikoha matua ki te mahara teitei ko:

1. Whakaritea Paparanga: Me 4E nga paita mo ia paparanga tikanga, kei reira E = BSH (B: rahinga puranga, S: roa raupapa, H: rahi huna).
2. Poraka aro:
   • Tātaitanga QKV: 2E paita
   • Matrix aro: 4BSS paita (S: te roa o te raupapa)
   • Putanga aro: 2E paita
3. Poraka Whakamua-whangai:
   • Paparanga rarangi tuatahi: 2E paita
   • Whakahohenga GELU: 8E paita
   • Paparanga rarangi tuarua: 2E paita
4. Ngaronga Whakawhiti-Entropy:
   • Takiuru: 6BSV paita (V: rahi kupu)

Ka taea te whakatau tata te katoa o te mahara whakahohe:

• M_act = L * (14E + 4BSS) + 6BSV paita

Ko L te maha o nga paparanga whakawhiti.

Tapeke Whakamahi Mahara Peak

Ko te nui o te whakamahinga mahara i te wa whakangungu ka taea te tata ma te whakakotahi i te mahara-tuuturu me te mahara whakahohe:

• M_peak = M_steady + M_act + 4BSV paita

Ko te waahanga taapiri 4BSV he toha taapiri i te timatanga o te tuku whakamuri.

Ma te mohio ki enei waahanga, ka taea e tatou te arotau i te whakamahinga mahara i te wa o te whakangungu me te whakatau, te whakarite i te tohatoha rauemi me te pai ake o te mahi o nga tauira reo nui.

Nga Ture Whakatauine me nga Whakaaro Tikanga

 Nga Ture Tauine mo nga LLM

Kua whakaatuhia e te rangahau ko te mahi a nga LLM ka whai i etahi ture whakatauine i te mea ka piki te maha o nga tawhā. Kaplan et al. (2020) i kite ka pai ake te mahi tauira hei ture mana mo te maha o nga tawhā, te tahua kaute, me te rahinga huingararaunga.

Ko te hononga i waenga i te mahinga tauira me te maha o nga tawhā ka taea te tata ki:

Mahinga ∝ N^α

Inaa ko N te maha o nga tawhā me te α he taunga tauine i te nuinga o te waa ki te 0.07 mo nga mahi whakatauira reo.

Ko te tikanga kia eke ki te 10% te whakapai ake i te mahi, me whakanui ake te maha o nga tawhā ma te tauwehe 10^(1/α) ≈ 3.7.

Nga Tikanga Pai

I te tipu haere tonu o nga LLM, kua whakawhanakehia e nga kairangahau me nga tohunga nga momo tikanga hei whakapai ake i te pai:

a) Whakangungu Whakangungu Whakaranu: Te whakamahi i nga tau moka-16, 8-bit ranei mo etahi mahinga hei whakaiti i te whakamahinga mahara me nga whakaritenga rorohiko.

b) Tauira Whakarara: Te tohatoha i te tauira puta noa i nga GPU maha, i nga TPU ranei hei hapai i nga tauira nui atu i te mea ka uru ki te taputapu kotahi.

c) Tohutaki Rōnaki: Tauhokohoko tauhokohoko mo te mahara ma te tatau ano i etahi whakahohenga i te wa o te whakawhiti whakamuri hei utu mo te penapena.

d) Te tapahi me te ine: Te tango i nga taumahatanga iti ake, te whakaheke ranei i to raatau whakangungu i muri i te whakangungu hei hanga tauira iti ake, pai ake.

e) Whakakore: Whakangungu i nga tauira iti ake hei whakatauira i te whanonga o nga tauira nui ake, tera pea ka mau te nuinga o te mahinga me te iti ake o nga tawhā.

Tauira Mahinga me nga Tatautanga

Opaniraa

Ko te mohio ki nga tawhā me nga whakaritenga mahara o nga tauira reo nui he mea nui kia whai hua te hoahoa, te whakangungu, me te whakamahi i enei taputapu kaha. Ma te wawahi i nga waahanga o te hoahoanga Transformer me te tirotiro i nga tauira whaihua penei i te GPT, ka hohonu ake te maarama ki te uaua me te rahi o enei tauira.

Kia mohio ai koe ki nga ahunga whakamua hou i roto i nga tauira reo nui me o raatau tono, tirohia enei aratohu matawhānui:

• Tirohia te Aratohu Katoa mo Gemma 2: Te Tauira Reo Nui Tuwhera Hou a Google mo nga tirohanga mo ana mahi whakarei me nga ahuatanga hou.
• Akohia nga Kaihanga LLM Hangahanga mo te RAG mai i Scratch and Beyond: He Aratohu Matanui e matapaki ana i nga wero me nga otinga i roto i te whakatipuranga tiki-whakanui.
• Tirohia nga hianga o Te Whakaritea i te Whakangungu, te Whakapaipai, me te Whakaritea o nga LLM me nga NVIDIA GPU me te CUDA mo te arotau i nga punaha AI.