Intelligence Artificial
Te Maramatanga ki nga Tawhā Tauira Reo Nui me nga Whakaritenga Mahara: He Ruku Hohonu
![mm](https://www.unite.ai/wp-content/uploads/2023/07/Aayush_mittal-150x150.jpg)
I whakaputaina
Ra 6 i muaon
Tuhinga o nga mea
![Te Tatau Tawhā i roto i nga LLM-whakawhiti](https://www.unite.ai/wp-content/uploads/2024/07/DALL·E-2024-07-16-16.06.52-A-16_9-aspect-ratio-clean-minimal-theme-illustration-of-computer-memory-and-a-2D-matrix.-The-artwork-features-simple-and-sleek-lines-representing-com.webp)
Tauira Reo Nui (LLMs) kua kite i nga ahunga whakamua i roto i nga tau tata nei. Ko nga tauira penei i a GPT-4, Google's Gemini, me Claude 3 e whakatakoto ana i nga paerewa hou mo nga kaha me nga tono. Ko enei tauira ehara i te mea e whakanui ana i te whakaputa tuhinga me te whakamaoritanga engari kei te pakaru ano i nga waahi hou i roto i te tukatuka multimodal, te whakakotahi i te tuhinga, te ahua, te oro, me te whakaurunga ataata ki te whakarato i nga otinga AI whanui ake.
Hei tauira, ko te OpenAI's GPT-4 kua whakaatu i nga whakapainga nui ki te maarama me te whakaputa tuhinga penei i te tangata, i te mea ko nga tauira Gemini a Google he pai ki te whakahaere i nga momo raraunga kanorau, tae atu ki nga tuhinga, nga whakaahua, me nga ororongo, e taea ai nga taunekeneke ngawari me te horopaki. Waihoki, ko nga tauira a Anthropic's Claude 3 e tohuhia ana mo o raatau kaha reo maha me te whakarei ake i nga mahi i roto i nga mahi AI.
I te tere haere tonu o te whakawhanaketanga o nga LLM, ka tino nui te mohio ki nga riipeneta o enei tauira, otira ki o raatau tawhā me o raatau mahara. Ko te whainga o tenei aratohu ki te whakamaarama i enei waahanga, me te whakaatu i te whakamaarama taipitopito me te ngawari ki te maarama.
Nga Taketake o nga Tauira Reo Nui
He aha nga tauira reo nui?
Ko nga Tauira Reo Nui he whatunga neural kua whakangungua ki runga i nga huingararaunga nui kia mohio me te whakaputa i te reo tangata. Ka whakawhirinaki ratou ki nga hoahoanga penei i te Transformers, e whakamahi ana i nga tikanga penei i te aro-whaiaro ki te tukatuka me te whakaputa tuhinga.
Te Hiranga o nga Tawhā i roto i nga LLM
Ko nga tawhā nga waahanga matua o enei tauira. Kei roto i a raatau nga taumaha me nga taapiri, ka whakatikahia e te tauira i te wa e whakangungu ana hei whakaiti i nga hapa o nga matapae. Ko te maha o nga tawhā e hono ana ki te kaha me te mahi o te tauira engari ka awe ano hoki i ona whakaritenga rorohiko me te mahara.
Te Maramatanga ki te Hangahanga Whakawhiti
Overview
Ko te hoahoanga Transformer, i whakauruhia ki te pepa "Attention Is All You Need" na Vaswani et al. (2017), kua noho hei turanga mo te maha o nga LLM. Kei roto i te whakawaehere me te wetewetewaehere, he maha nga paparanga rite tonu.
Waahanga Whakawaehere me te Wewetewaehere
- encoder: Tukatuka i te raupapa whakaurunga me te hanga i tetahi whakaaturanga-a- horopaki.
- Kaitapa: Ka whakaputa i te raupapa whakaputa ma te whakamahi i te tohu o te encoder me nga tohu i hangaia i mua.
Poraka Hanga Matua
- Maha-Upoko aro: Ka taea te tauira ki te aro ki nga waahanga rereke o te raupapa whakaurunga i te wa kotahi.
- Whatunga Neural Whangai-Whakamua: Ka tāpiri i te rārangi-kore me te uaua ki te tauira.
- Whakaritea Paparanga: Ka whakapumau, ka whakatere i te whakangungu ma te whakarite i nga putanga takawaenga.
Te Tatau i te Tau o nga Tawhā
Te Tatau Tawhā i roto i nga LLM-whakawhiti
Ka wehewehea te tatauranga tawhā mo ia waahanga o te LLM-whakawhiti. Ka whakamahia e matou te tohu mai i te pepa taketake, kei hea d_model
e tohu ana i te rahi o nga ahua huna o te tauira.
- Papa Whakamau:
- Tawhā =
vocab_size
*d_model
- Tawhā =
- Maha-Upoko aro:
- hoki
h
upoko, withd_k = d_v = d_model / h
: - Tawhā = 4 *
d_model
^2 (mō Q, K, V, me ngā matapae putanga)
- hoki
- Whatunga Whakamua-whangai:
- Tawhā = 2 *
d_model
*d_ff
+d_model
+d_ff
- hea
d_ff
ko te tikanga 4*d_model
- Tawhā = 2 *
- Whakaritea Paparanga:
- Tawhā = 2 *
d_model
(mo te tauine me te rītaha)
- Tawhā = 2 *
Tapeke tawhā mo te paparanga Panoni kotahi:
Parameters_layer
=Parameters_attention
+Parameters_ffn
+ 2 *Parameters_layernorm
Mo te tauira me N
paparanga:
- Tawhā Tapeke =
N
*Parameters_layer
+Parameters_embedding
+Parameters_output
Tauira Tatau
Me whakaaro tatou ki tetahi tauira me nga whakaritenga e whai ake nei:
d_model
= 768h
(te maha o nga upoko aro) = 12N
(te maha o nga paparanga) = 12vocab_size
= 50,000
- Papa Whakamau:
- 50,000 * 768 = 38,400,000
- Maha-Upoko aro:
- 4 * 768^2 = 2,359,296
- Whatunga Whakamua-whangai:
- 2 * 768 * (4 * 768) + 768 + (4 * 768) = 4,719,616
- Whakaritea Paparanga:
- 2 * 768 = 1,536
Tapeke tawhā mo ia paparanga:
- 2,359,296 + 4,719,616 + (2 * 1,536) = 7,081,984
Tapeke tawhā mo nga paparanga 12:
- 12 * 7,081,984 = 84,983,808
Tapeke tauira tawhā:
- 84,983,808 + 38,400,000 = 123,383,808
Ko tenei tauira ka tata ki te 123 miriona tawhā.
Momo Mahinga Mahara
I te wa e mahi tahi ana me nga LLM, me whakaaro e rua nga momo whakamahinga mahara:
- Mahara Tauira: Ko te mahara e hiahiatia ana hei penapena i nga tawhā tauira.
- Mahinga Mahi: Ko te mahara e hiahiatia ana i te wa o te whakatau, i te whakangungu ranei ki te penapena i nga whakahohenga takawaenga, nga rōnaki, me nga ahuatanga o te arotau.
Te Tatau Mahara Tauira
Ko te mahara tauira e hono tika ana ki te maha o nga tawhā. Ko ia tawhā ka penapenahia hei nama moka-32 moka-iti, ahakoa ka whakamahia e etahi tauira nga whakangungu whakauru-tika me nga maanu 16-bit.
Mahara Tauira (paita) = Tau o nga tawhā * Paita mo ia tawhā
Mo ta maatau tauira tauira me te 123 miriona tawhā:
- Tauira Mahara (32-bit) = 123,383,808 * 4 paita = 493,535,232 paita ≈ 494 MB
- Tauira Mahara (16-bit) = 123,383,808 * 2 paita = 246,767,616 paita ≈ 247 MB
Te Whakatau i te Mahara Mahi
Ko nga whakaritenga mahara mahi ka tino rerekee i runga i te mahi motuhake, te rahi o te puranga, me te roa o te raupapa. Ko te whakatau tata mo te mahara mahi i te wa o te whakatau ko:
Mahara Mahi ≈ 2 * Mahara Tauira
Ma tenei e penapena nga tawhā tauira me nga whakahohenga takawaenga. I te wa whakangungu, ka nui ake nga whakaritenga mahara na te hiahia ki te penapena i nga rōnaki me nga korero mo te arotau:
Mahara Whakangungu ≈ 4 * Mahara Tauira
Mo ta maatau tauira tauira:
- Mahara Mahi Whakatau ≈ 2 * 494 MB = 988 MP ≈ 1 GB
- Mahara Whakangungu ≈ 4 * 494 MB = 1,976 MB ≈ 2 GB
Te Whakamahi Mahara Tuturu me te Whakamahi Mahara Nui
I te whakangungu i nga tauira reo nui i runga i te hoahoanga Transformer, he mea nui te mohio ki te whakamahi mahara mo te toha rauemi. Kia wehea e tatou nga whakaritenga mahara ki nga waahanga matua e rua: te whakamahi mahara-tuuturu me te whakamahi mahara teitei.
Te Whakamahi Mahara Whakamau
Kei roto i te whakamahinga mahara-tuuturu nga waahanga e whai ake nei:
- Tauira Tauira: He kape FP32 o nga tawhā tauira, me 4N paita, kei reira ko N te maha o nga tawhā.
- Nga whenua mootau: Mo te Adam optimizer, me 8N nga paita (e rua nga ahuatanga mo ia tawhā).
- Kairangi: FP32 kape o nga rōnaki, me 4N paita.
- Raraunga Whakauru: Ki te whakaaro ko nga whakaurunga int64, me 8BD paita tenei, ko B te rahi o te puranga me te D te waahanga whakauru.
Ka taea te tata ki te katoa o te whakamahinga mahara u tonu e:
- M_mau = 16N + 8BD paita
Te Mahinga Mahara Nui
Ko te nui o te whakamahinga o te mahara ka puta i te waa whakamuri i te wa e penapena ai nga whakahohenga mo te tatauranga rōnaki. Ko nga kaikoha matua ki te mahara teitei ko:
- Whakaritea Paparanga: Me 4E nga paita mo ia paparanga tikanga, kei reira E = BSH (B: rahinga puranga, S: roa raupapa, H: rahi huna).
- Poraka aro:
- Tātaitanga QKV: 2E paita
- Matrix aro: 4BSS paita (S: te roa o te raupapa)
- Putanga aro: 2E paita
- Poraka Whakamua-whangai:
- Paparanga rarangi tuatahi: 2E paita
- Whakahohenga GELU: 8E paita
- Paparanga rarangi tuarua: 2E paita
- Ngaronga Whakawhiti-Entropy:
- Takiuru: 6BSV paita (V: rahi kupu)
Ka taea te whakatau tata te katoa o te mahara whakahohe:
- M_act = L * (14E + 4BSS) + 6BSV paita
Ko L te maha o nga paparanga whakawhiti.
Tapeke Whakamahi Mahara Peak
Ko te nui o te whakamahinga mahara i te wa whakangungu ka taea te tata ma te whakakotahi i te mahara-tuuturu me te mahara whakahohe:
- M_peak = M_steady + M_act + 4BSV paita
Ko te waahanga taapiri 4BSV he toha taapiri i te timatanga o te tuku whakamuri.
Ma te mohio ki enei waahanga, ka taea e tatou te arotau i te whakamahinga mahara i te wa o te whakangungu me te whakatau, te whakarite i te tohatoha rauemi me te pai ake o te mahi o nga tauira reo nui.
Nga Ture Whakatauine me nga Whakaaro Tikanga
Nga Ture Tauine mo nga LLM
Kua whakaatuhia e te rangahau ko te mahi a nga LLM ka whai i etahi ture whakatauine i te mea ka piki te maha o nga tawhā. Kaplan et al. (2020) i kite ka pai ake te mahi tauira hei ture mana mo te maha o nga tawhā, te tahua kaute, me te rahinga huingararaunga.
Ko te hononga i waenga i te mahinga tauira me te maha o nga tawhā ka taea te tata ki:
Mahinga ∝ N^α
Inaa ko N te maha o nga tawhā me te α he taunga tauine i te nuinga o te waa ki te 0.07 mo nga mahi whakatauira reo.
Ko te tikanga kia eke ki te 10% te whakapai ake i te mahi, me whakanui ake te maha o nga tawhā ma te tauwehe 10^(1/α) ≈ 3.7.
Nga Tikanga Pai
I te tipu haere tonu o nga LLM, kua whakawhanakehia e nga kairangahau me nga tohunga nga momo tikanga hei whakapai ake i te pai:
a) Whakangungu Whakangungu Whakaranu: Te whakamahi i nga tau moka-16, 8-bit ranei mo etahi mahinga hei whakaiti i te whakamahinga mahara me nga whakaritenga rorohiko.
b) Tauira Whakarara: Te tohatoha i te tauira puta noa i nga GPU maha, i nga TPU ranei hei hapai i nga tauira nui atu i te mea ka uru ki te taputapu kotahi.
c) Tohutaki Rōnaki: Tauhokohoko tauhokohoko mo te mahara ma te tatau ano i etahi whakahohenga i te wa o te whakawhiti whakamuri hei utu mo te penapena.
d) Te tapahi me te ine: Te tango i nga taumahatanga iti ake, te whakaheke ranei i to raatau whakangungu i muri i te whakangungu hei hanga tauira iti ake, pai ake.
e) Whakakore: Whakangungu i nga tauira iti ake hei whakatauira i te whanonga o nga tauira nui ake, tera pea ka mau te nuinga o te mahinga me te iti ake o nga tawhā.
Tauira Mahinga me nga Tatautanga
Ko te GPT-3, tetahi o nga tauira reo nui rawa atu, he 175 piriona tawhā. Ka whakamahia e ia te waahanga wetewaehere o te hoahoanga Transformer. Kia mohio ai koe ki tona tauine, me wehewehe te tatau tawhā me nga uara whakapae:
d_model = 12288
d_ff = 4 * 12288 = 49152
- Te maha o nga paparanga = 96
Mo te paparanga wetewaehere kotahi:
Tawhā Tapeke = 8 * 12288^2 + 8 * 12288 * 49152 + 2 * 12288 ≈ 1.1 piriona
Tapeke mo nga paparanga 96:
1.1 piriona * 96 = 105.6 piriona
Ko nga toenga taapiri ka ahu mai i te whakauru me etahi atu waahanga.
Opaniraa
Ko te mohio ki nga tawhā me nga whakaritenga mahara o nga tauira reo nui he mea nui kia whai hua te hoahoa, te whakangungu, me te whakamahi i enei taputapu kaha. Ma te wawahi i nga waahanga o te hoahoanga Transformer me te tirotiro i nga tauira whaihua penei i te GPT, ka hohonu ake te maarama ki te uaua me te rahi o enei tauira.
Kia mohio ai koe ki nga ahunga whakamua hou i roto i nga tauira reo nui me o raatau tono, tirohia enei aratohu matawhānui:
- Tirohia te Aratohu Katoa mo Gemma 2: Te Tauira Reo Nui Tuwhera Hou a Google mo nga tirohanga mo ana mahi whakarei me nga ahuatanga hou.
- Akohia nga Kaihanga LLM Hangahanga mo te RAG mai i Scratch and Beyond: He Aratohu Matanui e matapaki ana i nga wero me nga otinga i roto i te whakatipuranga tiki-whakanui.
- Tirohia nga hianga o Te Whakaritea i te Whakangungu, te Whakapaipai, me te Whakaritea o nga LLM me nga NVIDIA GPU me te CUDA mo te arotau i nga punaha AI.
![](https://www.unite.ai/wp-content/uploads/2022/10/join-the-future-newsletter.png)
![](https://www.unite.ai/wp-content/uploads/2024/01/Unite-AI-Mobile-Newsletter-1.png)
Kua pau au i nga tau e rima kua taha ake nei ki te ruku i ahau ki te ao whakamihiharo o te Ako Miihini me te Ako Hohonu. Na taku kaingākau me taku tohungatanga i whai waahi ahau ki te neke atu i te 50 nga kaupapa miihini rorohiko kanorau, me te tino aro ki AI/ML. Ko taku hiahia paheketanga kua kumea ahau ki te Tukatuka Reo Maori, he mara e kaingākau ana ahau ki te torotoro haere.
kia rite koe
MARKLLM: He Utauta Puna Tuwhera mo te Tohu Waiwai a LLM
Te Whakatairanga i nga Tauira Reo Rahi ki runga Kubernetes: He Aratohu Matawhānui
Te Maramatanga mo te Sparse Autoencoders, GPT-4 & Claude 3 : He Tuhura Hangarau Hohonu
Qwen2 – Ko nga Whakatauira Rere-Reo Hou a Alibaba he wero SOTA penei i a Llama 3
LLaVA-UHD: he LMM e mohio ana ki te owehenga o te ahua me nga whakaahua taumira teitei.
Te Whakanuia i nga Tauira Reo Nui me te Matapae Tohu-maha
Whakairinga tata
- 10 Taumahi Huruhuru AI Pai (Hongoongoi 2024)
- Te Panui I To Hinengaro: Me pehea a AI ki te Wetewete i te Mahi roro ki te hanga ano i nga mea e kite ana, e rongo ana koe
- Te Whakapaipai i te Whakamahinga LLM: vLLM PagedAttention me te heke mai o te Mahi AI Tino pai
- Nga Meiha Atawhai, CTO & Kai-whakarewa i te Honeycomb - Rangataka Uiui
- He aha te Whakaaetanga o te Kaimahi Kei te Hurihia mo te Haumarutanga Whatunga me te pehea e taea ai e nga whakahaere te whakautu