docs/si/transformers/index.html
[View code on Github](https://github.com/labmlai/annotated_deep_learning_paper_implementations/tree/master/labml_nn/transformers/ init.py)
මෙමමොඩියුලයේ PyTorch ක්රියාත්මක කිරීම් සහ කඩදාසි වලින් මුල් ට්රාන්ස්ෆෝමර් පැහැදිලි කිරීම් අඩංගුවේ අවධානය ඔබට අවශ්ය සියල්ල සහ එහි ව්යුත්පන්නයන් සහ වැඩි දියුණු කිරීම්.
මෙය සාපේක්ෂ බහු-හිස අවධානයභාවිතා කරමින් ට්රාන්ස්ෆෝමර් එක්ස්එල් ආකෘතිය ක්රියාත්මක කරයි
මෙයරොටරි ස්ථානීය කාවැද්දීම් (කඹය) ක්රියාත්මක කරයි
මෙයරේඛීය අගතීන් (අලිබී) සමඟ අවධානය යොමු කරයි.
මෙයනැවත ලබා ගත හැකි වැඩිදියුණු කළ ට්රාන්ස්ෆෝමරය (RETRO) ක්රියාත්මක කරයි.
මෙයට්රාන්ස්ෆෝමර් එක්ස්එල් මත විහිදෙන සම්පීඩ්යතා ට්රාන්ස්ෆෝමර් ක්රියාත්මක කිරීමක් වන අතර පැරණිතම මතකයන් සම්පීඩනය කිරීමෙන් දිගු අවධානයක් ලබා දේ.
මෙයGPT-2 ගෘහ නිර්මාණ ශිල්පය ක්රියාත්මක කිරීමයි.
මෙයකඩදාසි ක්රියාත්මක කිරීමයි GLU ප්රභේද ට්රාන්ස්ෆෝමර් වැඩි දියුණු කරන්න.
මෙයකඩදාසි ක්රියාත්මක කිරීමකි සාමාන්යකරණය කටපාඩම් කිරීම: ළඟම අසල්වැසි භාෂා ආකෘති.
මෙය ප්රතිපෝෂණ මතකය සමඟ අනුක්රමික ට්රාන්ස්ෆෝමර්වල ඉහළ මට්ටමේ නිරූපණයන් වෙත ප්රවේශවන කඩදාසි ක්රියාත්මක කිරීමයි.
මෙයකඩදාසි ස්විච් ට්රාන්ස්ෆෝමර් කුඩා ක්රියාත්මක කිරීමකි: සරල හා කාර්යක්ෂම ස්පාර්ශිකමකින් යුත් ට්රිලියන පරාමිති ආකෘති දක්වා පරිමාණයකිරීම. අපගේ ක්රියාත්මක කිරීම සඳහා ඇත්තේ පරාමිතීන් මිලියන කිහිපයක් පමණක් වන අතර සමාන්තරව බෙදා හරින ලද පුහුණුව ආදර්ශයට නොගනී. එය තනි GPU පුහුණු කරන්නේ නමුත් අපි කඩදාසි විස්තර කර ඇති පරිදි මාරු සංකල්පය ක්රියාත්මක.
මෙයකඩදාසි ක්රියාත්මක කිරීමකි රේඛීය ට්රාන්ස්ෆෝමර් පයිටෝර්ච් හි රහසින් වේගවත් බර මතක පද්ධතිවේ.
මෙයකඩදාසි ක්රියාත්මක කිරීමයි FNet: ෆූරියර් ට්රාන්ස්පෝර්ම් සමඟ ටෝකන මිශ්රකිරීම.
මෙයකඩදාසි ක්රියාත්මක කිරීමකි අවධානය රහිත ට්රාන්ස්ෆෝමරයක්.
මෙයකඩදාසි වල පෙර පුහුණුව සඳහා භාවිතා කරන ලද මාස්ඩ් භාෂා ආකෘතිය ක්රියාත්මක කිරීම BERT: භාෂා අවබෝධය සඳහා ගැඹුරු ද්විපාර්ශ්වික පරිවර්තක පූර්ව පුහුණුව.
මෙයකඩදාසි එම්එල්පී-මික්සර් ක්රියාත්මක කිරීමකි: දැක්ම සඳහා සර්ව එම්එල්පී ගෘහ නිර්මාණ ශිල්පය.
මෙයකඩදාසි ක්රියාත්මක කිරීමකි MLPs වෙත අවධානය යොමු කරන්න.
මෙමකඩදාසි ක්රියාත්මක කිරීම රූපයක් වර්ත් 16x16 වචන: පරිමාණ දී රූප පිළිගැනීම සඳහා ට්රාන්ස්ෆෝමර්.
මෙයකඩදාසි ක්රියාත්මක කිරීමකි ප්රයිමර්: භාෂා ආකෘති නිර්මාණය සඳහා කාර්යක්ෂම ට්රාන්ස්ෆෝමර් සෙවීම.
මෙයකඩදාසි ක්රියාත්මක කිරීමකි ධූරාවලි ට්රාන්ස්ෆෝමර් වඩාත් කාර්යක්ෂම භාෂා ආකෘති
112from.configsimportTransformerConfigs113from.modelsimportTransformerLayer,Encoder,Decoder,Generator,EncoderDecoder114from.mhaimportMultiHeadAttention115fromlabml\_nn.transformers.xl.relative\_mhaimportRelativeMultiHeadAttention