hometransformersprimer_ez

View code on Github

#

ප්රාථමිකය: භාෂා ආකෘති නිර්මාණය සඳහා කාර්යක්ෂම ට්රාන්ස්ෆෝමර් සෙවීම

මෙය PyTorch කඩදාසි ප්රයිමර් ක්රියාත්මක කිරීම: භාෂා ආකෘති නිර්මාණය සඳහා කාර්යක්ෂම ට්රාන්ස්ෆෝමර් සෙවීම .

කතුවරුන්ට්රාන්ස්ෆෝමර් ගෘහ නිර්මාණ ශිල්පය සඳහා පරිණාමීය සෙවීමක් කරයි. සෙවුම භාවිතයෙන් සොයාගත් ගෘහ නිර්මාණ ශිල්පය ඔවුන් නම් කරන්නේ ප්රයිමර් (ප්රයිම්ටිව්ස් ට්රාන්ස්ෆෝමර් සෙවූ) ලෙසයි. ප්රයිමර්EZ යනු මුල් ට්රාන්ස්ෆෝමරය හා සසඳන විට ප්රයිමර් හි වඩාත්ම ශක්තිමත් වෙනස් කිරීම් දෙක සහිත ගෘහ නිර්මාණ ශිල්පයයි. ප්රයිමර් EZ වැනිලා ට්රාන්ස්ෆෝමරය වඩා වේගයෙන් දුම්රිය.

වර්ගRelu

සෙවුමමගින් සොයාගත් වඩාත්ම effective ලදායී වෙනස් කිරීම වන්නේ ස්ථාන-නැණවත් පෝෂක මොඩියුලයේRelU වෙනුවට චතුරස්රාකාර RelU භාවිතා කිරීමයි.

බහු-Dconv-හිසඅවධානය (MDHA)

ඊළඟඵලදායී වෙනස් විමසුම්, යතුරු, සහ වටිනාකම් සඳහා බහු-හිස ප්රක්ෂේපනය පසු ගැඹුරු-wise 3 X 1 convolution වේ. මෙම convolution අනුක්රමය මානයක් ඔස්සේ සහ නාලිකාව (ගැඹුර-අනුව) වේ. පැහැදිලි කිරීම සඳහා, එක් එක් හිසෙහි නාලිකා ගණන d_k නම්, එක් එක් d_k නාලිකා සඳහා 1 X 3 කර්නල් ඇත.

ප්රයිමර්EZ සඳහාඅත්හදා බැලීමේ කේතය මෙන්න.

Trending Research Paperslabml.ai