[View code on Github](https://github.com/labmlai/annotated_deep_learning_paper_implementations/tree/master/labml_nn/transformers/knn/ init.py)

K-ළඟමඅසල්වැසියාගේ භාෂා ආකෘති

මෙය PyTorch කඩදාසි ක්රියාත්මක කිරීමකි සාමාන්යකරණය කටපාඩම් කිරීම: ළඟම අසල්වැසි භාෂා ආකෘති . ස්වයංක්රීය ප්රතිගාමී ට්රාන්ස්ෆෝමර් ආකෘතිවල අවභාවිතාව වැඩි දියුණු කිරීම සඳහා එය k-ළඟම අසල්වැසියන් භාවිතා කරයි.

ස්වයංප්රතිගාමී භාෂා ආකෘතියක් ඇස්තමේන්තු කරයි p(wt∣ct), පියවරේදී ටෝකනය wt t කොතැනද සහ සන්දර්භය ct වේ, ct=(w1,w2,...,wt−1).

මෙමලිපිය, සෙවුම් යතුර සමඟ යතුරු වටිනාකම් යුගල (f(ci),wi)මත k-ළඟම අසල්වැසියා සෙවුමක් p(wt∣ct) භාවිතා කරමින් වැඩි දියුණු කරයි f(ct). f(ct) මෙන්න සන්දර්භය කාවැද්දීම ct. කඩදාසි (සහ මෙම ක්රියාත්මක කිරීම) ලෙස ට්රාන්ස්ෆෝමරයේ අවසාන ස්ථරයේ පෝෂක-ඉදිරි ස්ථරයට ආදානය භාවිතා කරයි f(ct).

අපිදර්ශකය FAISS භාවිතා කරමු f(ci).

ක්රියාත්මකකිරීම

එබැවින් kNN-LM ධාවනය කිරීමට අපට අවශ්ය වන්නේ:

ට්රාන්ස්ෆෝමර් ආකෘතියක් පුහුණු කරන්න
පිළිබඳ දර්ශකයක් ගොඩනඟන්න (f(ci),wi)
kNN seach භාවිතා කරමින් KN-මිලි තක්සේරු කරන්න (f(ci),wi) f(ct)

මෙමඅත්හදා බැලීම කුඩා දත්ත කට්ටලයක් භාවිතා කරන අතර එමඟින් දර්ශකය සඳහා ගිගා බයිට් සිය ගණනක් තැටියේ ඉඩ ප්රමාණයක් භාවිතා නොකර මෙය ක්රියාත්මක කළ හැකිය.

kNN-LM හි නිල ක්රියාත්මක කිරීම මෙහිසොයාගත හැකිය.

Trending Research Papers labml.ai