ट्रांसफॉर्मर्स में KQV मैकेनिज्म को कैसे सीखा | मूल, AI द्वारा अनुवादित
K, Q, V Mechanism in Transformers को पढ़ने के बाद, मुझे कुछ हद तक समझ में आया कि K, Q, और V कैसे काम करते हैं।
Q का मतलब Query है, K का मतलब Key है, और V का मतलब Value है। एक वाक्य के लिए, Query एक मैट्रिक्स होता है जो उस टोकन के मान को स्टोर करता है जिसे वह अन्य टोकनों के बारे में पूछना चाहता है। Key टोकनों का वर्णन करता है, और Value टोकनों के वास्तविक अर्थ मैट्रिक्स का प्रतिनिधित्व करता है।
उनके विशिष्ट आकार होते हैं, इसलिए उनके आयामों और विवरणों को जानना आवश्यक है।
मुझे यह लगभग जून 2025 के शुरुआत में समझ में आया। मैंने इसे पहली बार 2023 के अंत में सीखा था। उस समय, मैंने The Illustrated Transformer जैसे लेख पढ़े थे, लेकिन मुझे बहुत कुछ समझ में नहीं आया।
लगभग दो साल बाद, मुझे अब यह समझने में आसानी महसूस हुई। इन दो सालों में, मैंने बैकएंड वर्क पर ध्यान केंद्रित किया और अपने एसोसिएट डिग्री के परीक्षाओं की तैयारी की, और मैंने मशीन लर्निंग के बारे में बहुत कम पढ़ा या सीखा। हालांकि, मैं कभी-कभी ड्राइविंग या अन्य चीजें करते समय इन अवधारणाओं पर विचार करता रहा।
यह मुझे समय के प्रभाव की याद दिलाता है। हम पहली बार बहुत कुछ सीख सकते हैं, भले ही हम बहुत कुछ समझ न पाएं। लेकिन कुछ तरह से, यह हमारे सोचने के लिए एक शुरुआती बिंदु बन जाता है।
समय के साथ, मैंने पाया कि ज्ञान और खोज के लिए, चीजों को पहली बार सोचने या समझने में मुश्किल होती है। लेकिन बाद में, सीखना और जानना आसान लगता है।
एक कारण यह है कि AI युग में सीखना आसान है क्योंकि आप किसी भी विवरण या पहलू में गहराई से जा सकते हैं ताकि अपने संदेहों को दूर करें। AI से संबंधित अधिक वीडियो भी उपलब्ध हैं। सबसे महत्वपूर्ण बात यह है कि आप देखते हैं कि इतने सारे लोग सीख रहे हैं और उस पर प्रोजेक्ट बना रहे हैं, जैसे llama.cpp।
जॉर्जी गर्गानोव की कहानी प्रेरणादायक है। एक नए मशीन लर्निंग सीखने वाले के रूप में 2021 के आसपास शुरू करते हुए, उन्होंने AI समुदाय पर एक शक्तिशाली प्रभाव डाला।
ऐसा बार-बार होता रहेगा। इसलिए, रिनफोर्समेंट लर्निंग और नवीनतम AI ज्ञान के लिए, हालांकि मैं अभी भी उन्हें बहुत समय देने में सक्षम नहीं हूँ, मैं सोचता हूँ कि मैं कुछ समय निकाल सकता हूँ और उन्हें जल्दी सीखने और बहुत सोचने की कोशिश कर सकता हूँ। दिमाग अपना काम करेगा।