Wie ich den KQV-Mechanismus in Transformern gelernt habe | Original, von KI übersetzt
Nach dem Lesen von K, Q, V Mechanism in Transformers habe ich irgendwie verstanden, wie K, Q und V funktionieren.
Q steht für Query, K steht für Key und V steht für Value. Für einen Satz ist die Query eine Matrix, die den Wert eines Tokens speichert, über den es andere Tokens befragen muss. Der Key steht für die Beschreibung der Tokens, und der Value steht für die eigentliche Bedeutungsmatrix der Tokens.
Sie haben spezifische Formen, sodass man ihre Dimensionen und Details kennen muss.
Das habe ich etwa Anfang Juni 2025 verstanden. Ich habe es erstmals Ende 2023 gelernt. Damals habe ich Artikel wie The Illustrated Transformer gelesen, aber ich habe nicht viel verstanden.
Nach etwa zwei Jahren fand ich es jetzt leichter zu verstehen. In diesen zwei Jahren habe ich mich auf Backend-Arbeit und die Vorbereitung auf meine Fachhochschulprüfungen konzentriert und nicht viel über maschinelles Lernen gelesen oder gelernt. Allerdings habe ich diese Konzepte von Zeit zu Zeit überdacht, wenn ich fuhr oder andere Dinge tat.
Das erinnert mich an die Wirkung der Zeit. Wir können viele Dinge beim ersten Anblick lernen, selbst wenn wir nicht viel verstehen. Aber irgendwie löst es einen Ausgangspunkt für unser Denken aus.
Mit der Zeit habe ich festgestellt, dass es bei Wissen und Entdeckungen schwer ist, Dinge beim ersten Mal zu denken oder zu verstehen. Aber später scheint es leichter zu lernen und zu wissen.
Ein Grund dafür ist, dass es im Zeitalter der KI leichter ist zu lernen, weil man in jedes Detail oder jeden Aspekt eintauchen kann, um Zweifel zu klären. Es gibt auch mehr verwandte KI-Videos. Wichtiger ist, dass man sieht, wie viele Menschen lernen und Projekte darauf aufbauen, wie z. B. llama.cpp.
Die Geschichte von Georgi Gerganov ist inspirierend. Als neuer Lernender im maschinellen Lernen, der etwa 2021 begann, hat er einen starken Einfluss in der KI-Community hinterlassen.
So etwas wird immer wieder passieren. Daher denke ich, dass ich, auch wenn ich noch nicht viel Zeit für Verstärkungslernen und die neuesten KI-Kenntnisse aufbringen kann, etwas Zeit finden kann, um schnell zu lernen und viel darüber nachzudenken. Das Gehirn wird seine Arbeit tun.