トランスフォーマーにおけるKQVメカニズムの学び方 | オリジナル、AI翻訳
K, Q, V Mechanism in Transformersを読んだ後、K、Q、Vの仕組みが何となく理解できた。
QはQuery、KはKey、VはValueを意味する。文に対して、Queryは他のトークンについて問い合わせる必要があるトークンの値を格納する行列であり、Keyはトークンの説明を表し、Valueはトークンの実際の意味行列を表す。
それらは特定の形状を持っているため、次元や詳細を知る必要がある。
この理解は2025年6月初旬頃だった。最初に学んだのは2023年末頃で、当時はThe Illustrated Transformerのような記事を読んだが、あまり理解できなかった。
2年後、今では理解しやすく感じる。この2年間、バックエンドの仕事や準学士試験の準備に集中し、機械学習についてあまり読んだり学んだりしなかった。しかし、運転中や他のことをしている間に、時々これらの概念について考えることはあった。
これは時間の効果を思い起こさせる。私たちは最初に見たときに多くのことを学ぶことができるが、あまり理解できないこともある。しかし、何らかの形で思考の出発点を作る。
時間の経過とともに、知識や発見について、最初に考えたり理解したりするのは難しいと気づいた。しかし、後で学んだり知ったりするのは簡単に感じる。
その理由の一つは、AI時代であるため、疑問を解決するためにどのような詳細や側面にでも深く掘り下げることができるからだ。また、関連するAI動画もより多く利用できる。さらに重要なのは、llama.cppのようなプロジェクトに多くの人が学んだり、その上に構築したりしているのを見ることだ。
Georgi Gerganovの話は感動的だ。2021年頃から新しい機械学習の学習者として、彼はAIコミュニティに大きな影響を与えた。
このようなことは何度も起こるだろう。したがって、強化学習や最新のAI知識について、まだそれらに多くの時間を割くことはできないが、少し時間を作って素早く学び、できるだけ多く考えることができると思う。脳はその仕事をしてくれるだろう。