AIの思考 | オリジナル、AI翻訳
-
サティア・ナデラはジェボンズのパラドックスについて言及した。学ぶ価値がある。
-
王垠：人工知能には「知能」はなく、ニューラルネットワークには「ニューロン」はなく、機械学習には「学習」はなく、ディープラーニングには「深さ」はない。この分野で実際に機能しているのは「微積分」と呼ばれるものだ。だから私はこの分野を「微分可能計算」と呼び、モデル構築のプロセスを「微分可能プログラミング」と呼ぶのが好きだ。
-
王垠：機械学習は本当に有用で、美しい理論と言える。なぜなら、それは単に微積分の変装に過ぎないからだ。ニュートンやライプニッツの古くて偉大な理論が、よりシンプルでエレガントで強力な形で現れたものだ。機械学習は基本的に微積分を使って関数を導出し、フィットさせることであり、ディープラーニングはより複雑な関数のフィッティングである。
-
現在、大規模言語モデルはYAMLやPythonのようなファイル言語でフィルタリングできない。しかし、現実世界の情報の多くはこのように整理されている。つまり、ファイルを使って大規模言語モデルを訓練できる可能性がある。
-
大規模言語モデルの訓練のために、完全一致を見つけるシステムを開発できるかもしれない。KMP（クヌース・モリス・プラット）検索アルゴリズムとトランスフォーマーアーキテクチャを組み合わせて検索能力を強化できるかもしれない。
-
技術的な秘密はない。オープンソースがすべての秘密を明らかにする。
-
AIは多くのツールに影響を与える。間接的なものも含めて。人々はFigmaでプロトタイプを描く必要がなくなり、直接コードに移行すると言っている。Postmanも同様で、Pythonや他のスクリプトでAPIを直接呼び出したりテストしたりするようになるだろう。
-
AI時代にPostmanやFigmaを使わない理由の一つは、それらの機能がテキストを通じて生成できないことだ。また、コンポーネント置換をトリガーするコマンド+Kショートカットもない。
-
ユーザーインターフェースはAI時代の障壁になりつつある。なぜPostmanをAI対応にしてアプリケーションをテストする必要があるのか？Pythonのrequestsライブラリや他のプログラミング言語で直接コードをテストできるなら、そちらの方がAIによって強化されるだろう。
-
なぜFigmaをAI対応にしてUIを作成する必要があるのか？コードベースのUI生成がAIによって強化されれば、より直接的で強力なアプローチが可能になる。
-
LLMはまずテキスト関連のアプリケーションを変える。Google、検索エンジン、テキストエディタ、執筆ツール、Quizlet、Zendesk、DeepL、Medium、WordPress、Trello、Asana、Gmail、GitHub、Goodreads、Duolingo、Feedlyなどだ。
-
逆に、LLMがGit、Linux、ffmpeg、携帯電話、ハードウェア、ブラウザ、OS、音声やビデオ通話のような技術を革新する可能性は低い。これらの技術はコード中心であり、PostmanのようなAPIテストツールとは異なり、AIによって簡単に生成されるコードではない。
-
より多くのコードを持つ技術はAIによって革新されにくい。OpenOffice、MySQL、Mozilla Firefox、Chromium、VLCメディアプレーヤー、Qtフレームワーク、LLVM/Clang、GNOMEなどだ。もしAIがこれらの技術を作るのを助けられるなら、置き換えられることはない。AIはより良い技術を作るのを助けるべきで、そのためにはAIは同じ量のコードを生成するためにさらに多くの計算能力が必要になる。
-
LLMが変化をもたらす方法は二つある。第一に、TikTokのようなアプリでのコンテンツ翻訳のように、プラットフォームやソフトウェア内のコンテンツやデータを変更すること。第二に、PostmanやGoogle検索、Google翻訳のように、特定のソフトウェアやプラットフォームを直接置き換えること。
-
AI音声ツールが変化をもたらす方法も二つある。第一に、Audible用のオーディオブック生成のように、プラットフォームやソフトウェア内のコンテンツやデータを変更すること。第二に、Sing songsアプリのように、特定のソフトウェアやプラットフォームを直接置き換えること。AIが人間と同じタスクを実行できるため、人々が趣味で歌を歌うのが簡単になる。
-
AIが現在のソフトウェアやプラットフォームに与える影響を測定する方法はいくつかある。一つは、AIによって生成または改善されるデータやコンテンツの量を測定すること。もう一つは、AIによって書かれるまたは改善されるコードの量を測定すること。つまり、AIが生成するものを利用して現在のプラットフォームを改善する。さらに、AIは新しいソフトウェアやプラットフォームの発明を助けることができる。
-
製品には三つのタイプがある。生成AI製品、生成AI製品のAPIを利用する製品、その他の製品。
-
一つの製品アイデアは、AIを使ってReddit、GitHub Trending、Twitter Trending、Quora Trending、Zhihu Trendingなどのソーシャルプラットフォームからリアルタイムの情報やニュースを収集することだ。ユーザーはプロンプトを使ってフィードをカスタマイズしたり、特定のソーシャルアカウントを追加したりできる。
-
重要なデータの種類は五つある。テキスト、画像、音声、動画、コード。
-
その他の重要なデータの種類には、数値、地理空間、生体認証、センサー、トランザクション、メタデータ、時系列、構造化、非構造化、半構造化、健康、環境、ログ、ネットワーク、行動データなどがある。
-
Googleはまだウェブサイトのインデックス作成に優れている。特に特定のサイトからソフトウェアやドキュメントをダウンロードしたい場合だ。ドメイン検索のように機能する。情報を見つけるためではなく、他のサイトに移動してタスクを実行するために使う。LLMには最新のダウンロードリンクがないかもしれない。
-
Googleは画像検索でまだ有用だが、LLMはテキスト生成に優れている。それでも、人々はハードウェアの詳細、寸法、物体の形状、人の外見を確認するために本物の画像を好む。
-
AIチャットボットが人気なのは、テキストは画像よりも処理が難しいからだ。人々はAI生成画像よりも本物の画像を好む。画像は一目で理解しやすいからだ。しかし、AI画像生成には未開拓の可能性がある。ユーザーはAIに異なる角度を見せたり、顔をズームインしたり、基板の詳細を拡大したりするよう要求できる。人々は主にテキストを扱うため、AI画像ツールには大きな成長の余地がある。
-
AIは概念の説明と理解の促進に優れている。さらに、ユーザーは特定の詳細について質問できる。これがおそらくAIツールの最も重要な利点だ。
-
私はAIを使って大規模言語モデルについて学んだ。K、Q、Vを理解させてくれた瞬間は素晴らしかった。
-
LLMのリリース以来、Ubuntuを使うのを好む理由は、macOSの豊かでカラフルなアプリが魅力を失ったからだ。私は自分のプログラムを書き、ターミナルとテキストですべてを行うことを好む。