AIの思考 | オリジナル、AI翻訳
-
サティア・ナデラがジェボンズのパラドックスについて言及した。学ぶ価値がある。
-
Yin Wang: 人工知能には「知能」はなく、ニューラルネットワークには「ニューラル」はなく、機械学習には「学習」はなく、ディープラーニングには「深さ」はない。この分野で実際に機能しているのは「微積分」と呼ばれるものだ。だから私はこの分野を「微分可能計算」と呼び、モデル構築のプロセスを「微分可能プログラミング」と呼ぶことを好む。
-
Yin Wang: 機械学習は本当に有用で、美しい理論と言える。なぜなら、それは単に微積分の変装に過ぎないからだ。ニュートンやライプニッツの古くて偉大な理論が、よりシンプルでエレガントで強力な形で現れたものだ。機械学習は基本的に微積分を使って関数を導出し、フィットさせることであり、ディープラーニングはより複雑な関数のフィッティングである。
-
現在、大規模言語モデルはYAMLやPythonのようなファイル言語でフィルタリングできない。しかし、現実世界の情報の多くはこのように整理されている。つまり、ファイルを使って大規模言語モデルを訓練できる可能性がある。
-
大規模言語モデルの訓練のために、完全一致を検索するシステムを開発できるかもしれない。KMP（Knuth-Morris-Pratt）検索アルゴリズムとトランスフォーマーアーキテクチャを組み合わせて、検索能力を強化できる可能性がある。
-
技術的な秘密はない。オープンソースがすべての秘密を明らかにする。
-
AIは多くのツールに影響を与える。間接的なものも含む。人々はFigmaでプロトタイプを描く必要がなくなり、直接コードを書くようになると言っている。Postmanも同様で、Pythonや他のスクリプトを使ってAPIを直接呼び出したりテストしたりするようになるだろう。
-
AI時代にPostmanやFigmaを使わない理由の一つは、それらの機能がテキストを通じて生成できないことだ。また、コンポーネント置換をトリガーするコマンド+Kショートカットもない。
-
ユーザーインターフェースはAI時代の障壁になりつつある。なぜPostmanをAI対応にしてアプリケーションをテストする必要があるのか？Pythonのrequestsライブラリや他のプログラミング言語を使ってコードをテストすれば、それらはAIによって強化されるからだ。
-
なぜFigmaをAI対応にしてUIを作成する必要があるのか？コードベースのUI生成はAIによって強化され、より直接的で強力なアプローチを提供するからだ。
-
LLMはまずテキスト関連のアプリケーションを変える。Google、検索エンジン、テキストエディタ、執筆ツール、Quizlet、Zendesk、DeepL、Medium、WordPress、Trello、Asana、Gmail、GitHub、Goodreads、Duolingo、Feedlyなど。
-
逆に、LLMがGit、Linux、ffmpeg、携帯電話、ハードウェア、ブラウザ、オペレーティングシステム、音声・ビデオ通話などの技術を革新する可能性は低い。これらの技術はコード中心であり、PostmanのようなAPIテストツールとは異なり、AIによって簡単に生成されるコードではない。
-
より多くのコードを含む技術はAIによって革新されにくい。OpenOffice、MySQL、Mozilla Firefox、Chromium、VLC Media Player、Qt Framework、LLVM/Clang、GNOMEなど。もしAIがこれらの技術を作るのを助けられるなら、置き換えられることはない。AIはより良い技術を作るのを助けるべきであり、そのためにはAIは同じ量のコードを生成するためにより多くの計算能力を必要とする。
-
LLMが変化をもたらす方法は2つある。1つ目は、TikTokのようなアプリでのコンテンツ翻訳など、プラットフォームやソフトウェア内のコンテンツやデータを変更すること。2つ目は、PostmanやGoogle検索（Google翻訳を含む）のような特定のソフトウェアやプラットフォームを直接置き換えること。
-
AI音声ツールが変化をもたらす方法は2つある。1つ目は、Audible用のオーディオブック生成など、プラットフォームやソフトウェア内のコンテンツやデータを変更すること。2つ目は、Sing songsアプリのように、特定のソフトウェアやプラットフォームを直接置き換えること。AIが人間と同じタスクを実行できるようになったため、人々が趣味で歌を歌うのが簡単になる。
-
AIが現在のソフトウェアやプラットフォームに与える影響を測定する方法はいくつかある。1つは、AIによって部分的または完全に生成または改善できるデータやコンテンツの量を測定すること。もう1つは、AIによって部分的または完全に記述または改善できるコードの量を測定すること。つまり、AIが生成するものを利用して現在のプラットフォームを改善する。さらに、AIは新しいソフトウェアやプラットフォームの発明を助けることができる。
-
製品には3つのタイプがある。生成AI製品、生成AI製品のAPIを使用する製品、その他の製品。
-
1つの製品アイデアは、AIを使ってReddit、GitHub Trending、Twitter Trending、Quora Trending、Zhihu Trendingなどのソーシャルプラットフォームからリアルタイムの情報、ニュース、更新を蓄積することだ。ユーザーはプロンプトを使ってフィードをカスタマイズしたり、特定のソーシャルアカウントを追加したりできる。
-
重要なデータの種類は5つある。テキスト、画像、音声、動画、コード。
-
その他の重要なデータの種類には、数値、地理空間、生体認証、センサー、トランザクション、メタデータ、時系列、構造化、非構造化、半構造化、健康、環境、ログ、ネットワーク、行動データなどがある。
-
Googleはまだウェブサイトのインデックス作成に優れている。特に特定のサイトからソフトウェアやドキュメントをダウンロードしたい場合に便利だ。ドメイン検索のように機能する。情報を見つけるためではなく、他のサイトに移動してタスクを実行するために使う。LLMには最新のダウンロードリンクがないかもしれない。
-
Googleはドメイン検索のように機能する。Mavenリポジトリサイトに行って最新バージョンを確認したい場合に使える。
-
Googleは画像検索でまだ有用だが、LLMはテキスト生成に優れている。それでも、人々はハードウェアの詳細、寸法、物体の形状、人の外見を確認するために本物の画像を好む。
-
AIチャットボットが人気なのは、テキストは画像よりも処理が難しいからだ。人々はAI生成画像よりも本物の画像を好む。画像は一目で理解しやすいからだ。しかし、AI画像生成には未開拓の可能性がある。ユーザーはAIに異なる角度を見せたり、顔をズームしたり、基板の詳細を拡大したりするよう要求できる。人々は主に画像ではなくテキストを扱うため、AI画像ツールには大きな成長の余地がある。
-
AIは概念の説明と理解の促進に優れている。さらに、ユーザーは任意の詳細について質問できる。これがおそらくAIツールの最も重要な利点だ。
-
私はAIを使って大規模言語モデルについて学んだ。K、Q、Vを理解するのを助けてくれた瞬間は素晴らしかった。
-
LLMがリリースされて以来、Ubuntuを使うことを好む理由は、macOSの豊かでカラフルなアプリが魅力を失ったからだ。私は自分のプログラムを書いたり、ターミナルとテキストですべてを行うことを好む。
-
AIは、pom.xmlやrequirements.txtファイルを最新バージョンに更新し、ライブラリを更新し、チェックを実行する能力によって評価できる。このプロセスには多くの作業が含まれ、時には複雑になることがある。
-
AI時代では、パフォーマンスと堅牢性に優れたプログラミング言語がより重要で人気になる。構文はあまり重要ではない。LLMがコードを生成するのを助けるため、プログラムがうまく実行される限り、手間は少なくなる。
-
人々はAIチャットボットからすべてを読みたがる。学びやすく、あらゆる側面について質問でき、フォーマットが一貫しており、品質がインターネット上で最高レベルであることが多いからだ。