Pensées d'IA | Original, traduit par l'IA
-
Satya Nadella a mentionné le paradoxe de Jevons. Cela vaut la peine d’être appris.
-
Yin Wang : Il n’y a pas « d’intelligence » dans l’intelligence artificielle, pas de « neurones » dans les réseaux de neurones, pas « d’apprentissage » dans le machine learning, et pas de « profondeur » dans le deep learning. Ce qui fonctionne vraiment dans ce domaine s’appelle le « calcul ». Je préfère donc appeler ce domaine « calcul différentiable », et le processus de construction de modèles « programmation différentiable ».
-
Yin Wang : Le machine learning est une théorie vraiment utile, voire belle, car ce n’est que du calcul revisité ! C’est la vieille et grande théorie de Newton et Leibniz, sous une forme plus simple, élégante et puissante. Le machine learning consiste essentiellement à utiliser le calcul pour dériver et ajuster certaines fonctions, et le deep learning est l’ajustement de fonctions plus complexes.
-
Actuellement, les grands modèles de langage ne peuvent pas filtrer par langage de fichier comme YAML ou Python. Pourtant, une grande partie de l’information dans le monde réel est organisée ainsi. Cela signifie que nous pourrions entraîner des grands modèles de langage en utilisant des fichiers.
-
Pour l’entraînement des grands modèles de langage, nous pourrions développer un système trouvant des correspondances exactes. Peut-être pouvons-nous combiner l’algorithme de recherche KMP (Knuth-Morris-Pratt) avec l’architecture des transformers pour améliorer les capacités de recherche.
-
Il n’y a pas de secrets technologiques. L’open source révélera tous les secrets jalousement gardés.
-
L’IA affectera de nombreux outils, y compris indirectement. On dit qu’on n’aura plus besoin de Figma pour dessiner des prototypes, on ira directement au code. Je pense que Postman sera similaire ; les gens utiliseront directement Python ou d’autres scripts pour appeler ou tester des APIs.
-
Une raison pour laquelle nous n’utilisons pas Postman ou Figma à l’ère de l’IA est que leurs fonctionnalités ne peuvent pas être générées par du texte. Ils n’ont pas non plus de raccourci commande + K pour déclencher le remplacement de composants.
-
Les interfaces utilisateur deviennent un obstacle à l’ère de l’IA. Pourquoi mettre à niveau Postman pour qu’il soit optimisé par l’IA pour tester des applications alors qu’on peut directement utiliser la bibliothèque requests de Python ou d’autres langages pour tester du code, puisque ces derniers seront optimisés par l’IA ?
-
Pourquoi mettre à niveau Figma pour qu’il soit optimisé par l’IA pour la création d’interfaces alors que la génération d’interfaces par code, améliorée par l’IA, offre une approche plus directe et potentiellement plus puissante ?
-
Les LLM changeront d’abord les applications liées au texte, comme Google, les moteurs de recherche, les éditeurs de texte et outils d’écriture, Quizlet, Zendesk, DeepL, Medium, WordPress, Trello, Asana, Gmail, GitHub, Goodreads, Duolingo et Feedly.
-
À l’inverse, les LLM ne révolutionneront probablement pas des technologies comme Git, Linux, ffmpeg, les téléphones portables, le matériel, les navigateurs, les systèmes d’exploitation ou les appels vocaux et vidéo. Ces technologies sont centrées sur le code, et leur code n’est pas facilement généré par l’IA, contrairement aux outils de test d’API comme Postman.
-
Les technologies avec plus de code sont difficiles à révolutionner par l’IA, comme OpenOffice, MySQL, Mozilla Firefox, Chromium, VLC Media Player, Qt Framework, LLVM/Clang et GNOME. Si l’IA pouvait aider à créer ces technologies, elles ne seraient pas remplacées. L’IA devrait aider à créer de meilleures technologies, et pour cela, elle aura besoin de plus de puissance de calcul pour générer la même quantité de code.
-
Il y a deux façons dont les LLM peuvent apporter du changement : premièrement, en modifiant le contenu ou les données dans une plateforme ou un logiciel, comme la traduction de contenu dans des applis comme TikTok ; deuxièmement, en remplaçant directement certains logiciels ou plateformes, comme Postman ou Google Search, y compris Google Translate.
-
Il y a deux façons dont les outils audio IA peuvent apporter du changement : premièrement, en modifiant le contenu ou les données dans une plateforme ou un logiciel, comme la génération de livres audio pour Audible ; deuxièmement, en remplaçant directement certains logiciels ou plateformes, par exemple, les applis de chant, car l’IA peut maintenant faire ce que les humains font, rendant plus facile pour les gens de chanter comme hobby.
-
Il y a plusieurs façons de mesurer l’impact de l’IA sur les logiciels ou plateformes actuels. Une façon est de mesurer combien de données ou de contenu peuvent être générés ou améliorés par l’IA, en partie ou complètement. Une autre est de mesurer combien de code peut être écrit ou amélioré par l’IA, en partie ou complètement. Cela signifie que nous utilisons ce que l’IA génère pour améliorer les plateformes actuelles. De plus, l’IA peut aider à inventer de nouveaux logiciels et plateformes.
-
Il y a trois types de produits : les produits d’IA générative, les produits utilisant les APIs des produits d’IA générative, et les autres produits.
-
Une idée de produit est d’utiliser l’IA pour accumuler des informations en temps réel, des actualités ou des mises à jour de plateformes sociales comme Reddit, GitHub Trending, Twitter Trending, Quora Trending et Zhihu Trending. Les utilisateurs peuvent utiliser des prompts pour personnaliser leur flux ou même ajouter des comptes sociaux spécifiques.
-
Il y a cinq types de données importants : texte, image, audio, vidéo et code.
-
D’autres types de données importants incluent les données numériques, géospatiales, biométriques, de capteurs, transactionnelles, métadonnées, temporelles, structurées, non structurées, semi-structurées, de santé, environnementales, de logs, réseau et comportementales.
-
Google reste meilleur pour l’indexation de sites web, surtout si vous voulez télécharger un logiciel ou un document depuis un site spécifique. Cela fonctionne comme une recherche de domaine. Vous ne l’utilisez pas pour trouver des informations, mais plutôt pour naviguer vers d’autres sites pour effectuer des tâches. Un LLM peut ne pas avoir les liens de téléchargement les plus récents.
-
Google fonctionne comme une recherche de domaine ; si vous voulez aller sur un site de dépôt Maven pour vérifier la dernière version, vous pouvez l’utiliser.
-
Google reste utile pour la recherche d’images, alors que les LLM excellent dans la génération de texte. Pourtant, les gens préfèrent souvent des images réelles pour vérifier des détails matériels, des dimensions, des formes d’objets ou l’apparence d’une personne.
-
Les chatbots IA sont populaires car le texte est plus difficile à traiter que les images. Les gens préfèrent les images réelles à celles générées par l’IA, car les images sont plus faciles à comprendre d’un coup d’œil. Cependant, la génération d’images par l’IA a un potentiel inexploité : les utilisateurs pourraient demander à l’IA de montrer différents angles, zoomer sur des visages ou agrandir des détails de circuits imprimés. Comme les gens travaillent principalement avec du texte plutôt qu’avec des images, il y a une marge de croissance importante pour les outils d’image IA.
-
L’IA excelle à expliquer des concepts et à faciliter la compréhension. De plus, les utilisateurs peuvent poser des questions sur n’importe quel détail spécifique. C’est probablement l’utilité la plus significative des outils IA.
-
J’ai utilisé l’IA pour apprendre sur les grands modèles de langage. Le moment où elle m’a aidé à comprendre K, Q et V était merveilleux.
-
La raison pour laquelle je préfère utiliser Ubuntu depuis la sortie des LLM est que les applications riches et colorées de macOS m’attirent moins. Je préfère écrire mes programmes et tout faire via le terminal et le texte.
-
L’IA peut être évaluée par sa capacité à mettre à jour un fichier pom.xml ou requirements.txt vers la dernière version, à mettre à jour des bibliothèques et à effectuer des vérifications. Ce processus peut impliquer beaucoup de travail et peut parfois être complexe.
-
À l’ère de l’IA, les langages de programmation ayant de meilleures performances et robustesse sont plus importants et seront plus populaires, tandis que la syntaxe l’est moins. C’est parce que les LLM aideront à générer du code, le rendant moins contraignant tant que le programme s’exécute bien.
-
Les gens ont tendance à tout lire depuis les chatbots IA car c’est facile à apprendre, ils peuvent poser des questions sur n’importe quel aspect, le format est cohérent et la qualité est souvent parmi les meilleures trouvées sur Internet.