Pensamientos de IA | Original, traducido por IA
-
Satya Nadella mencionó la paradoja de Jevons. Vale la pena aprender sobre ello.
-
Yin Wang: No hay “inteligencia” en la inteligencia artificial, ni “neural” en las redes neuronales, ni “aprendizaje” en el aprendizaje automático, ni “profundidad” en el aprendizaje profundo. Lo que realmente funciona en este campo se llama “cálculo”. Por eso prefiero llamar a este campo “computación diferenciable”, y el proceso de construir modelos se denomina “programación diferenciable”.
-
Yin Wang: El aprendizaje automático es realmente útil, incluso podría decirse que es una teoría hermosa, ¡porque básicamente es cálculo con un nuevo look! Es la antigua y grandiosa teoría de Newton y Leibniz, pero en una forma más simple, elegante y poderosa. El aprendizaje automático es básicamente el uso del cálculo para derivar y ajustar algunas funciones, y el aprendizaje profundo es el ajuste de funciones más complejas.
-
Actualmente, los modelos de lenguaje grandes no pueden filtrar por lenguaje de archivo como YAML o Python. Sin embargo, una parte significativa de la información en el mundo real está organizada de esta manera. Esto significa que podríamos entrenar modelos de lenguaje grandes utilizando archivos.
-
Para entrenar modelos de lenguaje grandes, podríamos desarrollar un sistema que encuentre coincidencias exactas. Quizás podríamos combinar el algoritmo de búsqueda KMP (Knuth-Morris-Pratt) con la arquitectura transformer para mejorar las capacidades de búsqueda.
-
No hay secretos tecnológicos. El código abierto revelará todos los secretos que se guardan celosamente.
-
La IA afectará muchas herramientas, incluidas las indirectas. La gente dice que no necesitarán Figma para dibujar prototipos, irán directamente al código. Creo que Postman será similar; la gente usará directamente Python u otros scripts para llamar o probar APIs.
-
Una razón por la que no usamos Postman o Figma en la era de la IA es que sus funcionalidades no pueden generarse mediante texto. Tampoco tienen un atajo como command + K para activar el reemplazo de componentes.
-
Las interfaces de usuario se están convirtiendo en una barrera en la era de la IA. ¿Por qué actualizar Postman para que sea compatible con IA y probar aplicaciones cuando podemos usar directamente la biblioteca requests de Python u otros lenguajes para probar código, ya que estos últimos estarán potenciados por IA?
-
¿Por qué actualizar Figma para que sea compatible con IA y crear interfaces de usuario cuando la generación de interfaces basada en código, mejorada por IA, ofrece un enfoque más directo y potencialmente más poderoso?
-
Los LLMs cambiarán primero las aplicaciones relacionadas con texto, como Google, motores de búsqueda, editores de texto y herramientas de escritura, Quizlet, Zendesk, DeepL, Medium, WordPress, Trello, Asana, Gmail, GitHub, Goodreads, Duolingo y Feedly.
-
Por el contrario, es poco probable que los LLMs revolucionen tecnologías como Git, Linux, ffmpeg, teléfonos móviles, hardware, navegadores, sistemas operativos o llamadas de voz y video. Estas tecnologías están centradas en código, y su código no es fácilmente generado por IA, a diferencia de herramientas de prueba de APIs como Postman.
-
Las tecnologías con más código son difíciles de revolucionar por IA, como OpenOffice, MySQL, Mozilla Firefox, Chromium, VLC Media Player, Qt Framework, LLVM/Clang y GNOME. Si la IA pudiera ayudar a crear estas tecnologías, no serían reemplazadas. La IA debería ayudar a crear mejores tecnologías, y para eso necesitará más poder de cómputo para generar la misma magnitud de código.
-
Hay dos formas en que los LLMs pueden generar cambios: primero, alterando el contenido o datos dentro de una plataforma o software, como la traducción de contenido en apps como TikTok; segundo, reemplazando directamente ciertos software o plataformas, como Postman o Google Search, incluyendo Google Translate.
-
Hay dos formas en que las herramientas de audio con IA pueden generar cambios: primero, alterando el contenido o datos dentro de una plataforma o software, como generar audiolibros para Audible; segundo, reemplazando directamente ciertos software o plataformas, por ejemplo, apps de canto, ya que la IA ahora puede realizar las mismas tareas que los humanos, facilitando que la gente cante como hobby.
-
Hay varias formas de medir cómo la IA impacta el software o plataformas actuales. Una es medir cuántos datos o contenido pueden ser generados o mejorados por IA, parcial o completamente. Otra es medir cuánto código puede ser escrito o mejorado por IA, parcial o completamente. Esto significa que usamos lo que genera la IA para mejorar las plataformas actuales. Además, la IA puede ayudar a inventar nuevo software y plataformas.
-
Hay tres tipos de productos: productos de IA generativa, productos que usan APIs de IA generativa, y otros productos.
-
Una idea de producto es usar IA para acumular información en tiempo real, noticias o actualizaciones de plataformas sociales como Reddit, GitHub Trending, Twitter Trending, Quora Trending y Zhihu Trending. Los usuarios pueden usar prompts para personalizar el feed o incluso añadir cuentas sociales específicas.
-
Hay cinco tipos importantes de datos: texto, imagen, audio, video y código.
-
Otros tipos importantes de datos incluyen numéricos, geoespaciales, biométricos, de sensores, transaccionales, metadatos, series temporales, estructurados, no estructurados, semiestructurados, de salud, ambientales, de registro, de red y de comportamiento.
-
Google sigue siendo mejor para indexar sitios web, especialmente si quieres descargar software o un documento de un sitio específico. Funciona como una búsqueda por dominio. No lo usas para encontrar información, sino para navegar a otros sitios y realizar tareas. Un LLM puede no tener los enlaces de descarga más recientes.
-
Google funciona como una búsqueda por dominio; si quieres ir a un sitio de repositorios Maven para ver la última versión, puedes usarlo.
-
Google sigue siendo útil para búsqueda de imágenes, mientras que los LLMs sobresalen en generación de texto. Aún así, la gente prefiere imágenes reales para verificar detalles de hardware, dimensiones, formas de objetos o la apariencia de una persona.
-
Los chatbots de IA son populares porque el texto es más difícil de procesar que las imágenes. La gente prefiere imágenes reales sobre las generadas por IA, ya que las imágenes son más fáciles de entender de un vistazo. Sin embargo, la generación de imágenes con IA tiene potencial sin explotar: los usuarios podrían pedirle a la IA que muestre diferentes ángulos, haga zoom en rostros o amplíe detalles de placas de circuitos. Como la gente trabaja principalmente con texto en lugar de imágenes, hay un gran margen de crecimiento en las herramientas de IA para imágenes.
-
La IA sobresale en explicar conceptos y facilitar la comprensión. Además, los usuarios pueden hacer preguntas sobre cualquier detalle específico. Esta es probablemente la utilidad más significativa de las herramientas de IA.
-
Usé IA para aprender sobre Modelos de Lenguaje Grandes. El momento en que me ayudó a entender K, Q y V fue maravilloso.
-
La razón por la que prefiero usar Ubuntu desde el lanzamiento de los LLM es que las aplicaciones coloridas y variadas de macOS me resultan menos atractivas. Prefiero escribir mis programas y hacer todo a través de la terminal y texto.
-
La IA puede evaluarse por su capacidad para actualizar un archivo pom.xml o requirements.txt a la última versión, actualizar bibliotecas y realizar verificaciones. Este proceso puede implicar una cantidad significativa de trabajo y a veces puede ser complejo.
-
En la era de la IA, los lenguajes de programación con mejor rendimiento y robustez son más importantes y serán más populares, mientras que la sintaxis es menos relevante. Esto se debe a que los LLM ayudarán a generar código, haciendo que sea menos problemático siempre que el programa se ejecute bien.
-
La gente tiende a leer todo de los chatbots de IA porque es fácil de aprender, pueden hacer preguntas sobre cualquier aspecto, el formato es consistente y la calidad suele estar entre las mejores que se encuentran en Internet.