探索人工智能与高性能计算 | AI生成和翻译
Question: 这个博客包含哪些内容？ (https://www.aleksagordic.com/blog)
Answer:
https://www.aleksagordic.com/blog 上的博客由 Aleksa Gordić 维护。他是一位曾任职于 DeepMind 和 Microsoft 的 research engineer，专注于 AI、machine learning 和 high-performance computing。该博客的标语是“计算机是可以被理解的”，旨在通过深入的技术解释使复杂的计算概念变得易于理解。
主要主题
- GPU architecture 和 low-level optimizations —— 特别是 NVIDIA GPUs、matrix multiplication (matmul) kernels、PTX/SASS assembly、warp tiling 和 tensor cores。
- High-throughput AI inference systems —— 例如 vLLM，包括 paged attention、continuous batching、prefix caching 和 large language model (LLM) serving。
- Machine learning 基础和学习指南 —— Reinforcement learning (RL)、geometric/graph ML、transformers、NLP 以及通用的 ML 入门方案。
- 历史与哲学 AI 话题 —— 对基础论文的解读（例如 Alan Turing 的 “Computing Machinery and Intelligence”）以及关于 post-artificial superintelligence (ASI) 世界的推测性文章。
- 个人经历 —— 职业建议（例如如何获得 DeepMind 的工作）、学习策略以及进入 AI 领域的历程。
博客文章的技术含量极高，通常包含 code analysis、图表以及对 state-of-the-art 系统的深入探讨；而早期的文章则包括为各种 ML 子领域的初学者准备的教育指南。
部分近期及著名文章
- Inside NVIDIA GPUs: Anatomy of high performance matmul kernels (2025年9月) —— 深入探讨 GPU matmul optimizations。
- Inside vLLM: Anatomy of a High-Throughput LLM Inference System (2025年8月) —— 详细解释 vLLM 的架构和技术。
- Neocambria (2025年6月) —— 关于 post-ASI 世界中人类地位的哲学探讨。
- ELI5: FlashAttention (2023年) —— 对 FlashAttention 的简化解释。
- Landing a job at DeepMind (2021年) —— 关于在没有 ML 学位的情况下获得 research engineer 职位的建议。
- Learn RL / Learn Geometric ML / Learn transformers / Learn ML (2019–2021年) —— 这些领域的入门指南。
- Computing machinery and intelligence - Alan Turing (2020年) —— 对图灵开创性论文的两部分解读。
- Learning how to learn (2019年) —— 来自 Coursera 课程关于有效学习的建议。
该博客在经历了一段停更期后，于 2025 年凭借高级技术内容重新活跃，并在早期教育类文章的基础上进一步发展。
References: