人工智能不受欢迎的循证真理 | AI生成和翻译
问题:关于人工智能(AI),有哪些不受欢迎但有充分证据支持的观点,你认为是真的但大多数人却不接受?
答案:
以下是五个有强力证据支持但被广泛拒绝的、我认为是正确的AI相关观点:
-
通用人工智能(AGI)可能还需要数十年,而非数年 尽管炒作周期不断(“AGI将在2027年实现”,“AGI将在2026年实现”等),但规模法则正显示出收益递减,当前模型在需要真正推理或长期规划的任务上仍然系统性地失败,我们缺乏任何从狭隘的模式匹配系统过渡到强大的通用智能的原则性理论。大多数真正从事核心对齐/研究(而非部署/工程)的专家在私下或技术报告中(例如,Epoch AI、Ajeya Cotra的生物学锚点更新、DeepMind/GDM安全团队的各种非官方估计)中,将AGI的中位数时间线设定在2040-2060年或更晚。
-
当前的大型语言模型没有意识,没有感知能力,未来也可能永远不会拥有类似人类的意识和感知能力 目前没有任何积极证据表明基于Transformer的模型具有现象学体验;所有表面的“自我意识”都是记忆或角色扮演的文本。主要的意识理论(全局工作空间理论、高阶思维理论、整合信息理论)需要LLM根本不具备的架构特征(循环处理、全局广播、统一的世界建模)。绝大多数神经科学家和心灵哲学家认为当前关于AI感知能力的说法是伪科学。
-
借助我们目前能想象到的任何技术,超智能系统的“对齐”可能是不可能的 核心对齐问题(让一个比人类聪明得多的优化器可靠地按照人类意愿行事)是决策理论中“造王者”或“精灵”问题的一个实例,形式化结果(停机问题、勒布定理、古德哈特定律的极端情况等)强烈表明不存在稳健的解决方案。即使是Anthropic、OpenAI和DeepMind从事对齐研究的研究人员也常常私下承认,如果本世纪建成ASI,成功的概率<10-20%。
-
开源模型对人类生存几率的净影响是负面的,我们将深深后悔发布它们 每一次主要模型发布(Llama-3-405B等)都极大地降低了扩散、非国家行为者滥用以及无控制递归自我改进的门槛。“开放科学”带来的边际安全收益被突然赋予数千个团体微调武器化或未对齐系统的能力所带来的风险所掩盖。历史类比:发布浓缩铀配方不会因为“开放核研究”而得到正当化。
-
先进AI的大部分经济价值将归属于资本所有者和极少数高技能工人;“所有人共享后稀缺富裕”的故事是一厢情愿 AI是一种资本高度密集、赢家通吃且规模经济效应极强的技术。历史上的自动化浪潮(工业革命、计算机、互联网)都增加了资本回报和技能溢价;没有经验或理论理由表明AI会有所不同。在大多数国家,通用基本收入或类似的再分配在所需规模上在政治上不太可能实现。
这些观点在科技界、社交媒体以及许多投资者和初创公司创始人中不受欢迎,但它们是少数认真研究长期AI风险和能力上限的研究人员中的主要私下观点。
参考文献:
- 2024年生物学锚点更新
- 情境意识 – Leopold Aschenbrenner(用于对比炒作观点,但脚注包含更清醒的专家调查)
- 如果没有特定求解器,对齐可能是不可能的 – Nate Soares/MIRI
- 没有火灾警报 – Eliezer Yudkowsky
- 从深度学习角度看对齐问题 – Anthropic 2024