杰罗姆·弗里德曼与梯度提升算法 | AI生成和翻译

Home 2025.11

杰罗姆·H·弗里德曼简介

杰罗姆·哈罗德·弗里德曼，1939年12月29日出生于加利福尼亚州尤里卡小镇（靠近俄勒冈州边界），是美国开创性统计学家，也是现代机器学习和数据挖掘发展中最具影响力的人物之一。他拥有物理学背景，将高能粒子物理学的计算方法引入统计学，创造了处理大型复杂数据集的实用算法。他的工作强调可解释、稳健的预测和模式发现模型，影响了从搜索引擎到生物信息学等多个领域。弗里德曼发表了70多篇论文，合著了《分类与回归树》（CART，1984年）和《统计学习基础》（2001年）等开创性书籍，并获得了包括入选美国国家科学院（2010年）、美国艺术与科学院（2005年）以及多项数据挖掘和统计方法创新奖在内的荣誉。

梯度提升原始论文（弗里德曼，2001年）

弗里德曼于2001年8月发表在《统计年鉴》上的里程碑论文《贪婪函数逼近：梯度提升机》将梯度提升形式化为一种适用于回归和分类的多功能集成方法。基于计算机科学家约夫·弗罗因德和罗伯特·沙皮尔等人早期关于提升的思想（主要关注分类错误），弗里德曼通过“函数梯度下降”框架将其扩展到任意损失函数。核心思想是：迭代地添加弱学习器（通常是简单的决策树），使其拟合当前残差损失的负梯度，从而像函数空间中的随机梯度下降一样逐步最小化误差。

关键创新包括：

这篇论文（作为他1999年的里茨讲座发表）引发了广泛采用——像XGBoost和LightGBM这样的实现如今主导了Kaggle竞赛和工业界。它被引用超过20,000次，将集成学习从启发式方法转变为基于统计的强大工具。

他的故事：从小镇修补匠到机器学习先驱

弗里德曼的旅程读起来像一部由好奇心驱动的经典重塑故事。他在一个乌克兰移民家庭中长大——他的祖父母在1930年代创办了一家洗衣店，由他的父亲和叔叔经营——他在高中时自称是“戏剧性的低成就者”。对书本不感兴趣，但对电子设备着迷，他制作了业余无线电、晶体收音机和高电压发射器，与全球的短波操作员聊天。一位朋友的无线电爱好者父亲指导了他，但他的校长警告他会在大学不及格。他没有气馁，先是进入洪堡州立大学（现加州州立理工大学洪堡分校）度过了两年派对和基础科学的学习，然后在1959年与父亲协商后转入加州大学伯克利分校。在那里，一位出色的物理学教授吸引了他；他于1962年获得物理学学士学位（平均成绩B+/A-，在成绩通胀前实属不易），同时从事消防和无线电等零工。

他于1967年获得高能粒子物理学博士学位，在劳伦斯伯克利实验室路易斯·阿尔瓦雷斯的传奇团队中专注于气泡室中的介子反应。在越南战争期间通过学生延期服役躲避征兵，他投身于计算——用机器语言和Fortran在古老的IBM机器上编程散点图。这引发了一次转变：胶片上的手动模式识别催生了像Kiowa（探索性数据分析）和Sage（蒙特卡洛模拟）这样的软件，将物理学与统计学融合。博士毕业后，他留任博士后（1968–1972年），但实验室的变动迫使他离开。

1972年，他成为斯坦福直线加速器中心（SLAC）计算研究组的负责人，与妻子和年幼的女儿从伯克利通勤。领导约10名程序员，他在尖端硬件上处理图形、算法和物理学家工具。休假期间——例如在欧洲核子研究中心（CERN，1976–1977年），他编写了自适应蒙特卡洛代码——拓宽了他的视野，但SLAC的强度适合他的风格。界面会议让他结识了统计学巨匠：约翰·图基（投影寻踪，1974年）、利奥·布雷曼（CART合作，1977年起）和沃纳·斯图茨勒（回归扩展）。

到1982年，他兼职加入斯坦福大学统计系（1984年成为全职教授；1988–1991年任系主任；2007年荣休），同时平衡SLAC的领导职务直至2003年。他的“随机游走”研究——通过代码和经验主义解决棘手问题——产生了突破：

作为多产的顾问（例如，Google 2011–2014年，Yahoo 2004–2005年），他将CART软件等工具商业化，影响了搜索引擎及其他领域。受图基的操作焦点（“告诉我步骤”）和布雷曼的实用主义影响，弗里德曼避开繁重的理论，追求优雅、可测试的算法。他边学边做统计学——没有正式课程——视自己为处理数据挖掘混乱的“机会主义者”。与“才华横溢”的学生和同事的合作激励着他；他于2006年从SLAC领导职务退休，但继续咨询和写作。

他现在在哪里？

截至2025年，85岁的弗里德曼仍作为荣休教授与斯坦福大学统计系保持联系，通过他的遗产和偶尔的工作持续影响该领域。他的斯坦福个人资料将他列为机器学习的活跃研究者，最近的更新（例如，美国艺术与科学院，2025年9月）强调了他持续获得的认可。没有完全退休的迹象——鉴于他的历史，他可能偶尔进行咨询或指导。他居住在湾区，忠于他的加州根源。

参考文献

Back

x-ai/grok-4-fast

Donate