美国博士申请与AI行业就业访谈 | 原创,AI翻译
来源:chatgpt.com
A: 李智维,在人工智能与金融交叉领域工作的软件工程师。
B: 金海峰,从事人工智能基础设施工作的软件工程师。
以下对话使用Google Cloud Transcription v2 API转录,然后借助人工智能工具进行整理和优化。原始对话为英文。
目录
- 攻读博士的动机和申请流程
- 主要目标是在美国找到工作
- 博士通过助教或研究助理奖学金资助
- 比有经济援助的硕士学位便宜
- 需要大量联系教授才能获得录取
- 博士学习和导师选择
- 更换导师会 extra 耽误一年
- 平衡导师的生产力与支持度
- 选择时利用在读学生的内部信息
- 研究、编码和职业目标
- 编码技能对研究和工业工作至关重要
- 博士毕业不一定需要发表论文
- 开源项目能有效展示专业知识
- 美国就业市场和全球机会
- 美国提供接触顶级科技项目的机会
- 公司内部调动比应届生申请更容易
- 当前入门级就业市场竞争激烈
- 托福、GRE和语言准备
- 托福和GRE各考了三次
- GRE词汇比托福难很多
- 考试成绩足以满足许多大学申请要求
- 开源开发和AutoKeras
- 开源项目优先考虑可用性而非创新
- 项目早期发布增加成功可能性
- 项目清晰度有时需要重大重构
攻读博士的动机和申请流程
A: 我在车里用我的两部手机,插着澳门SIM卡。你听清楚吗?
B: 是的,我现在能清楚听到你,视频也很流畅。
A: 太好了。如果网络不好,我们可以关掉摄像头。另外,你能把音量调大一点吗?我这边已经是最大了。我正在用我的第二部手机录音以便转录。
B: 我已经把音量调大了。如果需要关掉摄像头,我没问题。
A: 完美,谢谢!顺便说一句,你看起来和我们几年前见面时一样年轻。
B: 谢谢,那大概是六年前的事了,2019年。
A: 酷。你能打开我的网站lzwjava.github.io并分享你的屏幕吗?
B: 当然,我把它发到我的电脑上。我需要分享屏幕的权限;它说主持人禁用了与会者的屏幕共享。
A: 我来调整Zoom设置,允许所有与会者共享。再试一次。
B: 现在可以了。我正在分享。清楚吗,还是我需要放大?
A: 是的,我看得非常清楚。
A: 那么,我问的那个……我想对于这个问题,因为我们是朋友,所以不必那么正式。如果你觉得有些东西很简单,或者你重复太多了,或者如果有些东西在Google或ChatGPT上很容易就能搜到,我们可以跳过。我还没有比较过你对它的了解,我可能漏掉了一些信息。此外,从我的角度看,从AI的角度看,prompt engineering的上下文可能不适合这个。所以我们可以说任何你想说的。如果你想分享更多,你可以分享更多。好吗?
B: 当然,当然。
A: 酷。那么首先,是什么促使你在美国攻读博士学位?
B: 我经常被问到这个问题。首要动机是在美国就业市场找到一份工作,在硅谷最好的科技公司之一工作。那是我的首要目标。硕士学位也能做到这一点,但博士学位通常有助理或奖学金,会更便宜——给我的家庭带来更少的经济负担。所以这就是我决定攻读博士而不是硕士的原因。我的目标类似于许多其他在美国攻读硕士的学生:在美国找到一份收入不错的工作。
A: 酷。我想问:你的博士读了几年,总共花费了多少?
B: 我花了六年时间完成博士学位。五年是标准。我花了六年是因为我在一年左右后换了一次导师,所以我需要重新开始五年。所以,总共六年。
A: 首先,五年或六年的学费。其次,生活费。
B: 如果你获得助学金,比如担任助教或研究助理,你的学费会全部免除。你不需要支付任何费用,他们还会每月给你发工资。我在一个乡村地区工作,距离休斯顿一小时车程的College Station,为德州农工大学工作。我每月获得2000美元的工资,而且没有学费。这足够支付我的生活费;我甚至可以存一些钱。但很多人会去暑期实习,赚得更多。主要的开销是在入学前发生的:申请费、机票、第一个月的房租和押金。这些都需要提前支付。
A: 那笔费用大约10万人民币?10万人民币能负担那笔费用吗?
B: 让我想想。10万?是的。我没有使用很好的中介;我都是自己准备申请材料和邮寄资料的,这省了很多钱。我大概花了4万人民币。
A: 4万。好的,酷。你多付了大约5万人民币给中介来帮助准备申请,那差不多就10万了,对吗?
B: 曾经有一次。我有个请求。你能打开你的iPhone,用备忘录应用录音吗?我的手机正在录音,但我的声音可能不太好。你能在你那边录音,然后等我们结束后把语音备忘录作为m4a文件发给我吗?你正在用你的手机;你能打开它,也在你那边录音吗?
B: 当然,我看看如何在iPhone上录音。
A: 就在“语音备忘录”里。点击红色按钮就行。
B: 明白了。我正在录音。
A: 谢谢!我很感谢。有时我会不小心停止录音,如果丢失了对采访来说将是灾难性的。
B: 没关系,我这边录好了,尽管只是我的声音。
A: 没关系,我的问题不重要。
A: 好的,我收到了你的学费和费用信息。中介和DIY——你是自己做的,好的。他们说……我想问:你也提到了GRE。你没问题。第二个问题是:你以前在北京林业大学,北邮,ACM ICPC。分享你的决定。你在中国赛区获得银牌了吗?背景:你在ICPC获得了铜牌。我觉得去北邮,那就像是……你是奖牌得主还是什么?你去了北京林业大学之前就已经很出名了?你当时想出国吗?还是你在大学的良好成就促成了那个决定?还是你在去美国之前很幸运?我想你省了很多麻烦。所以我觉得那很聪明。去攻读博士之前的经历对你产生了什么影响?
B: 首先,在我去北京林业大学之前,我对出国留学一无所知。去了之后,我看到很多同学准备GRE,计划出国读硕士。我觉得很有趣,但我直到获得了ICPC铜牌才决定自己也要这样做。我需要找到下一个职业目标。我进入大学时就定下的目标——获得那枚奖牌,我已经实现了。经过一些研究,我发现出国留学可能是一件非常好的事情,主要是为了实现我下一个目标,找到一份好的软件工程师工作。这就是我决定出国留学,作为一种找到好工作的方法。
A: 酷。你是第三年拿到铜牌的吗?
B: 第三年。
A: 这里是第三个。我记得你去北京交通大学读过硕士,然后回到北京林业大学,302室,我们第一次见面就是在那儿。
B: 好的,那你那时候……肯定没有你记忆中的那枚铜牌。
A: 你还记得那天吗?我记得你回到北林大处理一些事情,拜访302教研室。你那次回来了。你刚在那个夏天毕业,我那个夏天也去了北京林业大学。那个寺庙,哦,真好。
B: 真令人惊讶,你记得这么清楚。
A: 我只是把它记录下来。你不是只有一次;你可能处理了你的GPA或其他什么。你有时会再回去,对吗?有时两三次。你读硕士之后,有时还会回到本科大学处理GPA或其他什么吗?不,我的GPA。所有的推荐信?我不知道。
B: 抱歉,问题是什么?在你参加北京交通大学的全国性项目之后,根据我的记忆,你有时还会回到北京林业大学吗?
B: 是的,我确实回去过。
A: 你为什么回去?
B: 为了好玩,你知道吗?有编程比赛,还有为社团招募新成员。主要是为了好玩——与我的博士申请无关。那只是为了好玩。
A: 你读硕士课程是两年还是三年?
B: 硕士课程应该是三年,但我在第二年年底去了德州农工大学。我的硕士和博士课程 overlap 了一年。我在两年内完成了所有课程并获得了所需的所有学分,所以第三年我不用留在北邮校园里。
A: 那么你大约在2016年或2017年去了美国?
B: 是2015年。
A: 2015年,这么早。你大约在2020年或2021年毕业?
B: 是的,2021年。
A: 好的,明白了。我去过美国两次。一次是早春三月,我去了硅谷。第二次是2017年,我去了几个地方,比如硅谷、西雅图、纽约和尼亚加拉瀑布。我没能见到你,尽管我尝试了。
B: 是的,我记得你拉斯维加斯发生大规模枪击案时你在那儿,是吗?
A: 是的,没错。我刚下飞机,机场的电视上……我去了附近的一家酒店。当时还没找到枪手,但我很好奇,就去了大规模枪击现场附近,大概100到200米的地方。警察叫我回去,轰我走,因为他们正在忙着抓枪手。人们都在哭。有一名中国篮球运动员也在那里。桌子都关了,人们哭着打电话。酒店里到处都是枪声。太震惊了。你不知道枪手在哪里;他们可能就在你的隔壁房间。有很多警察。太疯狂了。晚上我不得不开着酒店的灯。我终于住进了一家酒店,一直开着灯。枪手?不,不好玩。我发现很难入睡,非常害怕。那时你在德州农工大学。
B: 对,没错。
博士学习和导师选择
A: 你能公开分享吗?如果你的导师更换不是一件好事,你也可以避免回答这个问题。你能分享你转学的原因吗?我想如果你想回顾自己的决定,你也会……因为转学让你 extra 耽误了一两年。如果你没有其他选择,如果你更仔细地选择导师,你就不会转学。所以我认为你转学的原因对去美国的人来说非常重要,对吗?
B: 是的,我认为这很重要;绝对值得学习。主要原因是当时我选择合适教授的标准不够明智。在我北邮读书期间,我看到很多教授对学生要求非常严格,学生们在研究和毕业方面都很艰难。我从不想找那样的教授,所以我的标准是找一个好人——这是第一标准。我与几位教授聊了聊,并选择了最好的那位,他是我的第一位导师。
问题是那位教授在大约一年后就不再想维持她的实验室了。我不知道为什么。她对我说的是她希望我追求我真正感兴趣的东西,但我认为真正的原因是她觉得维持一个研究实验室工作量太大了。她超级好,但也……当一个人超级好而且从不push她的学生时,他们可能也不会很努力。她觉得工作量太大,所以要求所有人更换导师。所以我换了另一位导师。我学到的一点是:你需要找到一个平衡。不要只找最好的教授;要看他们是否高效。理想目标是找到一个对学生好,但也努力且高效的教授。如果找不到,那就努力在这两者之间取得平衡,而不是只优化其中一个。
A: 好吧,我想这也很难提前知道,对吧?
B: 对。你只能从他们的发表记录中以及通过面试来判断。如果你认识那位教授实验室里的学生,你可以直接问他们。
A: 这大概是关于几件事:对性格有多好,有多严厉,以及效率的一般观察。所以那位教授非常好,很有才华,但可能生活太过安逸,所以工作没有完成,她感到不堪重负,最后决定关闭实验室,对吗?
B: 对,我就是这么理解的。她自己没这么说;这是我的理解。
A: 这个调整发生在你加入德州农工后两年 mid-course 的时候,对吗?
B: 只有一年。所以这……
A: 这些调整发生得很早。
B: 是的。
A: 有什么不同?你加入一年后找到新导师,是不是更容易找?还是仍然很难找?
B: 在大学里,第二个导师更容易找。你会有更多的信息来找到合适的导师——了解所有潜在导师的个性。你可以选择合适的,你也可以知道他们选择学生的要求。所以你很可能可以找到合适的导师,并且知道如何通过他们的面试以加入他们的实验室。
A: 酷。我想回顾一下我们的核心内容和进度。今天有多久?在你的公司,还是中场休息?你还能再谈一个小时,半小时,或者10分钟吗?我…
B: 我大概还有半小时左右的完全空闲时间。今天是劳动节,一个假日。
A: 好的,所以是假日。你还有半小时。好的,我们快一点吧。同样的例行公事:我有笔记要做。稍后会有两三个推荐信,然后是GPA,然后是托福成绩,然后是GPA,然后是表彰。然后你联系导师教授,如果申请并收到邮件,你接受,然后你可以用它来办理移民或F签证,做所有这些事情,然后你就可以去了,对吗?主要是什么?会议可能因某些原因结束……我会设置一个新的。好的,当然。如果他们结束了我们,我会设置一个新的。现在我们仍然可以谈。
B: 我可以简单地介绍一下我是如何准备申请的,以及我是如何获得这个的。我没有使用任何中介。我主要是自己撰写所有内容,并在淘宝上使用了一些英语修订或写作帮助服务。他们帮助我修改信件。我还购买了一些广泛使用的服务……我相信他们有一些流行的调查方法。基本上,我都是自己写,然后找人帮我修改,这比全面中介服务便宜。至于签证,我只是填写了所有表格并邮寄了文件。这些都很简单。如果你想省钱,有很多方法,但我认为你不需要使用那些;这没什么大不了的。主要费用是申请费,这是无法避免的。
A: 一所大学的申请费大概是100或200,对吧?大概100或200。
B: 是的,我相信大概是50到150。
A: 50到150,好的。
B: 我填了所有的表格,寄出了文件,但仍然没有收到很多大学的回复。于是我开始联系教授。回复率相当低。对于博士申请,这是你必须要做的事情。当你完成文书工作并寄出后,你需要联系教授。对我来说,回复率是:我发出10封邮件,收到一封回复。其中,录取率是10%。所以在我发出的所有邮件中,录取率是1%——那位教授表示有兴趣与我合作。你必须发很多邮件,除非你有关系。对我来说很难,主要是我没有选择正确的大学名单来申请。我只申请了非常好的大学,所以很难联系到教授。如果你正确估计哪些大学可以给你offer,你就不必发那么多邮件。
A: 你的意思是,你应该选择像德州农工大学这种水平的大学。你也选择了很多像斯坦福、麻省理工这样的大学。你高估了自己的候选人身份;你认为你努力工作,能够进入顶尖大学,但从教授的角度来看,你表现平平,普通。他们看到很多优秀的人才,所以他们的选择标准很高。
B: 我高估了自己,因为我征求建议的人都像你一样——当我尝试申请博士学位时,我问了很多我认识的在职业或申请方面表现出色的人。他们都非常有才华。当我给他们看我的名单时,他们并没有说我高估了自己,因为当他们准备自己的名单时,他们觉得刚刚好。他们从没觉得自己不够好,所以他们无法评估这份名单是否适合我。当你寻求建议时,你总是问那些比你优秀的人,这导致了偏向更好的大学。这就是我高估自己的原因。不要百分之百听从任何人的建议;审视自己的情况,做出正确的决定。
A: 好的,明白了。那么我想快进一下:上面的博士或图片展示了第一次博士申请。如果现在让你再做一次,如果你现在……你可能会觉得我的情况有所不同:北京林业大学辍学,现在获得associate degree,在中国消失了大约10年。但是如果你现在又在北京邮电大学读硕士,凭借你的背景,你会如何修正?你会做得更好的三点或非常简短的五点是什么?你会怎么做?
B: 你可能读得起北邮的课程。
A: 如果你现在回溯10年前。
B: 我如何能更好地为我的博士学位做准备?
A: 是的,你会如何选择你的路线?我们说了几件事:第一,明智地选择导师,做得更好。第二,选择中等水平的,或者德州农工大学或以下水平的,范围更广,而不仅仅是顶尖的。那是不必要的努力,对吧?你还会补充其他什么观点?
B: 不多。最好的情况是与任何已经在读博士项目的学生建立直接联系。从他们那里获取关于任何教授的信息;那会非常有帮助。我申请的时候是盲目的,没有任何指导或内部信息,所以非常困难。我不得不申请很多大学。如果你知道哪个实验室正在招聘以及实验室的情况,你就不必申请很多;你可以专注于少数几个机会最大的。那会有助于指导你的努力。这取决于你的情况;我那时不认识任何在读博士项目的人,但现在信息更容易获取。现在申请的任何人都可以尝试获取更多信息。
A: 好的,明白了。
A: 嗨,嗨,嗨。
B: 是的,那是持续的讨论。
研究、编码和职业目标
A: 第二部分:既然你喜欢编码,关于这个人的音频。你是什么时候想到关键的切换模式?你有三个。既然你喜欢编码多于写论文,你是如何平衡的?我想你曾经在你的公开信息中提到过你不喜欢论文,但后来你做了AutoKeras。在做AutoKeras几年之后,你实际上写了一篇非常好的论文。所以你最终写了一篇非常好的论文,但你用了……所以故事是这样的。你是如何看待论文和编码的?你的兴趣在你的博士旅程中是如何转变的?
B: 编码或软件工程总是重要的。它会在你的研究、求职或以后的职业生涯中帮助你。至于写论文,你需要研究正确的课题,并有正确的研究方法,受到你的同伴和导师——你所处的环境的影响。我不认为我在研究方面做得很好,主要是因为我对成为研究领域的超级明星没有热情。我没有像许多其他博士申请者或学生那样的梦想。我的目标一直是找到一份在美国收入不错的工作。论文会有帮助,但这只是整体评估的一个方面。我不在乎发表超棒的论文;我更关心如何进入大公司。我认为任何博士生都不需要过多担心论文发表。只要你是个好学生,能上基础课,懂得如何编码,理解逻辑、推理、如何写作,你就能满足毕业要求。你不需要对撰写研究论文充满激情或非常擅长才能毕业。
A: 你也做了开源项目;那可以让你逐渐写出来,不需要很高的论文标准,对吧?
B: 对于德州农工大学来说,我认为对发表论文没有硬性要求。只要导师认为可以毕业的学生,就可以毕业。当然,他们需要通过答辩,但通常委员会会同意导师的意见。基本上,这取决于导师的决定;没有硬性要求。
A: 你的博士论文是关于AutoKeras的。
B: 一般而言,但AutoKeras无疑是最重要的部分。
美国就业市场和全球机会
A: 酷。我的雅思成绩是6分,可以吗?2022年,我的雅思成绩是6分。现在三年过去了,我工作,学习,使用英语。这是我的情况。我在北京林业大学读了一年就辍学了。现在在广东外语外贸大学通过了九门计算机科学专业的课程。我还需要七门课——其中四门是计算机科学,比如线性代数或基础电子学。我还有七门课没通过。我在中国消失了大约10年,作为签约工程师为星展银行、汇丰银行等金融项目工作。我也有自己的创业公司,做过一些iOS/Android工程。你认为我必须完成我的副学士学位吗?我有一个副学士学位,不是学士学位。我有两种选择。你有什么建议?我想和你一起去的地方不是美国,而是去香港、新加坡、英国工作。我希望在海外工作,享受互联网自由。我想把我的家人带出去。你有什么建议?
B: 如果你想走我的路——申请海外硕士或博士项目,然后找工作——任何硕士或博士项目都需要学士学位。你可以仔细核实。这条路越来越难;申请人数太多,竞争越来越激烈。对于美国排名前50或100的大学,很多学生来自中国大学,填满了录取名额。
另一种方式是工作调动。例如,如果你在中国为亚马逊或谷歌工作,如果有机会,你可以调到其他国家。这可能更容易,因为你已经证明了自己能够创造价值。你在公司内部更容易接触到机会。这更适合,因为硕士/博士项目非常看重背景;你在与其他人竞争时可能不占优势。最重要的是,当你硕士毕业时,现在美国应届生找工作非常困难。
A: 我不知道这一点,因为我不在美国。我听说过有些困难,但没有……你说得那么难。
B: 我已经好几年没有申请应届生工作了,所以现在对就业市场不太了解。从我听到的情况来看,非常困难。入门级的工作都是中高级的。那些使用人工智能的非常真实,受欢迎。低延迟,程序工程师受欢迎。此外,初创公司,人们现在更明智地喜欢人工智能。如果你做人工智能研究或人工智能工程师,或者非常硬核,人们就会……美国剩下的公司都非常挑剔,因为它们也会失败;它们在10年前就开始了。所以雇主变得更明智地接受非常高的标准。
B: 是的,这也是因为经济原因。每家公司都在努力降低成本,包括员工薪酬和招聘人数。
A: 我也观察到,像一些银行,他们增加了在中国的职位,但削减了新加坡/香港的职位,因为那里的薪水高。最近,很多企业因为疫情和肥胖模型现在不奏效而倒闭。好的。另外:你多次尝试托福和GRE。你考过雅思吗?我也考过。
托福、GRE和语言准备
A: 你考过托福和GRE吗?你各考了多少次,成绩是多少?
B: 我只考了托福和GRE,各考了三次。托福第一次92分,最好成绩107分。GRE第一次315分,最好成绩326分。
A: 每次考试费用是多少,你对最初的成绩失望吗?
B: 托福每次考试费用大约1500元人民币。我对托福92分没有太失望;对很多申请来说已经足够了,但我想要更高的分数。
A: 每次考试间隔了多长时间?
B: 从大学三年级到硕士期间,我每年考一次,一共考了三年。
A: 另外,你去美国后,能听懂所有英文课吗?在口语和听力方面,日常使用时,你是如何学习英语的?
B: 没什么帮助。大学对你在美国日常生活帮助不大。在某种程度上,它帮助我通过了助教考试——在获得助教工作之前进行的口语英语测试。否则,你也可以成为研究助理。至于上课、理解讲座,我认为托福帮助不大。它旨在提供帮助,但与实际的大学讲座相比,它太简单了。
A: 基本上,你……我的雅思成绩大概是6分左右。根据你对我现在水平的了解,以及与你的交流,我能考到100分吗?
B: 是的,我认为100分不算太难达到。你肯定能做到。
A: 谢谢。你读博士的第一年怎么样?很难,对吧?英语,新环境,有点难?
B: 是的。我差点因为一个错误失去了助教工作。我去面试,请人帮我顶课,但我这样做的方式不合适。教授认为我做得不好。我遇到了继续工作的麻烦,但最终一切都解决了。一个教训是:我对 assigned 的任何工作都必须格外负责。人们非常关心这一点;如果我做得不好,就会有后果。
A: 好的,明白了。难度:你觉得GRE的难度是托福的两倍还是其他?
B: 各方面都不同。托福主要评估英语。GRE词汇量绝对是托福的两倍难。数学部分比较容易;一个优秀的中国学生不会觉得难。但词汇、推理、写作绝对是托福的两倍难。
A: 好的,所以基本上托福、GRE是关于英语和数学,对吗?
B: 是的。英语部分主要是推理、阅读理解,用来衡量你的逻辑理解能力。
A: 关于动机:我发现你为攻读博士学位付出了这么多努力,这没关系。我想说:我身边有朋友,他主持了我的创业公司趣直播。他分享了iOS知识。他大约20年前毕业,当时在那里学习。
他有一个同学也毕业于北京师范大学。这位同学去了美国西雅图,在微软北京办公室工作了10年、5年或8年,然后调到西雅图。他得了病,癌症什么的,然后死在那里。他去美国一两年就去世了。有一些关于人们去美国后患上抑郁症的新闻。但很多人,大多数人,过得很好。
我的问题是:现在我认识工程师,我可能擅长代理。所以信息,我认为你和我的可访问性差异不大。我的Apple Store美国账户,开源,我安装了大约500个应用程序。我为什么走你这条路?你认为你选择美国是长远之计吗?如果你生活在1970年代或1980年代,我认为你去美国是超级值得的,因为你有更多的钱。你可以创业,做一些好的事情,你有更多的自由。你住在美国,那里有很多便宜的中国产品。
我住在广州,作为一家大银行的承包商,薪水在当地标准来看算是高的。我为什么旅行?如果我未来的三年除了工作之外,把所有闲暇时间都投入到这件事上,最好的好处是什么?考虑到最佳路径。我们为什么都要去美国?这个东西开源,GPT Cloud 很好。你去那里,但就像中国一样,腾讯,很多人的年薪不到一百万元。所以,我的问题是:你有没有想过你从不后悔?没有后悔。我觉得你过着很好的生活,恭喜你!你很高兴能去美国,对吗?对于普通的中国年轻人来说,去美国值得吗?
B: 如果你的目标是接触最好的技术,那绝对推荐去美国。除非你在中国最好的团队之一,比如智维,或者在豆瓣或中国最好的产品公司工作,那么你肯定不必去。但据我了解,进入这些团队的竞争非常激烈。即使和他们交谈,我也觉得他们的招聘标准非常高。去美国是一个好方法,可以让你处于一个竞争不那么激烈的环境中。你可以接触到更好的项目。
在中国,许多优秀人才争夺少数好项目。而美国,“好项目与竞争人才数量”的比例更高。有很多好项目:Gemini、OpenAI、xAI。好公司,但硅谷的人才数量不及中国。仅仅是争夺职位的竞争人数——硅谷的比例要高得多,这意味着你可以接触到更好的项目。另一个方面是:很多人去美国是为了钱。我不认为在中国工作和在美国工作有很大的区别,因为美国的服务和商品更贵。即使你赚三倍的钱,你也只能买到类似的服务、食物和商品。
实际的区别在于你的工作时长。在美国,你可以花更少的时间工作来获得同样的生活质量。你肯定会花更多的时间来换取这种服务。这对职业发展很重要,因为从长远来看,每个人都需要在职业生涯中转型。例如,我毕业时专攻自动化机器学习,但现在正在转向机器学习系统,更接近硬件编译器。软件工程是我的核心技能。这种转型在未来的某个时候还会再次发生。我们总是需要转型,为此我们需要更多的空闲时间来准备。在美国,你有更多的空闲时间,这至关重要。
A: 转型,怎么拼写?抱歉。
B: P-i-v-o-t。转型。
A: 好的,明白了。将来,你想从事ML系统方面的工作。我也看到有人说美国生活有点轻松,他们回到了中国,比如美团创始人王兴,以及时序数据库创始人TDengine。他回去了;他20年前在美国摩托罗拉工作,回到北京,创办了几家初创公司,现在做开源TDengine,也许身家千万甚至更多。他可以去美国旅行或在全球范围内谈业务。那么,你长期的计划是什么?只是回中国度假?还是考虑将来长期回中国居住。
B: 两种情况都有可能。主要决定因素是中国的整体生态系统。如果中国有更多的创业公司,有公司在技术方面做得很好,那么肯定有可能搬回去。现在有一些不错的:华为、大疆、Taylor,还有像TikTok这样的母公司。有一些不错的。如果整体生态系统变得和美国一样好,我会考虑为了职业发展搬回去。
A: 你在做ML系统,对吧?所以做编译器,做ML的深度辅助,是吗?
B: 是的。
A: 对于我的背景,大概10年,三四年在公司,三年自由职业。我也喜欢全栈大概五六年,以及两年机器学习。我做过GPU,在Coursera获得了两个证书。以我的背景,你为什么认为ML系统最适合你?我现在也想找我的下一个目标。我最近对大量使用云端工具进行编码和学习感到非常兴奋,比如一个月,一百万行代码,几个电脑应用程序。所有都开了几个云端工具实例或者OpenAI的Codex,看看我能生成多少代码。这是作为一个工程师我最兴奋的事情。
以我的背景,如果我做AI模型研究去智维或TikTok,很现实,可能需要更多时间。如果我从AI软件和代理开始,做一些编译器知识来分析程序,提供上下文。最近,我也做了一些工作,使用Spring过滤器记录所有需求HTTP要求并编写测试用例——比如五分钟内我可以生成100个测试用例。这是一个小小的改进。一些prompt engineering,JSON截断以适应上下文限制。你现在对我的看法是什么?如果我做AI模型研究,我只有4070 GPU。也许我可以得到两个GPU?你训练需要多少GPU?你有没有10个非常炫酷的,100个GPU用于大型模型训练?
B: 我自己不进行训练。我主要从事系统工作;研究人员负责训练。我无法直接接触到 GPU;我主要用它们进行测试,这不需要很多 GPU。
A: 测试这个想法,一个GPU就够了,云端也行。你用互联网,或者谷歌云作为一个。
B: 我两者都用。
A: 两者都用,然后。在环境中工作,也需要测试。
B: 是的。
开源开发和AutoKeras
A: 那对我来说,就像工程师一样,十年全栈,只有一年一点机器学习,消失了。你建议我未来五年做什么?
B: 进入AI领域绝对足够了。AI技术栈中的任何东西——应用程序、硬件——做一些与AI相关的事情都很重要,因为就业市场趋势很明确:公司正在解雇从事其他工作的人,并招聘AI领域的人。一定要做一些与AI相关的事情。但进入这个领域很难;在这里开始职业生涯很难。我建议从应用程序入手,因为它需要在硬件编译器框架或建模或数学方面有缺陷的资质。只要了解应用程序、客户需求、大型语言模型知识。那就足够了,然后成为专家。然后你可以在不同角色之间切换,选择最适合你的。应用程序,例如智能代理,是一个很好的起点。
A: 是的,还要分析云代码,他们是怎么做的。两年目标:他们是怎么做的?但仍然需要一些明智的理由来使用它们。一次添加了多少个文件?他们能做什么?如何节省tokens?后台网站应该默认哪种场景,哪些模型有长上下文阈值设置。现在如何达到阈值token,触发长上下文。
B: 是的,你可以构建一个真实世界的应用程序,拥有真实用户,那将是你专业知识的很好证明。
A: 好的。AutoKeras,我看到你说了几件好事:使用开源库,维护,做了一个非常好的开源库。这是一个优势,对工程师非常有益。我看到你分享了几点。关于AutoKeras的最大教训是什么?对于普通观众,追随你的工程师来说,你是一个,这非常重要。你就是那种,对吧?
B: 是的。
A: 最佳许可证是什么?那三件你用了几年才做的非常重要的教训是什么?你深入学习了几件事。但抱歉说实话,我认为TensorFlow普遍输给了PyTorch。AutoKeras建立在TensorFlow之上,也受到了生态系统的影响。你对此有何看法?如果你能回到五年前,你会如何学习或认为自己能做得更好?
B: 我学到了一些东西:如何构建成功的开源项目。首先,需要尽早开始;成为第一个或第二个构建项目的人。如果别人已经构建了……其次,创新不如可用性重要。不要试图……我当时是博士生,试图发表研究论文,但这减慢了我创建令人愉悦的项目的速度。总是优先考虑可用性而不是创新点。你还需要为更改、重构、重写做好准备,当对用户需求更清楚时。永远不要害怕从头开始写。
这就是我用Keras做的事情;在TensorFlow 2.0上从头开始编写。对于TensorFlow市场份额输给PyTorch,我认为AutoKeras影响不大,因为人们现在不太关心AutoML了。这就是项目没有做得更大的原因。不是因为癌症。我不认为我会有什么做得更好的地方。主要的事情:减少研究方面,预先组织可用性。这个项目帮助我证明我在同行中是一名优秀的博士生。扎实的证明;没有多少博士生有这个。这给了我很大的求职优势。但它没有给我其他有助于职业发展的东西。我目前提升职业发展所需的一切都与过去不同。
A: 我想分享一下:F5公司首席工程师王垠。你听说过F5吗?F5是一家全球安全公司,以Global 360等解决方案而闻名。他们收购了一家专注于静态分析的公司,该公司后来被卖给了F5。他们的重点是编译器和代码栈分析,以确保航空航天或军事等领域的客户安全。F5是一家上市公司。这位工程师目前在他们的东京办事处担任首席工程师。他关于AutoML的观点是,它旨在通过减少对PyTorch或TensorFlow等框架中手动注释的需求来简化机器学习。AutoML试图自动化矩阵、向量或张量等操作的编写过程,而不是手动编写这些操作。然而,它通常不如预期那样有效,因为配置AutoML本身就需要大量精力。所以,仍然需要手动完成大部分工作。
他以前也在英特尔工作过,并指出这个解决方案并不理想。基本上,AutoML很难兑现其承诺。另一方面,PyTorch就像机器学习的编译器,它定义了操作、计算梯度(如梯度下降)的函数。所以,虽然PyTorch充当了ML操作的编译器,但像AutoKeras或其他自动化系统通常达不到预期效果,因为完全自动化具有挑战性,手动微调变得必不可少,对吗?
B: 取决于应用。在更简单的情况下,AutoML 会起作用。他说的可能更多是高级情况。AutoML 不适用于所有情况,但肯定有一些简单的,不在 color 中的情况。
A: 但是AutoML无法用在Transformer,GPT Transformer这样复杂的模型中,它做不到。
B: Transformer 相当简单;与其他架构相比,它没有很多超参数。我们不这样做的主要原因是财务方面的。给 AutoML 系统更多的计算资源来寻找更好的解决方案:节省招聘人员的成本,让人们专注于重要的事情。但现在瓶颈不是人。
六七年前,成本随之而来的问题是人——机器学习工程师很昂贵,所以优化计算的生产力使其自动化运行。现在成本瓶颈从人变成了计算——所有计算都用于训练一个任务模型。成本瓶颈是计算;所有钱都花在了计算机上,人的成本变得可以忽略不计。也许有些夸张,所以他们会投入更多的人力,手动工作来节省计算机。这种计算机和人之间的切换使得很多人不愿意将 AutoML 应用于 Transformer。
A: 好的,明白了。这就像Firebase一样:非常容易,云计算很容易,不需要编写后端数据库、服务器。你把所有东西都托管起来以节省机器人,但它们有局限性。使用更多提取权限更高的限制,表达式也带来了便利但也有局限性。
B: 成本是为便利付出更多计算资源。
A: 我看到OpenAI那些人年薪百万美元是很高的,但与模型训练成本相比,微不足道,只有百分之一或二。
B: 好的。
A: 酷。我看到了,明白了,你教了我很多。我很感激。
B: 没问题。我强调一下:最重要的经验是谨慎行事。博士或硕士申请对背景和学位的要求很高,可能不适合你。如果你想走这条路,而不是通过公司内部调动去美国,那么这里的学位对你来说绝对是一条更艰难的道路。
A: 非常感谢。我也有朋友:去香港工作好几年,在贝莱德工作,做可视化,然后是港剧,然后去了美国。
B: 这对你来说绝对是更好的道路。也许可以避免上那些对未来帮助不大的课程。
A: 谢谢你的信息。最后一个问题:你希望从这个项目得到什么?我会负责转录。如果你愿意,可以分享你的博客或想法,也许是关于“智力带宽”或在美国生活10年后的生活变化。
B: 暂时没什么想法。我之后会告诉你。
A: 好的,那我们可以结束通话了。我想保持博客更新——如果有任何你不想包含的内容,我会在分享前删除。你可以先审阅一下。
B: 听起来不错。我也会用语音备忘录把我的录音发给你。
A: 太好了,谢谢。
B: 今天和你聊天很愉快。再次感谢。再见!
A: 再见!