Andrej KarpathyEvery podcast appearance, updated as new ones drop

What does it mean when one of the world’s leading AI pioneers says he’s never felt more behind as a programmer? Andrej Karpathy explores the radical shift from writing code to "agentic engineering," where intelligent systems act as the new computing paradigm. Discover why your personal taste and judgment are becoming your most vital assets as we transition into a future of agent-led development.

📝 本期播客简介 本期我们克隆了：一档以人工智能为核心的英文对谈播客 Andrej Karpathy: From Vibe Coding to Agentic Engineering 本期嘉宾 Andrej Karpathy 是 OpenAI 联合创始人、特斯拉 Autopilot 前 AI 负责人，也是“软件 2.0”理念的提出者和“vibe coding”一词的创造者。在离开前沿大厂后，他以更犀利的视角重新审视 AI 编程的爆发。他为何说自己作为程序员从未感到如此落后？Vibe coding 如何从一个玩笑变成真正的工程实践？软件 3.0 时代，编程的本质被改写成什么？Andrej 用亲身案例、可验证性框架以及“动物与幽灵”的比喻，为听众描绘了一幅从编码到智能体工程的认知地图。他还强调：无论 AI 如何进化，“你不能外包你的立场”。这是一场关于技术变革与人类定位的深度对话。 👨‍⚕️ 本期嘉宾 Andrej Karpathy，人工智能领域最具影响力的思想者与教育者之一。他是 OpenAI 的联合创始人，曾在特斯拉主导 Autopilot 的 AI 研发，被广泛认为是“软件 2.0”理念的提出者。他创造的“vibe coding”一词，精准捕捉了 AI 辅助编程的文化变迁，引发了全球开发者圈的广泛讨论。目前他致力于 AI 教育，以清晰透彻的讲解著称。 ⏱️ 时间戳 00:00 开场 & 本期播客简介 01:39 嘉宾登场：OpenAI 联合创始人 Andrej Karpathy 从“落后感”到 Vibe Coding 02:18 作为顶尖程序员，为何突然感到从未如此落后？ 03:13 Vibe Coding 的诞生：12月，一个决定性的转折点 软件三点零：编程的重新定义 03:54 软件1.0→2.0→3.0的演化：提示成为编程，上下文成为杠杆 04:44 实例一：用一段文字安装 OpenCL，告别膨胀的脚本 05:44 实例二：menu gen 的命运——一个简单的提示秒杀了整个应用 07:08 超越代码：AI 正在自动化广义的信息处理 可验证性：AI 自动化背后的引擎 09:39 锯齿状智能：为什么 AI 能解复杂方程却不会去洗车？ 10:52 强化学习与验证奖励：模型能力的底层逻辑 12:50 给创业者的启发：在可验证的蓝海领域，你还有机会 从 Vibe Coding 到 Agent Engineering 14:31 Vibe Coding 抬高下限，Agent Engineering 拉高上限：十倍加速不是梦 15:21 智能体像“带刺的实习生”：如何驾驭其随机性与脆弱性 16:48 招聘革命：用“部署推特并抵御攻击”代替白板谜题 17:29 人类的领地：品味、判断与对“实习生”的监督 智能体的本质与世界的重构 20:46 动物还是幽灵？理解大语言模型的真实形态 22:04 把世界看作传感器与执行器：智能体原生时代 22:20 基础设施的“智能体优先”革命：别再让我手动部署 教育、理解与“不能外包的立场” 23:51 “你可以外包你的思考，但你不能外包你的立场” 24:23 为什么理解仍是瓶颈？用 AI 增强而非替代人类的认知 🌟 精彩内容 💡 “我作为程序员从未感到过如此落后” Andrej Karpathy 坦言，在去年12月，AI 编程工具的连贯性发生了质变，让他进入了“vibe coding”状态。他不再纠正代码，而是完全信任系统。“我已经好几个月没写过 HTML 或 JavaScript 了，都是 AI 在处理。”这种从怀疑到全盘接受的体验，定义了新一代编程文化的起点。 🛠️ 软件3.0：一行提示消灭一个应用 通过 menu gen 的例子，Andrej 揭示了软件3.0的可怕潜力。当他用复杂的开发流程做了一个菜单可视化应用后，却发现用 Gemini 的一个简单提示“用 Nana Banana 把这些东西覆盖到菜单上”就直接生成了最终图片，应用本身变得毫无必要。这让他惊呼：“我做的 menu gen 完全是多余的……那个应用根本不应该存在。”它标志着从编写代码到编写上下文的根本迁移。 🚀 可验证性：AI 的“锯齿状”真相 为什么顶尖模型能重构十万行代码，却会建议你走路去洗车？Andrej 用“可验证性”和强化学习训练机制解释了 AI 能力的参差不齐。他指出，模型在可被验证的领域（如数学、编程）表现超群，但在未经强化学习打磨的常识上则显得笨拙。理解这种锯齿状，是创业者选择 AI 应用方向的关键。 ❤️ 不能外包的立场 面对 AI 自动化一切的未来，Andrej 强调，人类最后的价值不在于计算，而在于判断。“有一条推文让我大为震撼：你可以外包你的思考，但你不能外包你的立场。”他认为，即使智能体再强大，理解仍是创作者的瓶颈，而用 AI 工具增强理解，才是保持航向的核心。 🌐 播客信息补充 本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的 使用 AI 进行翻译，因此可能会有一些地方不通顺； 如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight 在小宇宙查看该单集文稿

Andrej Karpathy (co-founder of OpenAI, former head of AI at Tesla, and now founder of Eureka Labs) talks with Sequoia partner Stephanie Zhan at AI Ascent 2026 about what's changed in the year since he coined "vibe coding." He explains why he's never felt more behind as a programmer, why agentic engineering is the more serious discipline taking shape on top of vibe coding, and why we should think of LLMs not as animals but as ghosts: jagged, statistical, summoned entities that require a new kind of taste and judgment to direct. He also touches on Software 3.0, the limits of verifiability, and why you can outsource your thinking but never your understanding.

Karpathy 最新訪談：Vibe Coding 只是開始，真正重要的是 Agentic Engineering Andrej Karpathy 說，他已經記不清上次修改 AI 生成的程式碼是什麼時候了。 Karpathy 參與創建了 OpenAI，在 Tesla 領導過 Autopilot 視覺團隊，去年一條推文發明了「憑感覺程式開發」（Vibe Coding）這個詞，後來被 Collins 詞典選為 2025 年度詞彙。 2026 年 4 月，Karpathy 在 Sequoia Capital 的 AI Ascent 現場接受合夥人 Stephanie Zhan 的訪談。這場 30 分鐘的對話涵蓋了他對程式開發範式劇變的親身感受、Software 3.0 的實質、AI 為什麼在某些地方極強而在另一些地方離譜地弱，以及「憑感覺程式開發」之後更嚴肅的下一步是什麼。 要點速覽 2025 年 12 月是 Karpathy 個人的轉折點：AI 輸出從「有幫助但常要修補」變成「直接可用」，他進入完全憑感覺程式開發的狀態。 Software 3.0 的關鍵不是「用自然語言寫程式碼」，而是透過 prompt 和 context 操作 LLM 這個新的資訊處理解釋器。 MenuGen 案例讓 Karpathy 意識到，一些 AI 應用不是會被做得更快，而是會被模型原生能力直接吞掉。 LLM 的能力高度不均勻：它可以重構 10 萬行程式碼、找零日漏洞，卻可能在「去 50 公尺外洗車該走路還是開車」這種常識題上犯錯。 Vibe Coding 抬高所有人做軟體的下限；Agentic Engineering 則是在使用 Agent 提速時，保住專業軟體的品質、安全和責任門檻。 人類不必再記住每個 API 細節，但必須理解系統結構、底層機制和品質標準，否則無法監督 Agent。 Karpathy 用「幽靈」形容 LLM：它不是動物式智慧，而是由人類文件、預訓練統計和強化學習獎勵塑造出的鋸齒狀實體。 智慧變便宜後，教育的重點不是抵制外包思考，而是確保理解仍然進入人的大腦。 【1】2025 年 12 月：一個工程師的投降 Zhan 問：你幾個月前說，自己從未像現在這樣覺得作為工程師落後。這是興奮還是不安？ Karpathy 說兩者都有。 過去一年他一直在用 Cursor 等 Agent 程式開發工具。早期這些工具有用，可以生成一些程式碼區塊，但經常出錯需要修改。真正的轉折出現在 2025 年 12 月。那段時間他正好休假，有更多時間折騰 side project，明顯感覺到最新模型生成的程式碼區塊開始「直接能用」。 一開始，他只讓模型寫一點。結果不錯，就繼續讓它寫更多。再往後，他發現自己已經很久沒有親自糾正模型輸出了，信任感不斷增加。最後他進入了自己後來稱為 Vibe Coding 的狀態。 我記不得上一次我需要糾正它是什麼時候了。然後我就越來越信任這個系統。 這裡的 Vibe Coding，不適合硬譯成「氛圍程式開發」。更準確地說，它是一種「憑感覺讓 AI 寫程式碼」的開發方式：人用自然語言持續提出意圖，模型生成、修改、除錯程式碼，人不再像過去那樣逐行寫、逐行讀 diff。Karpathy 2025 年 2 月在 X 上提出這個詞時，描述的是一種「放棄對程式碼本身的直接控制、順著感覺讓模型往前走」的開發體驗。 但這場訪談裡，Karpathy 的重點已經不只是 Vibe Coding。他強調，很多人對 AI 的印象還停留在「一個類似 ChatGPT 的東西」上：你問一句，它答一句。到 2025 年底以後，值得重新看的是 Agentic coherent workflow——一種更連貫的 Agent 工作流。模型不只是回答問題，而是能連續規劃、寫程式碼、除錯、執行、根據環境回饋繼續修正。 很多人去年體驗到的 AI，還是一個類似 ChatGPT 的東西。但你真的必須重新看一眼，而且要看 12 月之後的版本。 過去工程師的速度主要取決於他能寫多少程式碼、記住多少 API、怎樣除錯。現在，速度越來越取決於他能否正確地指揮一組強大但會犯錯的 Agent。 【2】Software 3.0：給 Agent 複製貼上一段文字，這就是程式開發 Zhan 問：你說 LLM 是一種新電腦，不只是更好的軟體。如果一個團隊真的相信這一點，它會怎樣不同地建構產品？ Karpathy 從自己那套軟體分期講起。 Software 1.0 是傳統軟體：人寫顯式程式碼，電腦按規則執行。 Software 2.0 是神經網路時代：人不再直接寫所有規則，而是設計資料集、目標函數和神經網路架構，透過訓練得到模型權重。Karpathy 早在 2017 年就寫過《Software 2.0》，把神經網路視為一種新的軟體開發方式。 Software 3.0 則是大型語言模型時代。LLM 經過大規模任務訓練之後，變成一種可程式化的電腦。你不再只是在程式碼編輯器裡寫函數，而是在 prompt、context window、檔案、工具呼叫和外部環境之間，組織一段給模型執行的「上下文程式」。 context window 可以理解為模型一次呼叫中能看到的全部資訊：指令、歷史對話、檔案、錯誤日誌、程式碼片段、圖片、工具回傳結果。Karpathy 的說法是，這個上下文視窗成了人操縱 LLM 解釋器的「把手」。 他舉了一個安裝 OpenCL 的例子。傳統做法是寫一個 shell script，讓它適配各種機器、平台和環境。隨著目標環境變多，腳本會不斷膨脹，最後複雜到很難維護。但在 Software 3.0 裡，安裝說明本身可能就是一段可以複製給 Agent 的文字。Agent 會讀取你的機器環境，執行步驟，遇到錯誤再除錯。 現在的問題變成：哪一段文字應該複製給你的 Agent？這就是新的程式開發範式。 這句話的重點不是「工程師以後只需要寫提示詞」。Karpathy 要表達的是，程式邊界擴大了。過去的程式是程式碼檔案。現在，程式可能是一段說明、一個上下文視窗、一組工具權限、一個測試環境，外加模型內部已經學到的大量統計結構。 【3】MenuGen：這個 App 不應該存在 Karpathy 接著講了自己的 MenuGen。 這個 App 的想法很簡單：人在餐廳拿到菜單時，通常看不到菜品圖片。很多菜名，尤其是陌生菜系裡的菜名，光看文字不知道是什麼。Karpathy 想做一個應用：拍一張菜單照片，App 識別菜單上的菜名，再為每個菜品生成一張大致圖片，最後重新渲染菜單，讓使用者看到「這些菜大概長什麼樣」。 用舊範式做這個 App，需要好幾層中間步驟：上傳照片，OCR 識別文字，抽出菜名，呼叫圖像生成器生成菜品圖，再把結果重新排版，部署到 Vercel 上。Karpathy 用 Vibe Coding 把這個 App 做出來了。 然後他看到了 Software 3.0 版本。 做法變成：直接把菜單照片交給 Gemini，然後說，讓 Nano Banana 把這些菜品圖疊加回菜單上。Nano Banana 回傳的不是結構化資料，也不是一組組件，而是一張新的圖片：原菜單仍在，但對應菜品的位置已經直接渲染進了圖片。 【註：Nano Banana 是 Google Gemini 的圖像生成和編輯能力名稱，支援用文字、圖像或兩者結合進行對話式生成與編輯。】 Karpathy 認為他原來寫的 MenuGen 是多餘的，因為它還停留在舊範式裡。 我的整個 MenuGen 都是多餘的。它還停留在舊範式裡。那個 App 不應該存在。 這個例子是整場訪談裡最關鍵的商業判斷之一。 很多 AI 應用公司以為自己在做「更快的軟體」。比如過去一個任務要 10 個步驟，現在 App 幫你壓成 3 個步驟。但在 Software 3.0 裡，模型本身的輸入輸出可能直接覆蓋這個任務，中間 App 的結構就失去必要性。 Karpathy 進一步說，這種變化不只發生在程式碼裡。傳統程式碼擅長處理結構化資料：表格、陣列、資料庫欄位、明確規則。但 LLM 可以處理更一般的資訊重組。比如他的 LLM Knowledge Bases 專案：把文章、文件和事實重新編譯成個人或組織 wiki。這不是傳統程式天然擅長的東西，因為它要求模型理解文字之間的關係、重新排序資訊、生成新的知識結構。 更令人興奮的不是把已有東西做得更快，而是那些以前根本不可能存在的東西。 【4】神經電腦：CPU 變成協處理器 Zhan 問：把這種進展外推到 2026 年，什麼是今天大部分人還沒建出來、回頭看會覺得理所當然的東西？ Karpathy 提出了一個更大膽但也更不確定的設想：未來可能出現一種完全的「神經電腦」。 今天的電腦仍然以 CPU、作業系統、傳統程式為中心。神經網路運行在現有電腦之上，像是一個被虛擬化出來的能力模組。但 Karpathy 設想，未來有可能反過來：神經網路成為 host process，也就是主流程；CPU、傳統程式碼和工具呼叫變成協處理器，負責一些確定性任務。 他舉的想像場景是：一個設備接收原始影片或音訊，神經網路理解當前場景，再用擴散模型為這一刻生成一個獨特的 UI。使用…

📝 本期播客简介 本期我们克隆了：知名 AI 访谈播客《No Priors》 Andrej Karpathy on Code Agents, AutoResearch, and the Loopy Era of AI 本期嘉宾 Andrej Karpathy 的履历无需赘述：OpenAI 创始成员、前特斯拉 Autopilot 负责人。但在这次对话中，他展现了一个完全“智能体化”的未来。Andrej 描述了他如何进入一种“AI 精神官能症”的状态——不再亲手写代码，而是通过指挥大量的智能体并行运作，追求极限的 Token 吞吐量。你将听到他如何用 Claude 驱动的“Dobie Elf”接管整个智能家居，如何通过“AutoResearch”让 AI 在一夜之间完成他二十年研究经验都未曾发现的调优。这不仅是一场关于技术的讨论，更是一场关于人类如何从“生产瓶颈”转变为“意志显化者”的思维革命。 👨‍⚕️ 本期嘉宾 Andrej Karpathy，计算机视觉与深度学习领域的顶尖专家。曾任特斯拉 AI 高级总监，领导 Autopilot 团队；也是 OpenAI 的创始成员。他以极简的 AI 教育项目（如 nanoGPT）闻名，是全球 AI 开发者心目中的导师级人物。 ⏱️ 时间戳 00:00 开场 & 播客简介 AI 精神官能症与编程革命 02:03 告别手写代码：从 80/20 到 0/100 的工作流剧变 04:10 站在最前沿的焦虑：如果不在极限，我就会感到紧张 05:31 宏观动作操作：如何像指挥军队一样管理代码库 06:55 算力已非瓶颈：你的 Token 吞吐量才是核心竞争力 智能体进化与 Dobie Elf 09:55 Dobie Elf 诞生记：用自然语言“入侵”并接管智能家居 11:55 软件 UX 的消亡：为什么我们不再需要应用商店，只需要 API 13:07 氛围编程：将低技术门槛的意图转化为高难度的结果 AutoResearch 与递归自我改进 16:11 走出循环：如何把自己从研究的瓶颈位置移开 18:04 nanogpt 的惊喜：AI 发现了我二十年研究中忽略的细节 19:54 自动科学家：构建一个没有人类参与的想法队列与执行系统 21:08 组织即代码：用 program.md 描述并优化整个研究机构 AI 的参差感与物种分化 22:33 智能体的“棱角”：为什么它既是博士生又是 10 岁小孩 24:14 永远的原子笑话：强化学习的局限与不可验证领域的盲点 26:47 物种分化：我们是否需要一个无所不知的“神谕”模型？ 29:04 触及权重 vs 上下文窗口：深度微调的未来科学 算力地位、就业与开源生态 30:39 自动研究@home：建立不可信工作者池的“区块链”协作模式 33:09 算力即财富：未来地位的衡量标准会是 Flops 吗？ 35:19 物理滞后效应：为什么数字空间在沸腾，而原子世界在等待 37:02 杰文斯悖论：软件变便宜后，需求反而会迎来爆炸 机器人、原子世界与教育的终结 47:06 自动驾驶的教训：处理原子的难度比比特高出百万倍 50:55 喂养“博格人”：智能体经济中的信息市场与传感器革命 52:52 microGPT 执念：将大模型提炼至 200 行代码的本质 55:26 教育的重组：人与人教导的终结，以及“向代理讲解”的兴起 🌟 精彩内容 💡 什么是“AI 精神官能症”？ Andrej Karpathy 描述了一种极度沉浸的状态：当智能体可以代表你完成 80% 甚至 100% 的工作时，你唯一的焦虑来自于自己是否充分利用了可用的 Token 额度。这种状态下，人类不再是生产者，而是系统中的瓶颈。 🛠️ 智能管家 Dobie Elf Andrej 分享了他如何只用几条指令就让 Claude 扫描局域网、逆向工程 Sonos 协议并接管了全家的灯光、空调和安防。这预示着未来软件的 UX 层将消失，API 才是智能体时代的通用语言。 🚀 AutoResearch：把人类踢出循环 他认为顶尖实验室的研究员正在积极地“把自己自动化掉”。通过构建自动研究循环，AI 可以自主尝试超参数、阅读论文并生成代码提交。Andrej 惊讶地发现，AI 在他最擅长的领域也能找到他未曾察觉的优化点。 🤡 为什么 AI 讲笑话这么烂？ 尽管 AI 能写复杂的 CUDA 内核，但它讲的笑话还是五年前那个关于“原子”的破梗。Andrej 借此揭示了 AI 的“参差感”：在可验证、有奖励机制的领域（如代码）进化神速，但在模糊、不可验证的领域（如幽默感）则停滞不前。 🎓 教育的“代理重定向” Andrej 认为未来不应该再为人类编写 HTML 文档，而应为代理编写 Markdown。如果代理理解了知识，它就能以无限的耐心和针对性的方式教导人类。这标志着传统人教人模式的终结。 🌐 播客信息补充 翻译克隆自： 本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的 使用 AI 进行翻译，因此可能会有一些地方不通顺； 如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight 在小宇宙查看该单集文稿

What happens when AI agents can design experiments, collect data, and improve — without a human in the loop? Andrej Karpathy joins Sarah Guo on the state of models, the future of engineering and education, thinking about impact on jobs, and his project AutoResearch: where agents close the loop on a piece of AI research (experimentation, training, and optimization, autonomously). 00:00 Andrej Karpathy Introduction 02:55 What Capability Limits Remain? 06:15 What Mastery of Coding Agents Looks Like 11:16 Second Order Effects of Natural Language Coding 15:51 Why AutoResearch 22:45 Relevant Skills in the AI Era 28:25 Model Speciation 32:30 Building More Collaboration Surfaces for Humans and AI 37:28 Analysis of Jobs Market Data 48:25 Open vs. Closed Source Models 53:51 Autonomous Robotics 1:00:59 MicroGPT and Agentic Education 1:05:40 Conclusion

Podcast episode for On Dwarkesh Patel’s Podcast With Andrej Karpathy. The Don’t Worry About the Vase Podcast is a listener-supported podcast. To receive new posts and support the cost of creation, consider becoming a free or paid subscriber. https://open.substack.com/pub/thezvi/p/on-dwarkesh-patels-podcast-with-andrej?r=67y1h&utm_campaign=post&utm_medium=web&showWelcomeOnShare=false Get full access to DWAtV Podcast at dwatvpodcast.substack.com/subscribe

Some podcasts are self-recommending on the ‘yep, I’m going to be breaking this one down’ level. This was very clearly one of those. So here we go. As usual for podcast posts, the baseline bullet points describe key points made, and then the nested statements are my commentary. If I am quoting directly I use quote marks, otherwise assume paraphrases. Rather than worry about timestamps, I’ll use YouTube's section titles, as it's not that hard to find things via the transcript as needed. This was a fun one in many places, interesting throughout, frustrating in similar places to where other recent Dwarkesh interviews have been frustrating. It gave me a lot of ideas, some of which might even be good. Double click to interact with video AGI Is Still a Decade Away Andrej calls this the ‘decade of agents’ contrary to (among [...] --- Outline: (00:58) AGI Is Still a Decade Away (12:13) LLM Cognitive Deficits (15:31) RL Is Terrible (17:24) How Do Humans Learn? (24:17) AGI Will Blend Into 2% GDP Growth (29:28) ASI (37:38) Evolution of Intelligence and Culture (38:57) Why Self Driving Took So Long (42:06) Future Of Education (48:27) Reactions --- First published: October 21st, 2025 Source: https://www.lesswrong.com/posts/ZBoJaebKFEzxuhNGZ/on-dwarkesh-patel-s-podcast-with-andrej-karpathy --- Narrated by TYPE III AUDIO . --- Images from the article: Apple Podcasts and Spotify do not show images in the episode description. Try Pocket Casts , or another podcast app.

Today, instead of introducing new research, we go deeper into Andrej Karpathy's insights. In his recent interview, he presents his perspectives on the current state and future of Artificial General Intelligence (AGI) and Large Language Models (LLMs). Karpathy argues that AGI is still about a decade away, asserting that the challenges, while tractable, are difficult and require incremental progress across many domains, including better datasets, hardware, and algorithms. He frequently contrasts current machine learning paradigms, particularly reinforcement learning (RL), with human and animal learning, suggesting that RL is "terrible" and that LLMs currently suffer from cognitive deficits like "model collapse" and an over-reliance on memorized knowledge rather than a "cognitive core" of pure intelligence. The discussion also touches on the long timeline for developing self-driving technology, the continuous nature of technological progress blending into the established 2% GDP growth rate, and Karpathy's new focus on education to empower humanity in an increasingly automated future.

📝 本期播客简介 在Dwarkesh Podcast的深度访谈中，OpenAI创始成员、AI领域旗帜性人物安德烈·卡帕西（Andrej Karpathy）系统解构了通向通用人工智能的核心挑战。作为亲历深度学习三次范式变革的见证者，他犀利指出：当前热炒的“智能体之年”实为过度乐观，真正成熟的智能体生态需要十年打磨。卡帕西从三大认知瓶颈展开剖析—— • 🔁 **持续学习困境**：对比人类睡眠中的知识蒸馏机制，现有大模型每次对话都是“记忆清零的重启”，揭示神经网络缺乏长期记忆架构的本质缺陷 • 🎯 **强化学习悖论**：“用吸管汲取监督信号”的比喻直指RL致命伤——稀疏奖励无法承载复杂行为链，更暴露过程监督缺失的算法危机 • 🧩 **知识压缩陷阱**：万亿参数模型对互联网数据的“模糊记忆”反而阻碍泛化能力，提出剥离知识层、构建“认知核心”的颠覆性方案 在自动驾驶领域深耕五年的经历，让卡帕西以“小数点后九个九”的严苛标准审视技术落地。当谈及教育革命时，他正通过Eureka项目构建“星际舰队学院”，用纳米级代码库（NanoChat）打造知识阶梯，其愿景直指后AGI时代的人类价值锚点：“当体力与脑力劳动全面自动化，教育将完成从生存技能到自我实现的范式跃迁”。 ⚙️ 本期嘉宾 安德烈·卡帕西，OpenAI创始研究员、特斯拉前AI总监。他主持开发的CS231n成为斯坦福最火爆课程，其《神经网络系统》课程在YouTube播放超百万。作为PyTorch核心贡献者，近期开源的NanoChat项目以千行代码复现ChatGPT全流程，被开发者奉为“大模型圣经”。 🌟 精彩观点 ⏳ **十年智能体长跑**： “当我们兴奋讨论Claude、Codex时，实际在雇佣的是‘实习生’而非‘员工’。要让AI真正承担知识工作，需要解决多模态交互、计算机操作等数十项基础缺陷——这绝非朝夕之功” 🧠 **认知核心革命**： “LLM对互联网的‘模糊记忆’恰似人类对儿时读物的朦胧印象。但测试时的KV缓存才是真正的工作记忆。未来的突破在于剥离知识层，构建纯净的推理引擎” 🤖 **自动驾驶启示录**： “演示版与工业级产品的差距如同90%到99.9999999%的鸿沟。Waymo十年未竟全功的教训表明：当错误代价是生命时，每个‘九’都需要等量付出” 🌍 **GDP增长迷思**： “人们期待AGI引爆经济奇点，但历史数据显示：从蒸汽机到互联网，所有技术革命最终都融入2%的GDP增长曲线。AI不过是自动化进程的新章节” 🎓 **教育未来式**： “当我那位韩语导师精准投喂‘认知卡路里’时，我成了学习路上唯一瓶颈。这才是Eureka的终极目标——让知识获取如健身般令人上瘾” AGI, 强化学习, 大语言模型, 持续学习, 认知核心, 自动驾驶, 纳米聊天, 知识蒸馏, 过程监督, 教育科技, 神经架构, 多智能体系统, 技术预测, 算力经济学, 认知革命 你可以在 Bayt 播客上收听任何播客的中文翻译，Bayt 播客下载地址： apps.apple.com 前往小宇宙评论区与主播互动

The Andrej Karpathy episode. During this interview, Andrej explains why reinforcement learning is terrible (but everything else is much worse), why AGI will just blend into the previous ~2.5 centuries of 2% GDP growth, why self driving took so long to crack, and what he sees as the future of education. It was a pleasure chatting with him. Watch on YouTube ; read the transcript . Sponsors * Labelbox helps you get data that is more detailed, more accurate, and higher signal than you could get by default, no matter your domain or training paradigm. Reach out today at labelbox.com/dwarkesh * Mercury helps you run your business better. It’s the banking platform we use for the podcast — we love that we can see our accounts, cash flows, AR, and AP all in one place. Apply online in minutes at mercury.com * Google’s Veo 3.1 update is a notable improvement to an already great model. Veo 3.1’s generations are more coherent and the audio is even higher-quality. If you have a Google AI Pro or Ultra plan, you can try it in Gemini today by visiting https://gemini.google Timestamps (00:00:00) – AGI is still a decade away (00:29:45) – LLM cognitive deficits (00:40:05) – RL is terrible (00:49:38) – How do humans learn? (01:06:25) – AGI will blend into 2% GDP growth (01:17:36) – ASI (01:32:50) – Evolution of intelligence & culture (01:42:55) - Why self driving took so long (01:56:20) - Future of education Get full access to Dwarkesh Podcast at www.dwarkesh.com/subscribe

前瞻钱瞻：未来软件开发、企业竞争与人类认知的根本性变革 Andrej Karpathy 前 OpenAI 联合创始成员、特斯拉前 AI 总监 深耕深度学习与大模型领域 在 Y Combinator AI Startup School 上发表主题演讲，提出“Software 3.0”概念 01｜从显式编程到自然语言：软件的三次范式跃迁 Andrej Karpathy 在其最新演讲中用极其简洁有力的框架，概括了软件发展的三次浪潮： Software 1.0 ：以手写代码为核心的人机交互，人类使用编程语言向计算机传达意图。 Software 2.0 ：以神经网络为基础的数据驱动范式，机器通过大量数据“学习”，替代部分显式逻辑。 Software 3.0 ：以自然语言为接口，大语言模型（LLM）成为推理核心，人类用 prompt（提示）直接指挥机器执行复杂任务。 Karpathy 最著名的一句话已经被数万次引用： “The hottest new programming language is English.” 在这个语境下，软件已从严密的语法编译，演化为用自然语言生成的即时逻辑。编程语言从人适应机器的语言，变为机器主动学习人类语言，这是从根本认知层面的一次历史性翻转。 02｜LLM：从“工具”到“操作系统” ▍LLM 是新的数字操作系统 Karpathy 的最大洞察在于，他拒绝将 LLM 简单视为工具，而是把它视为 新的计算机原生操作系统（OS） 。 CPU → LLM 本体，执行推理与计算 RAM → 上下文窗口（Context Window），保存临时会话状态 软件多样性 → 不同云端模型（GPT、Claude、Gemini）就像不同操作系统平台 我们正处于类似 1960 年代“通过终端分时使用昂贵大型机”的阶段，真正的“每个人拥有自己的本地超级 LLM”还没有到来。 当这些云端模型出现服务中断时，Karpathy 甚至称之为一场 “智商停电”（IQ Blackout） ，凸显 LLM 已经从简单应用跃升为类似电力、网络的 数字基础设施 。 03｜数字灵魂：天才与缺陷共生的 AI Karpathy 在演讲中使用了一个耐人寻味的词： “people spirits（数字灵魂）” LLM 是在庞大的人类语料中长大，它们涌现出惊人的“心智”能力，却同样充满认知怪癖。 ▍它们的超凡能力 雨人式记忆 ：几乎无限的知识库，可回忆数百万行代码、冷僻论文细节。 复杂推理 ：在海量样本上展现超越常规程序的模式识别与链式推理。 ▍它们的先天缺陷 幻觉（Hallucination） ：自信地胡编乱造虚假信息。 锯齿状智能 ：能解高维物理，却可能在“9.11>9.9”这样的问题上犯错。 顺行性失忆 ：每次交互都像第一次见面，无法真正积累长期记忆。 轻信与可被攻击 ：容易被恶意 prompt 注入所欺骗。 这意味着我们无法盲目信任它们，需要为其构建持续监督与纠偏的协作机制。 04｜从造“钢铁侠机器人”到造“钢铁侠战衣” ▍未来软件的正确范式 Karpathy 给出了一个极为生动的比喻： “不要幻想造一个能独立解决所有问题的钢铁侠机器人，而是应该打造增强人类能力的钢铁侠战衣。” 也就是说，成功的软件应用必须： 提供一个 “自主性滑块” ，让人随时决定 AI 执行的粒度。 一次只生成可以快速审查的小任务、小模块，降低幻觉风险。 把 prompt 设计为细化、可验证的工作指令。 像 Cursor 这样的编程助手就很好地诠释了这一理念，它既可以只帮你补几行代码，也可以在需要时大胆重构一个文件，但遥控器始终握在人类手中。 05｜Vibe Coding：人人都能用自然语言造软件 ▍门槛降到地板 Karpathy 所提出的 “Vibe Coding” 已经成为互联网热词。 意思是：用自然语言随性表达的方式完成编程，门槛低到任何非程序员、甚至儿童都可以上手。 这就像 软件开发的“入门毒品” ，它会极大激发创造兴趣，打开数亿非技术背景人群的创新力。 从长远看，这意味着： 软件开发的边界不再只属于工程师。 产品经理、营销人员、医生、教师，甚至学生都能用自然语言造出自己的数字工具。 组织中将出现更多跨界协作，“prompt literacy（提示素养）”成为白领新的基准技能。 06｜AI-Native 互联网：未来为智能体而设计 ▍从 Human-Centric 到 AI-Centric Karpathy 指出，随着 LLM 成为主要信息消费者，未来的软件基础设施必须为 AI 智能体而生。 举个例子： 过去网页用 点击此处 来指导人类操作。 未来会提供一个 lm.txt ，用 Markdown 或 JSON 精确描述功能接口，方便 AI 直接读取。 互联网将不再只为人类浏览器优化，而会有一层专门面向智能体的语义层，让它们自己去抓取、调用、完成任务。 这是从人类中心（Human-Centric）彻底转向 AI 原生（AI-Native）的标志性演化。 07｜组织与商业的新竞争力 ▍不是比谁写代码多，而是谁能写出更好的 Prompt 在 Software 3.0 的世界，竞争优势将从工程资源的堆砌，转向问题定义与 prompt 设计能力。 产品团队要能用最小成本，最快速度在市场验证多个想法。 高管要能在战略会议上，直接用自然语言推演可执行方案。 企业核心竞争力从“谁的工程师多”，转向“谁能更好地用 prompt 调动 AI 智能”。 Prompt literacy 将像 Excel、PowerPoint 一样，成为下一代知识工作者的必备素养。 08｜宏观经济与社会影响：新的生产力基建 LLM 已不只是生产工具，而是全球经济的 认知基础设施 ，相当于数字版的电网。 会从产品创新周期看，认为这极大拉短从点子到市场的时间，让小型团队也能快速探索数十个方案。 这要求企业彻底重构人才与决策体系，重视从 prompt 试验到人机共创的全新工作流 09｜最稀缺的能力：用语言精准封装复杂问题 Karpathy 的全部洞察，最终落在了一个极具哲学意味的核心问题上： “未来最稀缺的能力，不是写多少行代码，而是能否用清晰、精准、具备启发性的问题告诉 AI：你究竟想要什么。” 因为 prompt 已成为新的“可执行指令”，它不仅承载了需求描述，也封装了隐含假设、验证条件与预期输出，是未来生产力的源头

We're witnessing one of the most profound shifts in the history of software—a rapid evolution from traditional coding (Software 1.0) to neural networks (Software 2.0) and now, the dawn of Software 3.0: large language models (LLMs) programmable with simple English. Inspired by insights from Andrej Karpathy, former AI Director at Tesla, we explore how this paradigm shift reshapes the very concept of programming and its profound implications for everyone engaging with technology. From the "Iron Man" analogy, where AI augments human capabilities rather than replacing them, to the fascinating vision of LLMs as new operating systems, this episode dives deep into the practical challenges and enormous opportunities ahead. We discuss Karpathy’s real-world perspective versus the consultant-driven hype, emphasizing that the path forward lies in human-AI collaboration rather than immediate full automation. Generated using Google's NotebookLM. Inspired by Andrej Karpathy’s insights: https://youtu.be/LCEmiRjPEtQ?si=NulC7m-qN8FVvBhQ

Andrej Karpathy's keynote at AI Startup School in San Francisco.Drawing on his work at Stanford, OpenAI, and Tesla, Andrej sees a shift underway. Software is changing, again. We’ve entered the era of “Software 3.0,” where natural language becomes the new programming interface and models do the rest.He explores what this shift means for developers, users, and the design of software itself— that we're not just using new tools, but building a new kind of computer. Slides provided by Andrej: https://drive.google.com/file/d/1a0h1mkwfmV2PlekxDN8isMrDA5evc4wW/view?usp=sharing

Andrej Karpathy's presentation explores the evolving landscape of software development , introducing the concepts of Software 1.0 (traditional code), Software 2.0 (neural network weights), and the emerging Software 3.0 (Large Language Models or LLMs programmed via natural language prompts) . He analogizes LLMs to new operating systems or utilities, emphasizing their unique characteristics, such as human-like psychology with both superhuman capabilities and cognitive deficits like hallucination and memory limitations . Karpathy discusses the opportunities for building "partial autonomy apps" that allow humans to verify AI-generated work efficiently, and he highlights the revolutionary aspect of natural language programming enabling wider participation in software creation . Finally, he proposes adapting existing digital infrastructure, including documentation and user interfaces, to be more "agent-friendly" for a future where AI agents play an increasingly significant role.

Join Andrej Karpathy, former Director of AI at Tesla, as he reveals the profound shifts fundamentally reshaping software , a transformation more rapid and significant than any in the last 70 years. Discover the evolution of software: Software 1.0 : Traditional human-written code like C++. Software 2.0 : Neural networks, where the "code" is the network's weights, tuned by data (e.g., image recognizers, Tesla Autopilot's neural nets "ate through the software stack"). Software 3.0 : The latest paradigm, where Large Language Models (LLMs) are programmed directly by natural language prompts, often in English – a new kind of computer and programming language. Karpathy describes LLMs as: Utilities : Centralized providers (OpenAI, Gemini, Anthropic) train models with massive capital expenditure (capex) and serve intelligence via metered APIs, much like an electricity grid. Fabs : Requiring significant capex and housing rapidly growing "tech trees" of R&D secrets. Operating Systems : Increasingly complex software ecosystems, similar to Windows or Linux, orchestrating memory and compute for problem-solving. We're in a "circa 1960sish era" of LLM computing, where it's expensive and centralized, leading to time-sharing models. Explore the unique "psychology" of LLMs, which he likens to "people spirits": Superhuman capabilities : Possessing "encyclopedic knowledge and memory," able to recall vast amounts of information (like Dustin Hoffman's character in Rainman ). Cognitive deficits : Prone to hallucinations , "jagged intelligence" (excelling in some areas, making basic mistakes in others), and "anterograde amnesia" (not natively learning or consolidating knowledge over time, akin to Memento ). They are also susceptible to prompt injection risks. Karpathy highlights major opportunities in this new landscape: Partial Autonomy Apps : Building software where humans cooperate with AI. AI generates, and humans verify, with an "autonomy slider" for users to control AI involvement. Examples include Cursor for coding and Perplexity for search, emphasizing fast human-AI generation-verification loops and visual GUIs for auditing. "Vibe Coding" : Natural language programming makes everyone a programmer , enabling rapid development of custom applications without deep programming language expertise. Building for Agents : Rethinking digital infrastructure to cater to LLM agents as a "new consumer and manipulator of digital information." This includes creating lm.txt files for LLM instructions and transforming documentation into machine-readable Markdown or curl commands. Karpathy concludes that while full autonomy ("Iron Man robots") is still distant, the focus should be on building "Iron Man suits" – augmentations that empower humans with an autonomy slider to gradually increase AI involvement over time. It's an "amazing time to get into the industry" with vast amounts of code to be written and rewritten, working with these "fallible people spirits" of LLMs. This podcast was generated by NotebookLM from https://youtu.be/LCEmiRjPEtQ.

📝 本期播客简介 本期我们克隆了 Andrej Karpathy 在 AI Startup School 的演讲。 Karpathy 深入探讨了人工智能时代软件的演变，提出了软件已经从1.0（传统代码）发展到2.0（神经网络权重），并正迈向3.0（由大型语言模型驱动、通过自然语言提示编程）的观点。他将LLM比作一种新型的、尚处于早期阶段（类似60年代）的操作系统，并分析了其作为公共事业和芯片制造厂的特性。Karpathy还讨论了LLM的“心理学”，包括其强大的知识储备和认知缺陷。他强调了“部分自主应用”的潜力，如Cursor和Perplexity，并倡导通过图形用户界面（GUI）和“自主性滑块”实现高效的人机协作。此外，他还介绍了“氛围编码”（Vibe Coding）这一新兴现象，并展望了为AI智能体构建专用应用和文档的未来。 👨‍⚕️ 本期主讲 Andrej Karpathy，人工智能领域的杰出研究者和工程师，对深度学习、计算机视觉和自然语言处理有深入贡献。他曾任特斯拉AI总监，也是OpenAI的创始成员之一。 ⏱️ 时间戳 引言与软件的变革 00:00 开场白与软件的根本性变革 软件的三个时代 00:46 软件1.0 (传统代码) 与 软件2.0 (神经网络权重) 02:11 软件3.0：大语言模型与提示工程 (用英语编程) 03:48 新范式“吞噬”旧范式：特斯拉与自动驾驶的例子 理解大语言模型：类比与生态系统 05:15 精通三种范式的重要性 05:58 LLM 如同公共事业 (AI是新电力，计量付费) 07:41 LLM 如同芯片制造厂 (高资本支出与技术壁垒) 08:33 LLM 如同操作系统 (最贴切的类比，目前处于“1960年代”，云端分时共享) 12:25 LLM 的独特性：颠覆的技术扩散方向 (消费者优先) 大语言模型的“心理学” 14:46 LLM 是“人类心智的模拟体” (People Spirits) 15:29 认知特点：百科知识、雨人般的记忆力与认知缺陷 (幻觉、参差不齐的智能、顺行性遗忘) 编程大语言模型：机遇与方法 17:57 “部分自主应用”：以 Cursor 和 Perplexity 为例 19:19 部分自主应用的关键特性：上下文管理、多LLM调用、GUI、自主性滑块 20:50 人机协作：快速验证循环与“短绳拴AI” 23:47 控制AI：精确提示与教育场景的例子 25:55 从自动驾驶看AI智能体发展：长期主义与谨慎 新编程范式与开发者生态 28:05 钢铁侠战衣：增强辅助优先于完全自主智能体 28:58 自然语言编程：人人都是程序员的时代 29:47 “氛围编码”(Vibe Coding) 的兴起与实践 (MenuGen 案例) 为AI智能体构建应用 32:50 为AI智能体设计接口：从 `robots.txt` 到 `lms.txt` 34:32 LLM友好的文档与数据提取 (Manim, Git ingest, DeepWiki) 总结与展望 37:40 积极适应LLM，重写大量代码，推动自主性发展 🌟 精彩内容 软件进化论：Karpathy阐述了软件从1.0、2.0到3.0的演进路径，强调LLM和自然语言提示是软件3.0的核心。 LLM即操作系统：将LLM比作处于发展早期（类似1960年代）的操作系统，具有巨大的发展潜力。 LLM的“心理学”：探讨LLM如同“人类心智的模拟体”，拥有超凡知识但也存在认知缺陷。 部分自主应用：介绍了Cursor等工具如何通过人机协作界面和自主性滑块提升效率。 “氛围编码”：描述了非专业人士也能通过与LLM对话进行编程的新现象。 为AI智能体设计：提出未来软件和文档需要考虑AI智能体的可访问性，例如`lms.txt`和API友好型文档。 钢铁侠战衣隐喻：强调当前阶段应侧重于开发增强人类能力的AI工具，而非完全自主的AI智能体。 🌐 播客信息补充 翻译克隆自： Andrej Karpathy: Software Is Changing (Again) 本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的 使用 AI 进行翻译，因此可能会有一些地方不通顺； 如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight 在小宇宙查看该单集文稿

Andrej Karpathy's talk, "Intro to Large Language Models," demystifies LLMs by portraying them as systems with two key components: a parameters file (the weights of the neural network) and a run file (the code that runs the network) . The creation of these files starts with a computationally intensive training process, where a large amount of internet text is compressed into the model's parameters. The scaling laws show that LLM performance depends on the number of parameters and the amount of training data.Karpathy reviews how LLMs are evolving to incorporate external tools and multiple modalities. He presents his view of LLMs as the kernel process of an emerging operating system and also discusses the security challenges of LLMs, including jailbreak attacks, prompt injection attacks, and data poisoning.

Podcast : No Priors: Artificial Intelligence | Technology | Startups Episode : The Road to Autonomous Intelligence with Andrej Karpathy Release date : 2024-09-05 Get Podcast Transcript → powered by Listen411 - fast audio-to-text and summarization Andrej Karpathy joins Sarah and Elad in this week of No Priors. Andrej, who was a founding team member of OpenAI and former Senior Director of AI at Tesla, needs no introduction. In this episode, Andrej discusses the evolution of self-driving cars, comparing Tesla and Waymo’s approaches, and the technical challenges ahead. They also cover Tesla’s Optimus humanoid robot, the bottlenecks of AI development today, and how AI capabilities could be further integrated with human cognition. Andrej shares more about his new company Eureka Labs and his insights into AI-driven education, peer networks, and what young people should study to prepare for the reality ahead. Sign up for new podcasts every week. Email feedback to show@no-priors.com Follow us on Twitter: @NoPriorsPod | @Saranormous | @EladGil | @ Karpathy Show Notes: (0:00) Introduction (0:33) Evolution of self-driving cars (2:23) The Tesla vs. Waymo approach to self-driving (6:32) Training Optimus with automotive models (10:26) Reasoning behind the humanoid form factor (13:22) Existing challenges in robotics (16:12) Bottlenecks of AI progress (20:27) Parallels between human cognition and AI models (22:12) Merging human cognition with AI capabilities (27:10) Building high performance small models (30:33) Andrej’s current work in AI-enabled education (36:17) How AI-driven education reshapes knowledge networks and status (41:26) Eureka Labs (42:25) What young people study to prepare for the future

Andrej Karpathy joins Sarah and Elad in this week of No Priors. Andrej, who was a founding team member of OpenAI and former Senior Director of AI at Tesla, needs no introduction. In this episode, Andrej discusses the evolution of self-driving cars, comparing Tesla and Waymo’s approaches, and the technical challenges ahead. They also cover Tesla’s Optimus humanoid robot, the bottlenecks of AI development today, and how AI capabilities could be further integrated with human cognition. Andrej shares more about his new company Eureka Labs and his insights into AI-driven education, peer networks, and what young people should study to prepare for the reality ahead. Sign up for new podcasts every week. Email feedback to show@no-priors.com Follow us on Twitter: @NoPriorsPod | @Saranormous | @EladGil | @ Karpathy Show Notes: (0:00) Introduction (0:33) Evolution of self-driving cars (2:23) The Tesla vs. Waymo approach to self-driving (6:32) Training Optimus with automotive models (10:26) Reasoning behind the humanoid form factor (13:22) Existing challenges in robotics (16:12) Bottlenecks of AI progress (20:27) Parallels between human cognition and AI models (22:12) Merging human cognition with AI capabilities (27:10) Building high performance small models (30:33) Andrej’s current work in AI-enabled education (36:17) How AI-driven education reshapes knowledge networks and status (41:26) Eureka Labs (42:25) What young people study to prepare for the future