Andrej Karpathy宣布加入人工智能公司Anthropic,认为大型语言模型前沿领域的未来几年将具有特殊意义。他表示很高兴重回研发岗位,同时仍对教育保持热情,计划未来继续投入相关工作。
x-karpathy
16 条来自 x-karpathy 的内容
Karpathy分享了一个实用技巧:在向大语言模型提问时,要求其“以HTML格式输出”回答,然后在浏览器中查看生成的文件。他认为音频是人类向AI输入的优选方式,而视觉(图像/动画/视频)则是AI向人类输出的优选形式——因为人脑约三分之一是专门处理视觉的并行处理器。他预测AI输出将从原始文本→Markdown→HTML→交互式神经视频/模拟逐步演进,并指出当前阶段值得探索的是要求AI输出HTML格式。
卡帕西在红杉资本AI Ascent 2026炉边谈话中分享了三大主题:首先,LLM远不止是提升已有工具的速度,他通过三个例子说明LLM打开了全新可能性——无需经典代码的menugen应用、用.md技能替代.sh脚本安装软件、以及处理非结构化知识的LLM知识库。其次,他探讨了LLM能力"参差不齐"的根源,认为这与领域的可验证性以及经济因素有关——训练数据分布决定了模型在哪些领域表现出色。最后,他讨论了"智能体原生经济",即产品与服务向传感器、执行器和逻辑的分解,以及如何让信息对LLM最大可读。
这是Karpathy分享的一则引文,强调思维方式可以外包,但理解无法外包。核心观点是:你可以让别人替你思考,但无法让别人替你去理解。这句话体现了对学习和理解本质的深刻洞察。
卡帕西分享了观看《拯救计划》的观后感,称赞电影忠实还原了原著的内容与基调,并高度评价了书中对外星生命在生物化学、进化史、感官、心理学、语言及科技体系等方面的科学细节刻画。他认为电影虽有少许超级英雄片的套路感,但核心的“洛基”与兄弟情谊表现得非常出色,是一部值得一看的佳作。
Karpathy 指出,所有大语言模型的个性化功能都存在一个普遍问题:记忆功能对模型的干扰过于强烈。两个月前随口问过的一个问题,会被模型当作用户的深层兴趣,在未来对话中反复提及,显得有些用力过猛。
转发 Nick Levine 的新工作:与 @AlecRad 和 @DavidDuvenaud 合作,推出了 talkie——一个仅使用 1931 年前文本训练的 13B 参数模型。该模型旨在帮助理解语言模型的泛化能力,例如能否教会 talkie 进行编程。视频展示了相关成果。
Zain Shah 分享了一个名为 Flipbook 的原型项目,它能够直接从模型实时流式传输屏幕上的每个像素,无需HTML、布局引擎或代码,实现所见即所得的体验。
安德烈·卡帕西在Sarah Guo的No Priors播客中讨论了工程范式转变、AI精神病、AutoResearch、SETI-at-Home式AI运动机会、模型格局及二阶效应等前沿话题。
LiteLLM的PyPI包1.82.8版本被恶意篡改,安装后会窃取SSH密钥、云服务凭证、API密钥等敏感数据并发送到远程服务器。该恶意版本仅存在约1小时,但由于litellm月下载量达9700万次且被众多项目依赖,影响范围极广。
Karpathy在构建MenuGen时发现,最困难的部分不是编写代码,而是需要集成支付、认证、数据库、安全等各种服务。他期待未来能通过简单指令让AI代理自动完成从开发到部署的整个DevOps流程,将复杂的服务集成工作完全自动化。
作者用LLM花了4小时精心改进博客论点后感觉良好,但让LLM论证相反观点时,它却彻底推翻了原有论点并说服作者相反观点才是正确的。这展示了LLM能熟练论证任何立场,可作为形成个人观点的有用工具,但需注意其迎合倾向。
Axios作为npm上最受欢迎的HTTP客户端库,每周下载量达3亿次,最近遭受供应链攻击。攻击者通过恶意版本植入远程访问木马,突显了未固定依赖版本的安全风险。专家建议通过本地设置、容器化或改变包管理默认配置来防御此类攻击。
LLM知识库
3.5作者分享了使用LLM构建个人知识库的经验:将原始文档索引后,通过LLM自动编译成结构化的Markdown维基,包含摘要、反向链接和概念分类,并利用Obsidian作为前端界面进行查询和可视化,实现知识的高效管理和探索。
作者认为AI将赋能民众,通过处理海量政府数据来增强政府的可见性、可读性和问责制。传统上只有少数专业人士能分析复杂政府信息,而AI将打破这一瓶颈,让更多人参与监督立法、预算、游说等政府行为,从而提升民主社会的透明度与问责机制。
Farzapedia是一个基于个人日记、笔记和对话数据创建的个人维基百科项目,采用"文件优先于应用"的理念,让用户完全掌控自己的数据,并能自由选择AI工具进行处理。这种方法使个人知识变得显式化、可检查,且数据以通用格式存储,确保互操作性和用户自主权。