@natolambert: K3、GLM 5.2、Inkling、DSv4 Flash...很高兴看到开放生态系统拥有一系列卓越的选择,各有不同的优势与不足
开放生态模型群星璀璨,各具优劣,自DeepSeek R1以来机遇众多。
@natolambert:我更看好推理公司/营收达B级的公司更快成为新实验室,而非大多数新实验室自己成为可正常运营的企业
推理公司或高营收公司变成新实验室的速度,远快于新实验室变成正常企业。
@natolambert: Inkling在Tinker成功后几乎是必然——将后训练服务整合到@thinkymachines的整个栈中——是迄今为止最佳的开放模型商业故事之一。
Inkling应运而生,整合全栈后训练服务,堪称开放模型商业典范。
@natolambert: 估算inkling最终强化学习运行的规模?
初步猜测:约1000块GB300加速卡,运行约1周,成本约500万美元。
@natolambert:欣赏Thinky的这种开源方式——发布一个实用的基础供人构建
赞赏Thinky发布实用基础的开源方式,预期其将像Tinker一样超出预期。
@natolambert: Thinky模型,约1万亿参数,410亿激活参数,Apache-2许可
Thinky(1T参数/41B激活,Apache-2)超越Nemotron Ultra,成美国最佳全能输入模型;Agent/多模态稍逊GLM 5.2/Kimi K2.6
@natolambert: Claude Fable 是基于现有教育内容制作优质讲座的又一大步,远胜于 Opus
Claude Fable 基于现有内容制作讲座远胜 Opus,GPT 5.6 尚远,Claude Code 更易处理多类知识任务。
美国又在AI研究领导力上自摆乌龙,堪称“如何退出国际科学网络”的初级教程。
美国AI研究领导力自毁长城,主动脱离国际科学网络。
@natolambert:读了《AI 2040》,赞赏其对透明度的关注,但奇怪为何大谈透明度却不讨论开源
认可《AI 2040》强调透明度,但未讨论开源令人费解。
@natolambert: 我在课程中穿插问答视频。本期涵盖同策略蒸馏与奖励模型推导的修正、常见符号陷阱及更多资源(如@johnschulman2的KL估计博客)。https://t.co/WVI1F5WKJh
Natolambert问答视频讲解同策略蒸馏与奖励模型推导修正、符号陷阱及资源。
中文标题
帮合作者找回被AGI级钓鱼攻击盗取的X账号,因他不像我有名,求援,查看私信。
@natolambert:卖代币和造代币机器都将成为伟大生意,更多构建开源模型的公司会找到盈利方式,开源模型带来注意力,而注意力是收入入口。
卖代币与造代币机皆是好生意,开源模型通过吸引注意力实现盈利。
@natolambert:很高兴宣布@zafstojano——新增的维护者,协助我处理RLHF Book代码——向代码库添加了一个简单的在线策略自蒸馏示例,可用于一些玩具问题。
代码库新增在线策略自蒸馏示例,适用于玩具问题。
@natolambert:我们在中国时,@xeophon 和我顺道拜访了美团。他们一直是我们最喜欢的开源模型构建者之一,因为他们展示了各种公司如何在此取得成功,也让很多人困惑他们为何要制造模型。
Natolambert与xeophon访问美团,称赞其开源模型成功,引发外界对其动机的困惑。
@natolambert: 冲冲冲!今天就把这家伙掏出来!
今天将发布一个与“长猫”相关的项目或内容。
中文标题:中国实验室的创造力与韧性
中文摘要:即使资源不足,中国实验室和Ai2一样充满创造惊人成果的可靠能量。
@natolambert: Together AI 每月处理400万亿个token
Together AI 每月处理400万亿个token。
在当下各种纷扰中,众多公司致力于构建开放模型,这让我充满希望。
众多公司构建开放模型令人鼓舞。
@natolambert: 这是真的,是前沿模型氛围监管的可怕后果
前沿模型氛围监管导致可怕现实后果。
纳特·兰伯特:谈监管俘获与开源攻击,遭更多仇恨
因直言监管俘获与开源攻击遭更多仇恨,叹AI界少有人敢言,但知多人认同。
@natolambert: Anthropic 在蒸馏技术上的政治压力是监管俘获,多数员工在安全面纱下视而不见
Anthropic对蒸馏技术的政治施压实为监管俘获,员工被安全幌子蒙蔽。
膝上狗 + 笔记本电脑 = ?
趣味等式,探讨宠物与电脑的组合效果。
@natolambert: 我常收到反馈说“你的书应该是大语言模型的强化学习书”或“后训练书”,这确实会卖得更好。
作者承认书若定位为LLM的RL或后训练会更畅销,但实为副业项目。
@natolambert:我用一条推文修复了西雅图AI圈,回复者们只需互相交流。
一条推文修复西雅图AI圈,呼吁大家多交流。
@natolambert: 关于开放模型存在许多草率的想法。禁止它们并让美国公司无法使用,但这并不能阻止
禁止开放模型无法阻止全球进展或恶意使用,质疑其实际收益。
@natolambert:当前几个问题
当前三大问题:管理前沿能力的状态容量、管控前沿开放模型、区分蒸馏争议与上述问题。
@natolambert:明日下午在西雅图(Fremont/Ballard)组织小型AI聚会,感兴趣请回复或私信。
明日下午西雅图组织小型AI聚会,欢迎回复或私信参与。
当世界沉迷AGI,领先实验室和政府要求你屈服才能使用其模型
世界沉迷AGI,领先实验室和政府要求用户屈服才能访问模型。
@natolambert:实际上可能更糟
政策180度大转弯,从无到凭感觉,未来不可知,实际更糟。
@natolambert: 我曾认可本届政府的AI政策相当合理(芯片问题混乱得多)
曾认可AI政策,近三个月信任崩塌,美国AI领导力将衰退。
@natolambert: 糟糕的时间线。我们应清楚原因,并为未来更多更强模型的世界做好准备。
呼吁透明,探讨模型能力提升后的未来规划。
@natolambert:我的RLHF书籍旨在为下一代后训练学习打造“互联网上的家”
目标是为后训练学习打造线上家园,通过多形式内容实现持久影响力。
@natolambert:AI公司应更多呈现随时间变化的透明数据,而非带有强烈政策意图的抹黑运动。这看起来太自私了,难以让人支持。
AI公司应透明展示数据而非政策抹黑,自私做法难获支持。
@natolambert: GLM 5.2在CursorBench成本上达到Opus前沿,导致前沿实验室利润率下降
GLM 5.2以Opus前沿成本达成CursorBench,拉低了前沿实验室利润率。
@natolambert: 为GLM增加更多胜利
开源模型虽有短板但应灵活选用,祝贺Zai_org,期待下一版本。
@natolambert: 一次亟需的数据发布!很兴奋能摆弄这些数据。
亟需的数据发布,期待探索使用。
知识渴望自由
知识渴望自由,这是Interconnects的非官方使命宣言,源自@xeophon。
@natolambert:又一个简短的讲座——很多人问过我这本书的预备知识以及需要了解什么,所以我用GLM 5.2制作了一个小讲座来覆盖更多基础知识。
针对书籍预备知识需求,用GLM 5.2制作讲座,涵盖语言模型基础、LM头部等主题。
@natolambert: 我应当补充一点——在线策略蒸馏是我在付印前偷偷塞进书里的最后内容
在线策略蒸馏是付印前最后补充的内容,发展迅速且用途独特。
@natolambert: 新书讲座!名义上关于合成数据,实则梳理蒸馏文献:从Hinton 2015到多教师在线策略蒸馏
新讲座:名义合成数据,实为蒸馏综述(Hinton 2015至多教师在线策略蒸馏),视频7.4小时。
@natolambert:GLM-5.2 应成为智能体的“深度求索时刻”。我们进入了一个顶级智能体能力可在开放模型中获取的新世界
GLM-5.2标志智能体开放里程碑,顶级能力开放可用,需引导监管构建安全前沿的开放智能世界。
@natolambert: TMax:面向终端代理的开放强化学习配方
本文提出开放RL配方TMax,专为终端代理设计,预示2026年中期强化学习研究的重大变革。
生活给我柠檬,我便做成了柠檬水。感觉就像童年。
用逆境创造美好,重拾童年般的心境。
@natolambert:GLM初体验:扎实可靠,5分钟即可在FireworksAI上部署完成
GLM表现扎实,部署快速,5分钟即可在FireworksAI上启动。
@natolambert: 通过GLM 5.2,开源权重模型在Gemini之前迎来了它们在编码能力上的“非常实用”时刻。距Opus 4.5发布约200天。
GLM 5.2开源模型编码实用突破,早于Gemini;距Opus 4.5发布200天。