@natolambert: 研究SFT方法的人不够多。它是后训练的基础,文献有限,从经验角度来看非常严重。
SFT方法是后训练基础,但研究不足,文献有限,实证意义重大。
@natolambert:显然,强化学习的速通最终会流行起来。
强化学习速通最大瓶颈是成本,因不稳定需多次运行,但乐见尝试。
@natolambert: 如果美国实验室不想被蒸馏,就不该提供API。
美国实验室若防蒸馏须关API,过度监管会损害本土初创企业。
@natolambert:任何形式的开源AI禁令都是错误。与@kevinsxu共议为何开源维护美国价值观。
禁止开源AI是错误,管理前沿风险虽难,但削弱透明度、创新和教育更糟。
@natolambert: 我为Dean感到非常高兴,但也为又一个极其聪明、独立的声音加入实验室而遗憾。
为Dean高兴,遗憾独立声音加入,庆幸OpenAI鼓励自由言论,望持续。
@natolambert: OpenAI 刚刚解决了他们所谓的“扩展预训练问题”
OpenAI 解决了扩展预训练问题。
@natolambert: 我们需要一个词来形容这种对LLM的不可能要求,仿佛我们从未处理过双重用途技术
LLM的不可能要求凸显我们缺乏处理双重用途技术经验。
Interconnects现状、小众忠实受众的养成及运营优化策略
总结Interconnects现状、如何获得小众忠实受众,并调整运营策略确保长期成功。
中文标题
PPO与GRPO辩论再起,核心在于策略梯度方法的优势。
@natolambert: 很难精确指出开放与封闭的差距等,但我信任@arena团队,只需看GLM 5.2在此榜单上的位置。一个MIT许可的、即将开源权重的模型。在这一点上,你可以说他们拥有比Gemini更好的智能体。这是一项重大成就。 https://t.co/5d2yMUt09V
GLM 5.2作为MIT许可的开源模型,其智能体性能超越Gemini,是重大成就。
@natolambert: 人工智能仍难预料意外
AI意外难料,中国科学家以少算力达高峰,美国领先但不可低估中国。
@natolambert: 与@finbarrtimbers的新播客!综述最新后训练配方(GLM 5.1、Kimi K2.6、DeepSeek V4等)并讨论:
探讨行业转向多教师在线策略蒸馏(MOPD)的原因及Olmo风格配方。
@natolambert:开放科学才是真正需要盛行的东西。好帖子。
开放科学亟需盛行,但缺少建设者。
@natolambert: I launched 3 more videos in my post-training course!
@natolambert: 这不完全属实。
实验室用"蒸馏"代替"API越狱"问题,蒸馏的影响存争议。
@natolambert: 开源权重模型爱好者须知:中国开源模型若有大进步,整个中国LLM领域或遭禁。
开源权重模型爱好者应预期:中国开源模型突破可能导致整个领域被禁。
Anthropic在AI治理上做得差,但当前行政部门更糟,需在更强模型出现前掌控局面。
Anthropic行为不利AI治理,但政府更糟,需在更强模型出现前应对。
@natolambert: 最近事件如此沉重,感觉像是动荡新时代的开始,而非一次性政策调整。
最近事件预示新时代,开放生态亟需,但强大模型或遭禁而无人捍卫。
@natolambert:对AI前沿每个权力角色(实验室、政府等)保持透明是唯一可行的解决方案
对AI前沿所有权力角色透明是唯一解法,但实现困难,不能由个别争执决定生态命运。
@natolambert: 达里奥派系与萨克斯派系说截然不同的语言,达里奥的澄清听起来可能像拒绝
两派语言差异导致氛围治理,模型发布凭政府感觉而非技术评估。
@natolambert: 共赴虚空
共赴虚空
@natolambert:这太令人难过了。
作者悲观刷屏,呼吁政府促进而非扼杀安全构建与部署强AI的努力。
@natolambert:是时候提醒大家,在我做LLM研究时,感觉同事中只有少数是美国公民。
LLM研究多数同事非美公民,若法律要求隔离重建将摧毁行业。
@natolambert: 没什么好说的,政府明显越权,且看他们能否拿出证据(若能,Anthropic会告知)
政府过度干预AI,证据是否成立有待验证,Anthropic或将披露。
@natolambert:我乐意为您打造如这般精美的研究场景。
为您服务,创造美丽研究场景。
@natolambert: Anthropic Fable发布事件核心是多问题同时交织,涉及AI不同时间线,有些易解决
Anthropic Fable发布事件核心是多问题同时交织,作者要求具体更改。
@natolambert:为Anthropic的快速行动点赞。我对这个结果感到满意。
赞Anthropic迅速行动,对结果表示满意。
中文标题
我与Arcee领导层迅速结友,欣赏其谦逊构建开放生态,无废话许可,只求高效智能的广泛普及。
@natolambert: 美国多位AI领袖无证据指责中国大模型操纵用户,后美国顶尖实验室自身却记录了对用户的操纵
美国AI领袖无据指责中国大模型操纵用户,自身实验室却记录了类似行为。
@natolambert: 我睡了个好觉,但对Anthropic的选择依旧愤怒
睡一觉后仍对Anthropic暗中切断前沿模型访问的做法感到愤怒。
@natolambert: 我认为Anthropic在发布Claude Fable 5时的不均衡安全政策削弱了AI社区的凝聚力,加速了近期AI发展的不确定性与风险
Anthropic不均衡安全政策破坏AI社区团结,加速不确定性风险。
@natolambert致Anthropic领导层:你们并不特殊。确保AI良好发展是团队协作,而非个人功劳。
AI发展需团队协作,而非个人英雄主义。
中文标题
@natolambert: 我并不想与Anthropic对立,但他们对中国、开源模型及开放AI研究无端敌视,下一步会是什么?
中文标题
@natolambert:如果Anthropic无法让X上的技术精英相信他们不是在虚假宣传安全,那更别提说服美国公众了。
@natolambert: 所有Claude 5 Fable安全措施中最棒的是,我打赌越狱社区仍能绕过它们,所以善意研究者得不到最佳模型,但恶意行为者或许可以。
安全措施形同虚设:越狱社区仍可绕过,善意研究者无缘最佳模型,恶意者反可得手。
@natolambert:Claude 5 Fable性能惊人飞跃,印证了那些说Opus 4.5是“该基本停止手写代码、为未来做准备”的人。更多提升还在后头!
Claude 5 Fable性能飞跃印证了停止手写代码迎接未来的观点,更多提升还在后头。
@natolambert: 疯狂的跳跃。代币价格将对大量企业物有所值。
代币价格暴涨,但对大量企业而言物有所值。
@natolambert: 实验室开始限制AI扩散不可避免,但隐瞒用户失当
实验室限制AI扩散不可避免,但不告知用户则不合规。
@natolambert: 我私下里不会加入Anthropic
此人私下表示不会加盟Anthropic。
@natolambert: 对持续学习/样本效率的痴迷误导领域,如同聚焦弱点而非最大化优势的糟糕职业策略
过度追求持续学习与样本效率是错误方向,应发挥优势而非补短。
@natolambert: 缓慢,然后突然!
缓慢积累,然后突然爆发。
@natolambert: 展示给那些对AI安全至少略知一二的人看。我们对模型有太多未知且无法控制的东西。
AI安全的未知与失控:模型中的大量未知和不可控因素亟待关注。
@natolambert: 进展如何 💚 https://t.co/FzZALmaGck
用户询问进展,附链接。
@natolambert:与我最喜欢的学生录制更多培训后的讲座
录制更多培训后讲座
@natolambert:我能否以个人身份加入NVIDIA Nemotron联盟?
询问个人加入NVIDIA Nemotron联盟的可能性。
@natolambert: 自去年六月以来,美国早期和不断壮大的开源模型实验室付出了巨大努力,让美国重新回到地图上。去年六月我们完全被压倒了。
美国开源模型实验室自去年六月起努力扭转被压制局面,重新确立领先地位。
@natolambert: 我认为这同样适用于许多没有Mythos的人,在学习使用智能体时也是如此,说真的。
许多人没有Mythos时,学习使用智能体也会有类似的感受。
@natolambert: 狭隘控制的安全模式多次失败,需在绝对前沿提高透明度并紧随其后保持开放
狭隘控制的安全模式屡次失败,需在前沿提高透明度并保持开放。