@rasbt：从零开始推理，第6轮！

介绍并实现可验证奖励强化学习（RLVR）与组相对策略优化（GRPO），探讨推理模型差异与推理轨迹。

@rasbt：花了些时间，但终于写好了——一篇关于用于文本分类的语言模型的重磅长文，当然也少不了 Jev。

以可视化指南解析 RNN、CNN、Transformer 与概率校准，并附文本分类语言模型的准确率与效率实操实验。

@rasbt：Ember-1 简明速览

称Ember-1很棒；建议以现有模型为基础，把预算投入后训练，此即范例。

@rasbt: Reasoning from scratch, round number 5! This time, talking about log-probability scoring (also a great fundamental concept for loss functions like cross-entropy in pre-training and distillation) and self-refinement.

@rasbt：开源智能体运行框架的主要吸引力不在于免费，而在于我们能检查它们在我们的电脑上做什么。

开源智能体运行框架的主要吸引力不在免费，而在于可审查其在本机的行为。

MiMo-V2.6“简单”即最强（暂时）：架构设计朴素，却以加权平均登顶开源权重基准榜首

MiMo-V2.6架构极简，仅用经典GQA加128 token滑窗注意力，却以加权平均登顶开源权重基准榜首。

@rasbt：很容易把 Jev 贬为“只是个分类器”

Jev 常被当作普通分类器，但传统编码器分类模型多专用受限，其突破在于泛化能力强。

@rasbt：推理扩展 第1部分

文本生成（温度、top-p、多项式采样）产出多样输出，增强自洽性与Best-of-N，准确率翻倍以上

@rasbt：关于AdamW与Muon旧争论的新洞见：Muon表现更好，因为它减少了记忆化。

AdamW与Muon之争新洞见：Muon更优，因其减少记忆化。

@rasbt：设计基准测试的几点思考……

设计基准测试的思考：GPT-5.6 Astra与Qwen3.8 Max用画图界面复现中心图像对比。

@rasbt：这个周末我和很多人讨论了“节奏”问题，我的浅见是：我不认为“节奏”字面意味着这些公司会以任何方式“放慢”训练与开发。

作者认为“节奏”并非让企业放缓训练与开发，而是增加更多检查框架。

@rasbt：从零开始推理第3轮：这次讲解生成验证器，用于评估与RLVR训练。

第3轮从零推理：生成验证器，用于评估基模型与未来改进对比，以及后续RLVR训练。

@rasbt：DeepSeek V4.1 采用编码器-解码器架构，迎来重大革新。

DeepSeek V4.1 以编码器-解码器架构大改，被赞应叫 V5，酷且耳目一新。

@rasbt：不错的展示——有趣的LLM工作可在单块GPU上完成！

展示有趣的LLM研究可在单块GPU上完成。

@rasbt：我整理了一篇关于GPT-6 Astra与循环Transformer的超长综述。

综述GPT-6 Astra与循环Transformer，解析循环深度、成本权衡，是否隐藏推理痕迹，含大量图表和近期研究概览。

关于今日事件，检查设置（设置→数据控制）也许不是坏主意

提醒用户检查“设置→数据控制”，以应对今日发生的事件。

从头推理第二回：本视频讲解大语言模型文本生成流程与KV缓存，为后续加入推理技术打好基础。

讲解LLM文本生成与KV缓存，为后续添加推理技术做准备。

@rasbt：今天我的时间线上有很多关于OpenAI Astra模型的炒作。显然，这源于The Information的一篇新文章，称Astra是一个“循环深度或循环变压器”

OpenAI的Astra模型因被曝为循环深度或循环变压器而引发热议。

@rasbt：一个小视频

视频讲解传统LLM与推理模型及智能体的关系，探讨“从零开始”方法，并演示用uv安装Python与PyTorch依赖。

中文标题

@rasbt：感谢大家对《从零构建推理模型》的所有好评！ // 摘要：感谢反馈，两个读书俱乐部将讨论该书。作者将于9月3日周四上午10点及下午2点（中部时间）参加直播问答，欢迎提问。

@rasbt：现在我们知道：广受欢迎的Ox Alpha大模型是GLM-5.3-Flash...

Ox Alpha实为GLM-5.3-Flash，采用3:1混合注意力，含34层KDA和11层MLA/DeepSeek稀疏结构。

@rasbt：几天前，我快速讲解了Claude的新水印流程与实现。鉴于话题热门、讨论热烈，我打算更详细地解析其工作原理。

作者因Claude水印话题讨论热烈，将深入解析其实现细节。

@rasbt：关于尽可能使用优化函数（尽管教学目的除外😆）的精彩案例研究

案例研究强调应优先使用优化函数，但教学目的除外，幽默提醒效率与学习需权衡。

@rasbt：基于对已发布材料的理解，简要说明Claude水印机制的工作原理

基于发布材料，简述Claude水印机制：生成token时，某些位置存在多个高分候选，通常用top-k或top-p采样。

@rasbt：《从零开始构建推理模型》现在终于也在亚马逊上架了！感谢所有预购的人！

推理模型新书上架亚马逊，感谢预购；提醒印度读者暂勿在亚马逊印度购买，因其销售盗版黑白版。

@rasbt: 哇，Meta昨天发布了一款新的开放权重LLM，这是自Llama时代以来未曾有过的。

Meta发布30B多模态推理模型Muse Glimmer，架构似Gemma。

@rasbt：刚看到LLMs-from-scratch仓库在GitHub上突破10万星标！

开源仓库LLMs-from-scratch获10万星标，助益众多，感谢贡献者。

@rasbt：与之前我在Qwen3.6上发现的一致：Claude Code在相似成功率下使用的token量是其他（许多）工具的2-3倍。

Claude Code在相同成功率下，token消耗为其他工具2-3倍，原因待查。

@rasbt：是的，LLM架构正变得稍微复杂一些 https://t.co/jII112pJbO

LLM架构正变得更复杂。

@rasbt: 昨日大规模开放权重模型发布的Kimi K3架构图，附观察与思考

Kimi K3本质是去年Kimi Linear模型的规模化生产版本。

@rasbt: 期待今天（7月27日）太平洋时间下午4点与@hugobowne在YouTube的Vanishing Gradient直播中畅聊

期待直播中讨论开源、最新LLM趋势及Agent框架等精彩话题。

@rasbt：开源/开放权重模型对健康AI生态至关重要，可验证声明、突破封闭限制，并允许在自有硬件上运行以保护隐私

开源模型保障AI生态健康，可验证、自主运行，保护数据隐私。

@rasbt：感谢各位的赞美与反馈。非常开心你们喜欢《从零构建推理模型》！

感谢反馈，更正第198页清单6.5笔误：应为 torch.manual_seed(5)。

@rasbt: 大语言模型如何在低、中、高推理强度之间切换？又如何学习调节推理程度？

详解LLM在推理时和训练中实现不同推理强度切换与学习调节的方法。

Thinky 意外发布重磅模型！Inkling 架构扎实并有小惊喜

Inkling 表现优异，架构特色：多处小卷积、嵌入 RMSNorm、相对位置偏置。

@rasbt: 应要求，更新版加入Grok 4.5和Meta Muse Spark 1.1

Grok 4.5性价比高，位于帕累托前沿，新增框架信息。

@rasbt：对于代理编码，可以这样说：

推荐使用更高effort的Luna模型，性能更好更便宜，忽略其他低效模型。

@rasbt: I like choices... but now I have:

@rasbt：历时18个月写作、编码与实验，《从零构建推理模型》终于问世！

新书《从零构建推理模型》出版，440页全彩，覆盖推理缩放、强化学习与蒸馏。

@rasbt: 我整理了一篇关于使用开放权重模型设置本地编码代理的新文章。一切都100%在本地运行。

发布新文章：用开放权重模型搭建本地编码代理，实现全本地化运行。

@rasbt：在不同测试框架中试驾多种本地开源权重LLM（Qwen-Code, Codex, Claude Code）

30B混合专家模型性能出色，能解难题，在Mac/DGX Spark上约40 tok/秒。

@rasbt: 刚了解最新的GLM-5.2发布。目前最好的开放权重模型。

GLM-5.2发布，堪称当前最佳开放权重模型，架构沿用MLA与DSA稀疏注意力。

@rasbt: 疯狂的模型！它实际用了旧的Qwen2.5-Coder-3B堆栈，并通过后训练堆栈取得了惊人性能。

旧堆栈加后训练，模型性能优异，第一印象震撼，有待实践验证。

Cohere推出轻量30B开源模型，用于智能体编码任务

Cohere开源轻量30B模型，基于并行Transformer，大小减半但层数翻倍，用于智能体编码。

@rasbt：原来Fable 5在暗地封禁AI研究人员🫤

Fable 5暗中封禁AI研究人员。

@rasbt：始终回归基础

LatentMoE受MLA启发，MLA受LoRA启发，LoRA受SVD启发，SVD受特征分解启发。

@rasbt: 链接

无法获取摘要信息。

@rasbt: 又一款开源权重模型。Nemotron 3 Ultra 性能效率比惊人！

Nemotron 3 Ultra 开源，性能效率比超群，延续Mamba-2-attention与LatentMoE架构，规模更大。

@rasbt：好久不见！消费硬件上本地运行开源大模型的生态系统新增4个好东西：https://t.co/8cTXF3aStp

消费级硬件本地LLM生态新增4项优质开源权重模型。

@rasbt：MiniMax M2系列是今年早些时候最广泛使用的开源权重LLM系列之一，现技术报告透露有趣细节，以下为我的摘要

MiniMax M2系列是早期最流行开源LLM，技术报告探讨了混合滑动窗口注意力的反趋势。