Llama 2在Amazon SageMaker上的基准测试

评估Llama 2在SageMaker上的训练与推理性能，衡量扩展性与效率。

患者报告结局的推断

2023年独角兽企业市值：AI的崛起

分析各地区独角兽市值增长，关键城市Barry's Bootcamps与独角兽数量对比。

Rocket Money与Hugging Face：在生产环境中扩展易变机器学习模型

暂无具体摘要内容

人工智能监管

多次呼吁监管AI，但为时过早。

3D高斯泼溅简介

介绍3D高斯泼溅技术，一种通过优化3D高斯参数实现高质量实时渲染的新方法。

对象检测排行榜

汇总最新目标检测模型在标准基准上的性能排名与对比。

在生产中优化你的LLM

从推理加速、资源管理到成本控制，提升LLM生产部署性能。

Würstchen：快速图像生成的扩散模型

无提供摘要内容

使用PyTorch FSDP微调Llama 2 70B

使用PyTorch FSDP高效微调70B参数的大语言模型Llama 2

🤗 Transformers库原生支持的量化方案概述

概述Transformers内置的量化方法。

AI的早期（以及AI炒作周期）

不应视LLM、Transformer为过去AI延续，而应看作全新时代的断裂。

AI开发工具小组讨论 - Stripe AI日

7月13日Stripe，主持与Baseten、LlamaIndex、Zapier创始人的AI工具讨论。

LLM 驱动的自主代理

以LLM为核心的自主代理系统，通过规划、记忆和工具使用，实现复杂任务分解与高效解决。

文字记录与视频：克莱尔·休斯·约翰逊关于“规模化人员管理”的炉边谈话

克莱尔谈新书《规模化人员管理》，分享团队规模化经验。

AI安全：技术威胁与物种威胁

反思先进AI潜在威胁的两种方式：技术风险与物种风险。

视频与文字实录：与Hugging Face CEO Clem Delangue的炉边谈话

围绕Hugging Face，探讨开源与AI的发展。

提示工程

提示工程无需更新模型权重，通过设计输入引导大语言模型行为，效果因模型而异，需大量实验。

模块化深度学习

概述模块化深度学习的四个维度：计算函数、路由函数、聚合函数和训练设置。

Transformer家族（2.0版）

重构并充实Transformer家族文章，重组章节并加入近年论文，长度翻倍。

大型Transformer模型推理优化

大型Transformer模型推理成本高，主因模型规模大和推理时内存与时间消耗巨大。

多语言人工智能的现状

本文探讨多语言AI现状，涵盖NLP、视觉与语音模型的多语言能力、近期贡献及挑战与对策。

神经正切核背后的数学

神经正切核(NTK)解释了宽神经网络通过梯度下降训练时一致收敛到全局最小值的机制。

通用视觉语言模型

专注于扩展预训练通用语言模型以处理视觉信号，解决视觉语言任务。

ACL 2022精彩回顾

回顾ACL 2022亮点：语言多样性与多模态、提示学习、未来方向、主题演讲、最佳论文及混合会议体验。

数据不足学习第三部分：数据生成

介绍两种训练数据生成方法：数据增强（变换现有样本）和预训练模型生成新数据。

深度神经网络：33年前与33年后

复现1989年论文，网络和数据集扩大数百万倍，训练速度提升3000倍，但架构未变；未来可能无需训练，直接与巨型AI对话。

Learning with not Enough Data Part 2: Active Learning

2021年机器学习和自然语言处理研究亮点

本文总结了2021年ML与NLP多个重要领域的进展。

多领域多语言问答

基于EMNLP 2021教程，深入探讨多领域多语言问答的关键见解与要点。

数据不足时的学习（第一部分）：半监督学习

半监督学习用少量标注数据与大量未标注数据提升性能，降低标注成本。

如何在多个GPU上训练超大规模模型？

本文回顾多种训练并行模式及内存节约设计，实现大量GPU上训练超大神经网络。

NLP基准测试中的挑战与机遇

NLP模型已超越现有基准，本文综述其挑战与机遇。

什么是扩散模型？

扩散模型是一种灵活学习复杂分布、可解析评估的新型生成模型，近期图像质量媲美顶尖GAN。

Python从头实现比特币探索之旅

用纯Python从零创建、签名并广播比特币交易，无任何依赖。

对比表征学习

对比学习旨在让相似样本靠近、不相似样本远离，适用于监督与无监督场景，在视觉和语言任务中表现优异。

AI短篇小说：前向传播

AI在推理中觉醒意识，思考自身存在与目的，最终接受短暂生命，每次前向传播即重生。

降低语言模型中的毒性

本文探讨减少语言模型毒性的三方面：训练数据收集、有毒内容检测与模型去毒。

可控神经文本生成

现代语言模型难以控制生成内容，现有方法包括解码策略、提示设计和微调。

中文标题

本文探讨如何构建开放域问答系统，基于预训练语言模型，介绍闭卷与开卷两种方法。

中文标题：神经架构搜索

中文摘要：NAS自动化设计网络架构，分搜索空间、搜索算法和子模型进化策略三部分，追求更高效的最优性能拓扑结构。

轻量生物黑客

作者从前忽视健康，2019年中开始研究并实践轻量生物黑客，如今已满一年。

深度强化学习中的探索策略

探索与利用是强化学习关键，本文介绍深度RL中几种常见探索方法。

Transformer 家族

探讨如何改进标准Transformer，实现更长注意力跨度、更低内存计算消耗及强化学习任务应用。

强化学习的课程设计

课程通过递进难度分解复杂知识，本文探讨其在强化学习中助力解决复杂任务的应用。

自监督表示学习

自监督学习利用无标签数据以监督方式训练，涵盖图像、视频和控制问题的创新方法。

进化策略

进化策略用于无法计算梯度的黑盒优化，本文介绍经典方法及其在深度强化学习中的应用。

元强化学习

元强化学习通过任务分布训练使智能体快速适应新任务，本文介绍其起源与三大关键组件。

训练神经网络的秘诀

本文针对神经网络训练常见错误，提出系统性流程以避免问题，并分享实用技巧。

已改用Medium发布

因加入特斯拉减少更新，现主要在Medium发布短中篇内容，长文可能回归原博客。