评估在代码上训练的大型语言模型

评估代码训练的大型语言模型，如Codex，在编程任务中的表现。

通过精选数据集训练改善语言模型行为

微调小型精选数据集可提升语言模型特定行为价值观表现。

OpenAI 2021年学者：最终项目

OpenAI 2021年学者完成六个月导师计划，在资助下产出开源研究项目。

威尔·赫德加入OpenAI董事会

OpenAI宣布前国会议员威尔·赫德加入董事会，加强政策与技术结合，推动通用AI造福人类。

GPT-3驱动新一代应用

300+应用通过API实现搜索、对话、文本补全等AI功能。

人工神经网络中的多模态神经元

CLIP神经元跨形式响应同一概念，解释其分类准确性，有助理解模型关联与偏见。

大型语言模型的能力、局限与社会影响解析

本文探讨大型语言模型的能力、局限性及其对社会的影响，旨在全面理解其潜力与风险。

Kubernetes集群扩展至7,500节点

将K8s集群扩展至7500节点，支撑GPT-3等大模型及小规模迭代研究。

DALL·E：从文本生成图像

我们训练了DALL·E神经网络，能从自然语言文本描述生成图像。

CLIP：连接文本与图像

CLIP神经网络通过自然语言监督学习视觉概念，实现零样本视觉分类。

OpenAI组织更新

OpenAI在过去一年经历了巨大变革与增长。

OpenAI 向微软授权 GPT-3 技术

OpenAI 授权微软使用 GPT-3 技术用于产品服务。

生成式语言建模在自动定理证明中的应用

未提供摘要

通过人类反馈学习摘要生成

用人类反馈强化学习训练语言模型，提升摘要生成能力。

OpenAI 2020年学者计划：最终项目

OpenAI第三批学者在虚拟Demo日展示五个月研究成果。

Procgen 和 MineRL 竞赛

OpenAI联合多机构举行NeurIPS 2020两项竞赛，基于Procgen和MineRL。

图像GPT

大型Transformer模型在像素序列上训练可生成连贯图像，其无监督特征媲美顶级卷积网络。

OpenAI API

OpenAI发布新API，用于访问其开发的最新AI模型。

语言模型是少样本学习者

GPT-3仅凭少量示例即可高效执行多种NLP任务，无需微调。

AI与效率

自2012年，训练神经网络至相同性能所需算力每16个月减半，算法进步收益超硬件效率提升。

点唱机

Jukebox神经网络可生成各种风格音乐及简单人声，已开源模型、代码与样本探索工具。

Improving verifiability in AI development

OpenAI显微镜

OpenAI推出显微镜，可视化八个视觉模型各层神经元特征，助力理解神经网络。

OpenAI 全面转向 PyTorch

OpenAI 统一采用 PyTorch 作为深度学习框架标准。

神经语言模型的缩放定律

模型性能随参数量、数据量及计算量增加呈幂律提升，为大规模训练提供指导。

基于大规模深度强化学习的Dota 2

运用大规模深度强化学习在Dota 2中训练出高水平AI

深度双重下降

CNN、ResNet等模型中，随规模增大性能先升后降再升，常通过正则化避免，其成因尚待研究。

程序生成基准

发布16个程序化生成环境，直接衡量强化学习智能体学习通用技能的速度。

安全健身房

发布Safety Gym，评估强化学习智能体训练时遵守安全约束的进展。

中文标题

提出安全探索基准，评估深度强化学习算法在约束下的表现。

GPT-2：1.5B版本发布

发布最大GPT-2模型（1.5B参数）及代码权重，完成阶段性发布流程，为未来强大模型提供测试案例。

用机器人手解魔方

利用强化学习和自动域随机化训练神经网络，使机器人手能解魔方并应对未知干扰。

OpenAI 2020年学者项目：申请开放

第三届OpenAI学者项目开始接受申请。

基于人类偏好的GPT-2微调

通过人类反馈微调GPT-2，模型学会复制输入匹配标注偏好；摘要需6万标签，简单任务5千，旨在推进人机对话安全。

中文标题

多智能体捉迷藏中涌现出复杂工具使用和策略，表明共适应可能产生极致智能。

中文标题：针对未预见对抗攻击的鲁棒性测试

中文摘要：提出UAR指标评估模型对未知攻击的鲁棒性，强调需测试多种未预见攻击。

GPT-2：六个月后的跟进

GPT-2发布774M参数完整模型，同步推出开源协议与技术报告，总结社区协作经验。

学习日

OpenAI每周四设为学习日，员工可自学提升工作技能但非日常工作所学的技术知识。

微软投资并合作OpenAI，支持构建有益的人工通用智能

微软投资10亿美元合作OpenAI，共同开发AGI平台，Azure成为独家云提供商。

为何负责任的人工智能开发需要安全合作

AI安全需行业合作，但竞争导致投资不足，四种策略（沟通风险收益、技术协作、透明度、激励标准）可促进合作。

OpenAI 2019 机器人研讨会

2019年4月27日，OpenAI举办了首届机器人研讨会。

OpenAI 2019学者计划：最终项目

八位学者完成最终项目并在OpenAI演示日精彩展示。

OpenAI 2018年秋季研究员：结业项目

第二批学员经过6个月学徒期，从机器学习新手成长为核心贡献者，下一期夏季项目正在滚动招生。

对抗扰动类型之间对抗鲁棒性的迁移

研究不同攻击扰动下鲁棒性的迁移特性。

MuseNet

MuseNet是深度神经网络，可生成4分钟10种乐器音乐，融合乡村、莫扎特、披头士风格，通过无监督学习发现音乐模式。

基于稀疏变换器的生成式建模

稀疏变换器改进注意力机制，处理长30倍序列，在文本、图像、声音预测创纪录。

OpenAI Five击败《Dota 2》世界冠军

OpenAI Five在直播中连胜两场战胜Dota 2世界冠军OG，成为首个在电竞比赛中击败世界冠军的AI。

OpenAI Five 总决赛

4月13日举办OpenAI Five最终直播活动。

基于能量的模型的隐式生成与泛化方法

改进能量模型训练，提升样本质量和泛化，生成媲美GAN且具模式覆盖保证。

OpenAI 2019年学者：认识我们的学者

从550名申请者中精选8位学者，融合文学、哲学、细胞生物学、统计学、经济学、量子物理与商业创新。