跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精选

第 1–12 条 · 共 12 条
9月29日周二
  1. TechCrunch · AI78

    AMD 将以 82 亿美元收购李飞飞的 World Labs

    AMD 宣布以 82 亿美元收购 World Labs,后者专注理解物理现实的深度学习模型。World Labs 创始人李飞飞将加入 AMD 出任执行副总裁兼首席科学家,双方去年已建立推理优化与训练合作。World Labs 首款产品 Marble 可用于制作娱乐体验,也能为机器人训练生成模拟环境,交易预计在年底前完成,尚待监管批准。

    推荐理由:这笔 8.2 亿美元收购把世界模型与芯片路线绑在一起,读者可据此观察 AMD 与 Nvidia 在 AI 芯片生态上的竞争走向。

9月24日周四
  1. NVIDIA Blog62

    NVIDIA 联合 Google DeepMind 等开放 2800 多种病毒的蛋白复合物结构数据集

    NVIDIA 加入由 Google DeepMind、EMBL-EBI 等组成的联盟,通过 AlphaFold Database 开放 2800 多种病毒的蛋白复合物预测 3D 结构,供任何科学家免费使用。

    推荐理由:NVIDIA 联合 Google DeepMind 等机构开放 2800 多种病毒的蛋白复合物预测结构,并开源生成流程,读者可了解开放科学在疫情准备中的具体做法。

9月22日周二
  1. Latent Space80

    小米发布 MiMo-V2.6-Pro 与 Flash:1T-A42B 开源全模态模型,训练成本 300 万美元

    小米发布 MiMo-V2.6 系列,包含原生全模态模型 MiMo-V2.6-Pro 与 MiMo-V2.6-Flash,并推出输出速度最高提升 20 倍的 MiMo-V2.6-Pro-UltraSpeed。

    推荐理由:小米 MiMo-V2.6-Pro 以 1T 总参数、42B 激活参数登顶开源权重榜,并公开 RL 环境与训练配方,可观察开源前沿模型的成本与透明度变化。

9月16日周三
9月8日周二
  1. Google DeepMind74

    Google DeepMind 发布 AlphaGenome Atlas,覆盖人类基因组 90 亿个单字母变异预测

    Google DeepMind 发布 AlphaGenome Atlas,一个包含人类基因组 90 亿个单核苷酸变异效应预测的平台,规模达 1PB,是 AlphaFold Database 的 30 倍以上,已通过网站门户、AlphaGenome API 和 Google Antigravity 中的 skill 开放学术研究免费使用。

    推荐理由:读者可了解 9 亿单核苷酸变异预测数据集的规模,以及 AVI 评分如何把编码与非编码区变异统一排序。

9月3日周四
8月6日周四
7月31日周五
  1. Microsoft Research71

    微软研究院发布 Echoverse:为 computer-use 智能体构建深度演化环境

    微软研究院提出 Echoverse,为 computer-use 智能体构建 12 个训练世界,包括 10 个深度领域世界和 2 个能力世界,每个世界都复现应用的真实行为并保持跨屏幕和用户的状态一致。

    推荐理由:微软研究院公开了 Echoverse 的构建流程与训练数据,读者可据此了解高保真合成环境如何提升 computer-use 智能体能力。

4月22日周三
  1. Google DeepMind62

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,将大规模训练拆分为解耦的计算“岛屿”,岛屿间异步传输数据,从而隔离局部故障并降低带宽需求。

    推荐理由:原文给出跨数据中心异步训练在带宽、容错和混合硬件上的实测结果,可据此判断分布式预训练的工程取舍。