导语：商汤 10 月 30 日在 Hugging Face 发布 SenseNova-Loop-9B-Preview，模型卡标注 Apache-2.0。
摘要
商汤 10 月 30 日在 Hugging Face 发布 SenseNova-Loop-9B-Preview，模型卡标注 Apache-2.0。它走的是"不堆参数、堆执行深度"的路线：只保留 32 层解码器权重，其中第 4 至 27 层以共享权重连跑两遍，一次前向完成 56 次解码层计算；总参约 9B、推理参数约 14.6B，训练上下文最长 262,144 token。配套上，Transformers 实现已随模型提供，MTP 推理加速可用，LightLLM、SGLang、vLLM 的适配仍在各自的 PR 中，发布细节与技术报告均标注待公布。模型卡的基准成绩以图表呈现、属厂商自评。
正文（据官方模型卡编译）
这款模型面向长上下文与智能体工作流，接受文本与图像输入、输出文本，用于文档理解、编程、以及编程与调用外部工具相结合的应用。它最不寻常的地方不在参数规模，而在执行方式：一段解码层被以共享权重连跑两遍，用 32 层权重跑出 56 次层计算。
不堆参数，堆执行深度
按模型卡说明，输入先经过第 0 至 3 层，随后同一段第 4 至 27 层（共 24 层）连续执行两遍，再由第 28 至 31 层与输出头给出结果。若以 B 表示重复块、h 表示其输入，循环计算可以写作 B(B(h))，第二遍以第一遍的输出作为输入。推理时每次前向执行 56 次解码层计算，却只存储 32 组解码层权重。文档把这套结构称为循环解码器，并称它与双流 mHC 一起"提供一条更深的执行路径，而不复制被重复那一段的参数"。
两条残差流与 Sinkhorn 约束
循环段内部，mHC 在解码层计算周围携带两条残差流。学习得到的映射决定一层如何从两条流读取、如何混合流间信息、以及如何把该层输出并入残差状态；流混合矩阵由 Sinkhorn 归一化约束，文档配置使用 20 次迭代。模型卡特别提示：循环范围、执行遍数与 mHC 路由参数属于检查点执行配置的一部分，兼容的推理实现必须加载这些参数并复现相同的执行顺序。换句话说，这套结构对推理框架是硬约束，不能当普通 32 层模型加载。
注意力排布与关键规格
注意力按四层一组交错排布，每组三个线性注意力层之后是一个全注意力层；循环边界与完整的四层组对齐，两遍的注意力模式因此保持一致。核心规格：32 个不同解码层、每次前向 56 次执行，隐藏维度 4096、前馈维度 12288、词表 248320，全注意力 16 头对 4 组 KV 头；总参约 9B、推理参数约 14.6B；训练上下文最长 262,144 token，现有导出精度为 BF16 骨干与 FP32 的 mHC 路由参数。训练方案结合长序列、多模态输入与有监督任务轨迹，文档称数据含文本、图像、代码与工具轨迹。
推理加速与配套
推理侧已支持 MTP 加速，Dspark 与 Dflash2 仍在训练中，实际加速幅度取决于负载、硬件与服务配置。Transformers 推理实现随模型提供，文档检视的环境为 Transformers 5.18.0 与 PyTorch 2.11.0（CUDA 13.0）；LightLLM、SGLang、vLLM 的适配仍在各自的 PR 中，微调需使用 OpenSenseNova/torchtitan 的 mHC 分支。发布细节与技术报告均标注"待公布"。
许可与基准
许可为 Apache License 2.0。模型卡中的基准成绩以图表呈现、未提供可复制的数据表，且属厂商自评，引用时须注明；BibTeX 引用格式见原文模型卡。
（来源：艾瑞网）
相关推荐
-
Kimi K3.1 Pro 全量权重 11 月 4 日前开源：2.8 万亿参数、100 万上下文，开源后将成为 AA 智能指数最高开源模型
月之暗面发布 Kimi K3.1 Pro，是 K3.1 系列首款模型，也是其迄今能力最强的 3T 级开放权重模型，上下文窗口 100 万 token。
-
OpenRouter周榜前五全为中国模型，小米MiMo
据全球多模型聚合平台 OpenRouter 最新一周 AI 大模型调用量榜单，排名前五的产品全部由中国企业研发，登顶榜首的是小米 MiMo-V2.5，单周调用量达到10.5万亿 Token。
