OpenMythos
由 kyegomez 研发
OpenMythos 是一个开源的 Claude Mythos 模型理论重构实现。它采用循环深度 Transformer (RDT) 架构，包含 Prelude、循环块和 Coda 三阶段。通过在前向传播中多次循环复用层权重，在连续隐空间内进行‘隐式思维链’推理，从而在不增加参数量的情况下实现深度推理。支持 MLA 与 GQA 注意力切换，并结合稀疏 MoE 机制，通过动力学约束解决循环训练的不稳定问题。
- 循环深度 Transformer (RDT) 架构
- 可切换的 MLA 与 GQA 注意力机制
- 基于连续隐空间的隐式思维链推理
- 内置动力系统约束以保障循环训练稳定性
- 支持路由与共享专家的稀疏 MoE
desktop