LLMs-from-scratch

这是由 AI 研究员 Sebastian Raschka 开发的开源项目及书籍配套代码库，旨在引导用户从零开始构建、预训练和微调类似 GPT 的大语言模型。它不依赖外部 LLM 高级库，完全基于 PyTorch 实现，涵盖了从数据处理、注意力机制实现到模型架构搭建的全过程。项目不仅支持在普通笔记本电脑上运行教育级模型，还提供了加载预训练权重进行指令微调和 LoRA 高效微调的实践方案，是理解 Transformer 底层原理的权威资源。

• 从零实现 GPT 核心架构
• 纯 PyTorch 编写（无第三方 LLM 库依赖）
• 涵盖端到端预训练与指令微调流
• 提供 LoRA 参数高效微调方案
• 适配普通硬件的教育级代码实现