从零开始训练大模型

在这篇文章中，我们将尽可能详细地梳理一个完整的 LLM 训练流程。包括模型预训练（Pretrain）、Tokenizer 训练、指令微调（Instruction Tuning）等环节。

分享：何枝@知乎
出品：深度学习自然语言处理 公众号
源于 20230701 10:30 直播
文章链接：https://zhuanlan.zhihu.com/p/636270877

视频末尾有二维码，可扫码入群。