开始构建类似 ChatGPT

教你从零开始构建类似 ChatGPT 的大语言模型。

在 GitHub 上发现一本《Build a Large Language Model (From Scratch)》书籍。

作者将带你从头开始构建一个类似 GPT 语言模型，这过程让你了解如何创建、训练和微调大型语言模型 (LLMs)！

在线阅读：livebook.manning.com/book/build-a-large-language-model-from-scratch/welcome/v-3/
涉及源码：github.com/rasbt/LLMs-from-scratch

书籍主要分为 8 大章节，如下：

第 1 章：了解大语言模型（LLM）解析
第 2 章：介绍文本数据处理技巧
第 3 章：通过编程实现注意力机制（Attention Mechanisms）
第 4 章：从零开始实现类似 GPT 模型
第 5 章：对未标注数据进行预训练
第 6 章：针对文本分类的模型微调
第 7 章：结合人类反馈进行模型微调
第 8 章：在实践中使用大语言模型