从零构建GPT-2（四）

By 泫疯阻

Created at Dec. 3, 2024, 2:21 a.m. | Updated at April 20, 2025, 1:54 p.m.

本博客基于Karpathy大佬的博客和教程完成

pytorch, 深度学习, GPT

作者

保持快乐的秘诀就是降低所有期待,所以什么时候放假?

Created at Dec. 4, 2024, 5:10 p.m.

发布者

后续代码会修改更新并发在github上。目前正在训练一个1.5B版本的小模型，敬请期待！

Created at Jan. 1, 2025, 8:52 p.m.

发布者

最新update：1.5B的小模型大概是训不出来了，资源不太够

About Me