あえて今こそ！ゼロから作るヴィンテージ風LLM

最新技術の追随に疲れていませんか？今回は、あえてレトロな手法に立ち返り、ゼロからヴィンテージスタイルのLLMを構築する方法を解説します。複雑なフレームワークを極力排除し、シンプルかつ本質的な言語モデルの仕組みを一緒に学びましょう。

Llama 340Mのベースモデルをゼロから自作してるよ。手順とか苦労した点、コストに興味あるなら読んでみて。Instructモデルの方はまだ作成中。