「トークンマクシング」は死んだ、そして新たな「トークンマクシング」の時代へ
Tokenmaxxing is dead, long live tokenmaxxing
かつての「トークンマクシング(トークン化の極致)」という手法は、もはや過去のものとなりました。しかし、この概念が消え去ったわけではありません。次世代のトークン戦略が今、新たな形で始まろうとしています。
HNで話題になっている技術トピックを収集し、日本語で読みやすく整理します。
Tokenmaxxing is dead, long live tokenmaxxing
かつての「トークンマクシング(トークン化の極致)」という手法は、もはや過去のものとなりました。しかし、この概念が消え去ったわけではありません。次世代のトークン戦略が今、新たな形で始まろうとしています。
Show HN: NanoEuler – GPT-2 scale model in pure C/CUDA from scratch
皆さん、こんにちは!AnthropicでAIの研究開発に携わることを夢見て、今回「NanoEuler」というプロジェクトを立ち上げました。LLMを開発しようと思ったきっかけは2つあります。1つ目は、LLMのAPIを使うことと、その内部構造を理解することは全く別物だと感じたこと。2つ目は、ローレベルな実装を通じてパラメータとデータ、モデルの成長、GPUの動作、そしてレイヤーの最適化手法を深く掘り下げたかったからです。研究の一環として、まずはShakespeare.txtを学習させることから始め、2300万パラメータのモデルがテキスト生成において何を理解しているのかを検証しました。例えば、この規模でも「Name:」という文字列に続く行を、意味の通る形で生成できるようになった時は感動しました。あえてライブラリを使わず、すべてCUDAで実装したのは、トレーニングから推論までの過程で余計な仲介を挟まず、すべてを自らのコントロール下に置きたかったからです。SFT(教師あり微調整)のプロセスなども含め、チャットボットのようなLLMを作る過程を非常に深く学べました。フィードバックやアドバイス、協力は大歓迎です!ぜひチェックしてみてください。