LLMを「穴あきチーズ」に変えて30%速くする。Sakana AIとNVIDIAの新スパース化技術

LLM を「穴のたくさん空いたチーズ」みたいに作り直すと、もっと速くて軽くなる——。Sakana AI と NVIDIA が、その実証論文を公開しました。

東京の Sakana AI が、機械学習トップ会議 ICML 2026 に採択された論文 をブログで公開しました。共著は NVIDIA の研究者たちで、テーマは LLM の スパース化（疎にする）。新しい表現方式 TwELL（Tile-wise ELLPACK） と、それを動かす CUDA カーネルをセットで提案し、H100 GPU 上で推論を最大 30%、学習を最大 24% 速くし、メモリも 24% 以上削れた とのこと。性能（精度）はほぼ無劣化です。

なぜ重要か

LLM の運用コストの大半は、GPU 時間とメモリ消費です。日本の事業者が GPT 系や Claude 系の API を叩いて課金されているとき、その裏で動いている GPU の電気代と償却費を、私たちは間接的に払っています。この層でコストが 24〜30% 落ちる ことの意味は重くて、API 価格にも、自社で LLM を運用しようとするスタートアップの判断にも、じわじわ効いてきます。

ふと考えてしまうんですが、日本の AI スタートアップにとっては、Sakana AI と NVIDIA の名前が並ぶことそのものが追い風です。グローバル研究と地続きで動いている日本発の組織がある、というのは、人材の集まり方を変えます。

仕組みをやさしく

普通の LLM の中身は、巨大な行列のかけ算の山です。重み（パラメータ）は数千億〜数兆個あって、ほとんどの計算は「ゼロでない数 × ゼロでない数」を一斉に走らせています。

スパース化というのは、この 重みの 99% を「ゼロ（無視していい）」に追い込む 操作のこと。穴あきチーズを思い浮かべてください。ほとんどが穴なら、穴の部分は計算しなくていい。残ったチーズの部分だけ計算すれば、答えは同じです。

問題は、GPU はもともと「全部詰まった行列」を高速に計算するように作られているので、穴あきにしただけでは速くなりません。穴の場所を効率よく表現するデータ形式（ここが TwELL）と、その形式に最適化された計算ルーチン（CUDA カーネル）が両方そろって、初めて「穴の分だけサボれる」状態になります。

Sakana × NVIDIA は、その両方を作って論文にした、という話です。

いまの実力と限界

ベンチマークでは H100 上で推論 30%、学習 24% 高速化、メモリ 24% 超削減、性能ほぼ無劣化 と報告されています。普通、スパース化は精度を犠牲にしがちですが、L1 正則化のかけ方を工夫して 99% 以上のスパース性を出しつつ、性能を保てているのが今回のキモです。

ただし、これはあくまで H100 という最先端 GPU の上で、特定モデルアーキテクチャに対しての結果。手元の RTX 4090 や、クラウドの A100 でも同じ比率で効くかは別問題で、量産投入には各社のチューニングが要ります。日本企業が即座に API コストを 30% 落とせる、という話ではない、というのは押さえておきたい。

これからどうなるか

半年単位で見ると、TwELL を採用した推論基盤を試すクラウド事業者 が出てくる可能性が高い。NVIDIA の中の人が共著にいる、ということは TensorRT 系のスタックに取り込まれる流れが見えるからです。

1 年単位では、LLM API の単価が静かに下がる 方向。ハードを増やすコストよりも、同じハードで効率を上げるほうが今は経済合理性が高い局面で、ここが一段進むことになります。

3 年単位では、エッジ側（手元のスマホ・ロボット・センサー）に乗る LLM の現実味が増す方向。メモリも計算量も削れる方法が増えれば、自動車のオンボードや、家庭内ロボの中で動く LLM の選択肢が広がります。「すぐ実用化」と言いたくなりますが、エッジ展開には別の障壁（電力・発熱・温度耐性）があるので、慎重に。

だから何が変わるの？

AI の値段が、ちょっとずつ、でも確実に下がる方向に向かっています。今あなたが ChatGPT や Claude を月額で使っているなら、その料金は今後数年で、こうした研究の積み重ねで実質的に「お得」になっていきます。日本発の研究組織がその一端に名を連ねている、というのは、英語圏のニュースだけ追っていると見えにくい話ですが、覚えておく価値があるところです。

情報元
– Sakana AI Publications — Sparser, Faster, Lighter Transformer Language Models