Sparks of Weight-Space Programmingとは?AIが重みを直接読み書きする仕組みと反論

/ noro_hacks

※本記事には広告リンクが含まれます。

Sparks of Weight-Space Programmingとは?AIが重みを直接読み書きする仕組みと反論

Sparks of Weight-Space Programmingは、文章で考えるAIが、別のAIの中身にある数字の並びを直接読んだり書き換えたりできる、と主張する研究報告です。MITの研究者らが公開し、同時に「見せ方が誤解を招く」という反論も出たため、名前を見かける機会が増えています。この記事では、何が報告され、どこに異論があるのかを整理します。

ひとことで言うと、何ですか?

Sparks of Weight-Space Programmingは、文章で考えるAIが、別のAIの中身にある数字(重み)を直接読み書きして、調べたり、直したり、作ったりするための手法です。

※重みとは: AIが答えを出すときに使う、数えきれないほどの数字のことです。AIの「判断のくせ」が、この数字の形で入っています。

たとえるなら、何万個ものつまみが並んだ巨大な音響ミキサーです。これまでは、専用の自動調整の仕組みが、つまみを少しずつ回して音を整えてきました。今回の話は、音の聞き分けができるエンジニアのように、AIが「このつまみが原因だ」と考えて、狙ったつまみだけを回すイメージです。

ただし、たとえはここまでです。実際には、AIが数字そのものを読み、必要な数字だけを書き換えます。著者らはこの作業を、自動調整の仕組みを通さずに行うと説明しています(資料1: 著者らのブログ)。

これまでと何が変わるのか

  • AIの不調を直す作業に、「文章で頼む」というやり方が加わる可能性が示されました。著者らは、追加の訓練をせずに数字のごく一部だけを直した例を報告しています(資料1)。
  • 「AIの調整は、専用の自動調整の仕組みの仕事」という前提に、文章で考えるAIが加わろうとしています。
  • 一方で、「数字を眺めるだけで全部できたわけではない」という指摘も出ています(資料2: 反論記事)。

Sparks of Weight-Space Programmingとは?誰の何の報告?

MIT CSAIL(マサチューセッツ工科大学のコンピューター科学・AI研究所)所属の Rikiya Takehi さん、Jayden Teoh さん、Alex Zhang さん、Omar Khattab さんが、2026年11月2日付けで公開したブログ形式の報告です(資料1)。題名は「Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights」で、Sparks は「きざし」という意味合いです。

反論記事では、この投稿が「Astra can read and write weights to improve Qwen」という名前で呼ばれています(資料2)。本記事の別名はこちらです。

ChatGPTとの違い

ChatGPTのような文章AI(LLM)は、ふつう人に向けて文章を返します。ここでは、文章AIの出力が「別のAIの数字そのもの」になっています。使われた文章AIは、資料1が「GPT-6 Astra」と呼ぶモデルです。AstraについてはAstraの解説記事も参考になります。

著者らが「Weight-Space Programming」と呼ぶのは、汎用の文章AIが、自然な文章の指示に沿って重みを直接読み書きするやり方です。勾配降下法(※正解に近づくよう数字を少しずつ動かす、AI訓練の定番の方法)は使いません。資料1によると、環境からのフィードバックが全くない場合もあります。

資料1は、従来の重みの作り方を3つ挙げています。自動で調整する方法、数字を書くための専用AIを育てる方法、厳密なプログラムを変換する方法です。

なぜ話題になっているのですか?

理由は大きく3つあります。

  • 対象が広がったと主張している: これまで文章AIは、指示文やプログラムなど、文章でできた成果物の改善に使われてきました。人間は重みを手作業で調整できないので、重みは別世界でした。著者らは、そこにも「考えて直す」方式が来ていると述べています(資料1)。
  • 数字が目を引く: 小さな言語AI(Qwen3.5-0.8B)の数学テスト(MATH-500)の正答率が7.9%から48.1%になったと報告されています。100問中8問弱から、48問ほどに増えた計算です。
  • すぐに反論が出た: 海外の技術系掲示板では、元の報告がLobstersに、反論記事がHacker Newsに投稿されています。反論は「見出しの書き方が実験の実態と合わない」という内容です(資料2)。

どんな仕組み?主な特徴は?

資料1が紹介する実験から、4つの特徴を取り上げます。

1. 数字だけを見て、何のためのAIかを言い当てる

何ができるか: 中身の数字を見て、そのAIが何を学んだかを答えられるとされています。資料1の例では、約1万7千個(17,253個)の数字だけを見て、ゲームの「Breakout」用のAIだと99%の確信で答えています。

どう実現しているか: 道具を使わず、数字を文章AIに読ませています。反論記事の表では、ゲーム名を当てる実験は4回中4回、絵の形を当てる実験は3回中3回の正解です。試した回数は少なめです(資料2)。

2. 壊れた動きを、一度の編集で直す

何ができるか: 訓練済みなのに、車がある地点(ストリップ)を越えられないAIを、重みの3.5%を書き換えて直したとされています。成功率は0%から100%です。

どう実現しているか: 資料1は「一発で」編集したと述べています。反論記事は、失敗の様子を記録した1回分が与えられていたことと、結果が1回の試行によるものであることを注記しています(資料2)。

3. ゼロから小さなゲームAIを書く

何ができるか: 環境からのフィードバックなしに、小さなゲーム用AIの数字を一から書いたと報告されています。資料1は、PPO(※ゲームを繰り返し遊ばせて上達させる、定番の訓練方法の一つ)で1億ステップ訓練したAIに勝ったと述べています。

どう実現しているか: 文章AIが「各部分が何を計算すべきか」を考え、それに合わせて数字を書くとされています。

反論記事の表の注では、5億ステップのPPOと比べて勝てたのはBreakoutだけです。SeaquestとAsterixでは負けているとされます。9×9の囲碁AIの実験は、Pythonを使いAIを動かして確かめる形です(資料2)。

4. 小さな言語AIの弱点を直す

何ができるか: Qwen3.5-0.8Bが同じ考えを延々と繰り返す「推論ループ」を起こす問題を見つけ、重みの0.016%を直したとされています。モデルの説明書(モデルカード)が警告している問題です。

同じ設定で、MATH-500は7.9%から48.1%になりました。指示への従い方を測るIFEvalは、約3倍になったとされます。

どう実現しているか: 資料1の図は、Pythonの作業環境で編集し、訓練はしていないと説明しています。訓練のための繰り返し処理を書かせていない、というのが著者らの主張です。

自分に関係ある? 向いている人・向いていない人

結論から言うと、エンジニアでない人が直接使うものではありません。確認できた資料は、研究結果の報告だけです。

普段使うサービスの裏側に組み込まれるかどうかは、資料からは確認できません。著者らは「重みは、自分の重みについて考える文章AIによって、近いうちに最適化されるようになる」という見通しを述べています。これは著者らの予想であり、実現の時期や形は示されていません(資料1)。

  • 向いている人: AIの研究や開発に関わる人。AIの動向を追い、「文章AIに何を任せられるのか」を知りたい企画・営業・学生の人。
  • 向いていない人: 今日の仕事で使える道具を探している人。

触ってみたい人はどうすればいい?

ここからは実際に触ってみたい人向けです。読み飛ばしても全体像は分かります。

入手先として確認できるのは、著者らのブログ記事(資料1)だけです。手順、コマンド、公開コードの案内は、確認できた資料の範囲にはありません。

前提条件も、はっきりしません。分かるのは次の点だけです。

  • 実験で使われた文章AIは「GPT-6 Astra」と表記されている。
  • 言語AIの実験は、Pythonの作業環境で行われている。
  • Astraを誰がどんな条件で使えるのかは、資料からは確認できない。

気をつけたい点・まだ分からないことは?

反論は何を指摘しているのか

反論記事(資料2)の主な指摘は次のとおりです。

  • 冒頭の「生の数字を見ただけで」という書き方は、読者に「Qwenの実験も同じ条件だった」と思わせる。
  • 生の数字だけを渡す条件は、実験1、2、4(1.7万〜17万個ほどの重み)にしか出てこない。
  • 実際の言語AIを使う実験は、すべてPythonを使っている。
  • Qwenの実験は、最大50回分の練習問題でモデルを動かすことも許されている。
  • 結果は、人間のAIエンジニアがやる作業を文章AIが自分で考えて実行できた、ということを示す。それは軽い成果ではなく、1〜2年前のAIなら失敗したはずだが、「一つの手法の成果」とは別物だ。

反論記事がまとめた表を、一部抜き出します(K=千、M=百万)。

実験 規模 生の重みを読む Python使用
ゲーム名を当てる 17K はい いいえ
動かない車の修正 172K はい いいえ
ゲームAIを一から書く 20K いいえ(最初はゼロ) いいえ
9×9の囲碁AI 1.5M いいえ はい
Qwen3.5の数学改善 800M いいえ はい

なお、資料1の図でも、Qwenの編集は「Pythonの作業環境で」と書かれています。食い違いは事実の有無ではなく、冒頭の書き方から読者が受ける印象にあります。

反論記事の表には、うまくいかなかった実験も載っています。Gemma 3(2.7億個ほどの重み)で偏った受け答えをするAIを見抜く試みは、一部で失敗です。Qwenと同じ方法でGemma 3を直す試みも失敗とされます。

これらの指摘に対する著者側の説明や修正は、確認できた資料の範囲にはありません。

まだ分からないこと

  • 資料1は途中までしか確認できておらず、実験3以降の詳しい内容は、本記事では扱えません。
  • 査読を受けた論文かどうかは、資料から分かりません。著者らは「ごく初期の結果」と述べています。
  • 公開コード、ライセンス、料金は、資料に書かれていません。
  • 結果をほかの条件や別のAIでも再現できるかは、資料からは確認できません。

まとめ

  • Sparks of Weight-Space Programmingは、文章で考えるAIが、別のAIの中身の数字を読み書きして、調べたり直したり作ったりするという考え方と実験の報告です。
  • MITの研究者らが2026年11月に公開し、小さなAIの修正や、小さな言語AIの数学の点数アップ(7.9%から48.1%)を成果として挙げています。
  • 反論記事は、「数字を見るだけ」で済んだのは小さな実験に限られ、実際の言語AIの実験はPythonも使っていたと指摘しています。
  • 一般の人が直接使うものではなく、料金や提供条件、公開コードは資料から確認できません。
  • 内容は初期の結果です。成果と異論を並べて見る姿勢が向いています。

よくある質問

プログラミングができなくても使えますか?

現時点では、一般の人が使えるツールやサービスとして案内されているわけではありません。資料から確認できるのは研究結果の報告です。実験の多くはPythonという作業環境も使っています。今のところ、直接触る前提の話ではありません。

無料で試せますか?

料金や提供条件は、確認できた資料には書かれていません。実験で使われたAstraの利用方法についても同様です。著者らのブログ記事そのものは公開されていて、読むだけなら誰でもできます。

AIが自分で自分を書き換えて賢くなる話ですか?

資料にはそう書かれていません。実験では、人間が「このAIを数学に強くして」「動かない車を直して」といった課題を与え、Astraが別の小さなAIの数字を編集しています。AIが自分自身を改造したという説明は、確認できた資料にありません。

「誤解を招く」という反論は何を指摘していますか?

反論記事は、冒頭の「数字を見るだけ」という書き方が当てはまるのは、1.7万〜17万個ほどの小さな実験だけだと指摘します。Qwenの数学改善など実際の言語AIの実験はPythonを使い、最大50回分の練習問題でAIを動かしていたと述べています。

関連記事