Weight-Space Programmingとは?AIが別のAIの重みを直接書き換える手法の仕組みと注意点

/ noro_hacks

※本記事には広告リンクが含まれます。

Weight-Space Programmingとは?AIが別のAIの重みを直接書き換える手法の仕組みと注意点

Weight-Space Programmingは、AIに「別のAIの中身の数字」を直接読ませ、書き換えさせる手法です。MITの研究チームが2026年11月に公開した記事で注目されました。訓練をやり直さず、AIが考えながら数字を手で直す点が新しく、SNSやブログで名前を見かけるようになりました。

Weight-Space Programmingをひとことで言うと?

Weight-Space Programmingは、文章を扱うAIが別のAIの「重み」を直接読み書きし、不具合を直したり新しく作ったりするための手法です。

※重みとは: AIの中に並ぶ大量の数字のことです。入力にどれだけ強く反応するかを決める「調整つまみ」のようなものです。

たとえるなら、何百ものつまみが並んだ音響卓です。ふつうは機械が音を聞きながら、つまみを少しずつ回して良い位置を探します。この手法は、腕のいい音響技師がつまみの並びを眺めて「ここを回せば直る」と手で調整するのに近い発想です。

ただし実際のAIは、耳で確かめるように動かして試すとは限りません。研究チームの記事によると、状況を確かめる仕組みがまったくない場合もあるそうです。

これまでと何が変わるのか

  • 普段使うAIの不具合を、作り直さずに一部の数字だけ直せる可能性が示されました。たとえば小さな言語モデルで、全体の約0.016%(1万個のうち1〜2個ほど)を直しただけで数学テストの点が上がったと報告されています。
  • AIに任せられる仕事が、文章やプログラムの改善から、AIの中身そのものの調整へ広がりました。
  • 人間が見ても意味の分からない数字の山について、AIに「これは何をするAIか」と聞ける可能性が出てきました。

誰が出した、どんな研究ですか?

出どころは、MIT CSAILの研究チームが公開したブログ形式の論文「Sparks of Weight-Space Programming」です。資料には、Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattabの4人が著者として載っています。公開日は2026年11月2日です。

別の資料であるGitHubの検証リポジトリは、筆頭著者を「Rikiya Tomita」と書いています。表記が食い違っているため、この記事では論文本体の表記に従います。

実験に使われたのは、OpenAIのモデル「GPT-6 Astra」(以下Astra)です。ChatGPTのように、人が日本語や英語で頼むと答えるタイプのAIです。

ChatGPTとの違いは、相手にするものです。ChatGPTは文章を返しますが、ここでは文章ではなく、別のAIの設計図にあたる数字そのものが相手になります。

論文によると、Astraには数字を少しずつ直す訓練用のプログラムを書かせていません。数字が何をしているかを自分で考え、それに合わせて直接変更します。

同じ論文を別の角度から整理した当サイトの記事もあります。

なぜ話題になっているのですか?

一つ目の理由は、結果が目を引くことです。ゲームのルールを渡しただけで、長く訓練したAIに勝つAIを一度で書いたという報告があります。

二つ目は、追試が早く出たことです。Googleの研究者Alex Krentselが、論文の実験を再現したと報じられています。

三つ目は、個人が手軽に試せたことです。Zenn、はてなブックマーク、Lobstersなどで関連記事や論文が取り上げられています。

一方で、冷静な見方もあります。Zennの筆者は次のように整理しています。

  • 「人間には不可能な能力が発見された」わけではない
  • 「重みを直接編集できると初めて証明した」わけでもない
  • 「汎用のAIが重みの解析と編集を自分で進められると示した」ことが核心

何ができるのですか?仕組みと主な特徴

1. 数字だけを見て、何をするAIか当てる

何ができるか: AIの中身の数字から、そのAIが何のために訓練されたかを当てられます。

どう実現しているか: 論文の例では、Astraが約1万7千個の重みだけを道具なしで読み、ブロック崩しのゲーム用だと99%の自信で答えたとされています。

OfficeChaiの解説によると、外見が同じ4種類のゲーム用AIの見分けや、描く図形(円・四角・三角)の当て分けも成功しています。入口と出口の層を外した小さな言語モデルでも、訓練に使った言語を言い当てたそうです。

2. ルールだけを渡して、AIをゼロから書く

何ができるか: 訓練なしで、ゲームをする小さなAIを一度の返答で書けます。

どう実現しているか: ゲームのルールと、全部が0の空のネットワークを渡し、完成した数字を一度で書かせます。

解説によると、ブロック崩しなど3つのゲームで、従来の強化学習(遊ばせて育てる方法)で1億回訓練したAIを上回りました。ブロック崩しでは、5億回訓練したAIの約20倍の得点とされています。約150万個の重みを持つ囲碁用AIも書かせ、小さな訓練済みAIに半分以上勝ったそうです。

3. 不具合の原因を見つけて、数字を直す

何ができるか: すでにあるAIの問題を、作り直さずに直せます。

どう実現しているか: 小さな言語モデル「Qwen3.5-0.8B」は、同じ考えを繰り返してしまう癖が公式の説明書でも注意されています。Astraはその原因を重みの中に見つけ、約0.016%を直接編集しました。

論文は、数学テスト(MATH-500)の正答率が7.9%から48.1%に上がったと報告しています。10問に1問も解けなかった状態から、2問に1問近く解ける状態になった計算です。指示に従う力を測るテスト(IFEval)も約3倍になったそうです。

4. 個人の追試でも似たことができた

何ができるか: 数字の編集を、AIにほぼ任せられます。

どう実現しているか: Zennの筆者は、Qwen3.5-0.8Bの語尾を「〜なのだ」にそろえる課題を、Astraに1時間ほど任せました。100問中77問で成功し、別に用意した新規50問では36問でした。変更したのは全体の約0.486%です。

成功の判定は、日本語として不自然でなく、語尾が「のだ/なのだ」で終わることです。答えが合っていても語尾が違えば失敗扱いでした。

5. 別の種類のAIにも応用された

何ができるか: 大きさの違う別のAIへ、訓練なしで作り替えられます。

どう実現しているか: Paul Gの記事では、Opus(別会社のAI)が10×10の格子用の量子状態モデルを調べ、最大18×18まで広げました。サイズに依存する3か所を手作業で直したとのことです。追加訓練なしでは、公表されている最良の値には届かなかったと本人も書いています。

自分に関係ありますか?

エンジニアでない人が、いま直接使うものではありません。一般向けのアプリや製品として提供されているという情報は、資料にありません。

普段使うサービスの裏側に入っていくのかも、資料からは確認できません。Krentselは、AIが自分の重みを書き換える方向につながるかもしれないと語っています。ただし、いまの最大級のモデルでは難しいとも述べています。

向いているのは、次のような人です。

  • AIの中身を調べる研究に関心がある開発者や研究者
  • 小さなAIを作り直さずに直す方法を探している人
  • AIの進歩を追っていて、論文の主張を冷静に見たい人

向いていないのは、すぐ仕事に使える道具を探している人です。

使い方・始め方は?

ここからは実際に触ってみたい人向けです。読み飛ばしても全体像は分かります。

資料には、誰でも使える公式ツールや手順は書かれていません。入手できるのは次のものです。

Zennの筆者はAstraをCodex経由で使い、論文の実験リポジトリを参考資料として渡したと書いています。Astraの利用条件や料金は、資料からは分かりません。

検証リポジトリは、Astraを「一般の人がまだ使えないモデル」と書いています。Zennの追試では実際に使われており、食い違いがあります。時期や提供の形が違う可能性はありますが、資料からは判断できません。

注意点と、まだ分かっていないことは?

  • まだ初期の報告です。 論文自体が「とても早い段階の結果」と断っています。検証リポジトリの作者も、1グループのブログ記事で確立した科学ではないと述べています。
  • 数字を混同しないでください。 約0.016%は論文の数学改善の実験、約0.486%はZennの語尾変更の実験で、別の話です。
  • 規模に差があります。 再現者のKrentselは、約2万個のゲーム用AIと数千億個の大型モデルの差を指摘しています。いまの最大級モデルでは実現可能ではないとの見方です。
  • 新しい能力かどうかは一人の報告です。 再現報告では、少し前のモデルでは成功せず、最新世代で突然できたとされています。ただし、これは1人の報告です。
  • 向き不向きがあります。 検証リポジトリでは、福祉の計算式を数字で書かせ、4つ中3つで誤差が1兆分の1ドル以内でした。残る1つも、IRSの公表表と税率が2.4セント食い違う1点を除けば正確でした。同リポジトリは、実際の給付額の計算に使うべきではないと明記しています。
  • 追加の手間が要る例もあります。 量子状態の例では、編集だけでは最良の値に届かず、追加訓練が必要でした。
  • 日本語の語尾変更は完璧ではありません。 新規50問で36問の成功です。開発中に100問を参照していたため、新規50問での再評価が使われています。
  • 公開の範囲は不明です。 手法のコードやライセンス、料金は、資料からは確認できません。

Astra自体に関する別の整理は、当サイトの解説もご覧ください。

まとめ

  • Weight-Space Programmingは、AIが別のAIの中身の数字を直接読み書きして、直したり作ったりする手法です。
  • MITの研究では、小さなAIの数学テストの点が数字の一部を直しただけで大きく上がったと報告されています。
  • 追試や応用も出ていますが、扱われたのは小さなAIが中心で、まだ初期の段階です。
  • 一般の人が直接使うものではなく、普段のサービスに入るかどうかは分かっていません。
  • 「人間にできないことが分かった」と受け取らず、「AIがここまで自分で進められた」という報告として見るのが現実的です。

よくある質問

Weight-Space Programmingはプログラミングができなくても使えますか?

現時点では一般の人が直接使う製品やアプリとして提供されているという情報は、資料にありません。研究者や開発者が実験として試す段階の手法で、普段使うサービスに入るかどうかも資料からは確認できません。

Weight-Space Programmingは無料で試せますか?

手法そのものの料金は資料に書かれていません。ブログ記事は誰でも読めます。Zennの筆者はAstraをCodex経由で使いましたが、利用条件や料金は資料から分かりません。結果のモデルはHugging Faceで公開されています。

Weight-Space Programmingで、AIは重みの意味を本当に理解したのですか?

Zennの筆者は「数値の意味を丸ごと理解した」わけではないと整理しています。実際にはAIがコードを書いて内部の動きを調べ、仮説を立てて重みを変え、結果を確かめる作業を自分で進めたということです。

Weight-Space Programmingは普通のAI訓練の代わりになりますか?

資料からは代わりになるとは言えません。実験で扱ったのは小さなネットワークや0.8B規模のモデルです。数千億個の重みを持つ大型モデルでは難しいと再現者も述べています。追加訓練を併用した例もあります。

関連記事