数字を読む蠅

出題 → このページの蠅が答える

脳を読み込み中…
自動出題中
問題
✍ この枠にも書ける(書いた字は記録に残る)
まだ出題していない

脳を読み込んでいます…(30 MB ほど)

問題は MNIST のテストセット(練習には使わない 9,020 枚)から。 蠅は答えの数字を前脚で地面に書き、足を戻してその上で待つ — そこで答え合わせ正解なら餌(砂糖水の粒)が落ちてきて、歩いて行って口吻を伸ばして食べる。 体は他のページと同じ NeuroMechFly の骨格で、歩行は flygym の CPG + MuJoCo で実測した体速度、 身づくろいと字を書く動作は前脚足先の逆運動学。

FlyWire の蠅の脳(キノコ体)が、サーバの上で休まず MNIST の手書き数字 1〜9 を練習している。 1 枚ごとにまず答え、間違えたときだけドーパミンで直される。正答率はサーバで記録し続けている。 このページの蠅は、そのサーバの蠅の最新の脳をブラウザに写したもの。

みんなの手書き — 蠅はどう読んだか

出題の枠に書かれた字(蠅が実際に見た小さな絵)と、蠅の答えの候補、答え合わせの結果。 打ち消し線は「ちがう」と言われた候補。書いた字はここで誰でも見られる形で残るが、蠅の学習には使っていない

サーバの蠅の成績

練習した枚数
 
練習中の正答率
 
テスト(MNIST テストセット)
 

小さな数字は最新テストでの数字ごとの正答率(%)。偶然なら 11%。

いまサーバで練習している問題(新しい順。赤は読み間違い、右下の小さな字が蠅の答え)

正答率の記録

テスト: MNIST のテストセットから 450 枚(練習には使わない) 練習中: 直近 500 問(答える時点ではその絵を初めて見る)

全記録は log.jsonl。 練習の絵は MNIST の訓練セット 54,077 枚を決まった順にめぐるので、一周(3〜4 時間)したあとの「練習中」は二度目に見る絵になる。テストの方はずっと未見のまま。

9 つの区画の出力

数字はその数字の区画の MBON が、この絵から受ける入力の強さ(学習前を 100 とする)。 いちばん入力を受けていない区画が答え。棒は他の区画よりどれだけ弱いか。

ケニヨン細胞の符号

発火していない KC この絵で発火

5,177 個のケニヨン細胞を FlyWire の実際の細胞体位置で並べたもの。 絵ごとに 1 割ほどの違う細胞が発火し、この疎な符号の重なりが「似ている絵」の定義になる。

仕組み

入力: 12×12 の各ピクセルに、685 本の嗅覚投射ニューロンを 4〜5 本ずつ割り当て、 濃さに比例した(最大 220 Hz の)ポアソン入力で叩く。

符号化: 5,177 個のケニヨン細胞のうち 1 割ほどが発火する(いわゆる fly hash)。

区画: キノコ体の出力ニューロン(MBON)96 個を 9 組に分け、1 組を 1 つの数字の区画にした。 どの組もケニヨン細胞からの入力がほぼ同じ量になるよう配ってある。

学習(答えてから、間違えたときだけ): 蠅はまず 0.4 秒絵を見て答える。 間違えたら、絵を見せたまま 0.3 秒ドーパミンを入れる。正しい数字の区画には普通のドーパミン — 発火中のケニヨン細胞からの結合が弱まる(Hige et al. 2015)。 蠅が選んでしまった数字の区画には逆向きの信号 — 同じ結合が強まる (ドーパミンが匂いより先に来ると増強になる、Handler et al. 2019 に対応させた)。

読み出し: 区画ごとに「発火したケニヨン細胞のスパイク数 × シナプス数 × 学習した重み」を足し、 学習前の値で割る。いちばん小さい区画が答え。

正直な比較

以前このページでブラウザ内だけで学習させていた版(区画 = MBON 9 型、「弱める」だけの学習、各数字を数枚ずつ)は、 各 12 枚で 44.1% だった。同じ 144 ピクセルを普通のロジスティック回帰に入れると各 12 枚で 66.9%、各 60 枚で 82.6%。

開発中に発火パターンを保存して学習だけを近似計算した実験では、今の方式で練習 4,000 枚のとき 73〜80%、 同じ 4,000 枚でも「弱める」だけの規則だと 64〜66% だった。間違えたときに誤答側を強める一手で 10 ポイント前後変わる。 ケニヨン細胞の発火パターン全体をそのまま線形分類器(パーセプトロン)に渡すと 82% で、これがこの符号で届く上限の目安。 サーバの蠅がどこで頭打ちになるかは、上の記録が答え。

限界: 全脳モデルは嗅覚入力を入れると中枢が暴走するため、キノコ体だけを動かして残りの脳は止めてある。 可塑性はこの実装の追加で、Shiu et al. のモデルには無い。

ほかのハエのページ

使ったライブラリ・データ

飛行・身づくろい・字を書く動き・キノコ体の学習規則はこのサイトで作ったもので、上のどれにも含まれていない。