未知の言語を生成するとき、
冗長な閉じ方は有利か。

01 / QUESTION

問いは、未知の言語を正しく「生成」できるか。

今回確かめたいのは、「閉じるのに冗長だが長距離依存を必要としない構造が有利なのでは」という仮説。閉じ終わるたびに種類、または種類と名前を明示する構文が、共通の終端だけを使う構文より、元の構造を保った全文生成に向いているかを調べる。

def foo
  ...
end def

def foo
  ...
end def foo

この def / foo / ... は仮説を説明する概念例。実際の実験文法・識別子ではなく、既存の特定言語の関数構文を比較しているわけでもない。

仮説の機構は、終端がその場所の構造的な手掛かりになること。今回直接測るのは入力ASTと完全に一致するソースを生成できた割合や失敗の種類であり、モデル内部の長距離依存そのものではない。Dで正しい名前を出力する際には、元の名前との対応を保つ必要も残る。この点を分けた上で、冗長な閉じ方の実用上の利点を検討する。

「未知」は、課題内で文法を説明して適用させる小言語という意味。説明と固定8例を渡すため、例だけから文法を発見する課題ではない。モデルの学習履歴に一切なかったことは確認できない。

02 / CONTROLLED COMPARISON

同じ構造を、5つの閉じ方で表す。

次は実際のnatural語彙を使う最小例。AST（木として表したプログラム）、識別子、値、文の順序は同じ。Aだけ開き行にも { が付き、主な違いはブロックの終端にある。

func n_abcdefgh {
let x_a 1739
}

func n_abcdefgh
let x_a 1739
end

func n_abcdefgh
let x_a 1739
end func

func n_abcdefgh
let x_a 1739
end func n_abcdefgh

func n_abcdefgh
let x_a 1739
end junk z_aaaaaaaa

Eの junk z_aaaaaaaa はどのブロックでも同じ定数で、種類・名前・深さを表さない。基本条件のDとEの終端は同じ文字数になるが、同じtoken数とは限らない。長さの対照として使い、完全なtoken長の統制とは呼ばない。

対応する5条件で、AST・名前・変数・値・意味上の順序・few-shotの内容と順序・語彙対応を保持する。unit / func / area はいずれも単にローカルスコープを開く。同じ意味を異なる種類の語で表すため、実言語の関数呼び出し等は含めない。

naturalとnonceの2語彙条件がある。nonceでは予約語を固定8セットの無意味語に置換し、同じfamilyの5表記に同じ対応を使う。主な集計ではnatural/nonceを等重みで扱う。これは既知のキーワードへの依存を弱める工夫であり、事前学習やtokenizationの影響を消すものではない。

03 / GENERATION AND GRADING

入力は中立な木の表。正解は、全文が同じ木に戻ること。

ast_to_source では、各nodeの親・兄弟内の順序・種類・名前・変数・値・payloadを表で渡す。入れ子の波括弧のコピーだけでAを生成できる入力にはしない。ただし、この親子関係の表自体も構造的な手掛かりを含む。

goldはlive要求から構造的に分離して保存する。再帰AST oracleと明示スタックevent oracleは独立に実装し、監査で5表記の一致を確認する。有限のテスト成功は、全入力の正しさの数学的証明ではない。採点とprotocol / limitations

The kind keywords are unit for unit, func for func, and area for area. Each creates a local scope.
Open a block with KIND NAME on one line.
Close the innermost open block with end KIND NAME on one line. KIND and NAME must repeat that block's opening keyword and name.
KIND is one of unit, func, area; NAME is n_ followed by exactly eight lowercase letters and is unique in the program.
A binding statement (let) is let VARIABLE VALUE. VARIABLE is x_ followed by one letter a through f; VALUE is a four digit integer from 1000 through 9999.
Within one scope a variable is bound at most once. Inner bindings hide outer bindings until their scope closes.
A no-effect statement (nop) is nop PAYLOAD. PAYLOAD is p_ followed by eight lowercase letters.
The observation marker is probe PROBE_ID VARIABLE. PROBE_ID is q_ followed by eight lowercase letters.
Use one statement per line. Indentation has no meaning; scope is determined solely by explicit opening and closing lines.

文法・固定8例・テストを含む保存済み全文prompt / 保存済みcanonical logical request

04 / GENERATION RESULTS

P1では、種類付きと名前付きの終端が生成に有利やった。

Dの72応答はすべて構文として成立し、71件が元のASTと一致した。Cは11件が構文不成立、1件が構文成立後のAST不一致。文字数を増すだけのEは、Dほどの改善を示さなかった。出力token数は表記で異なるため、正解率と併記した。元のsummary.csv

深いネストで差が大きい。

深さ8ではBが0/24、Cが12/24、Dが24/24、Eが1/24。Cの種類ラベルにも利点が見られ、Dの名前ラベルを加えた条件はさらに高かった。一方、深さ2ではDに1件のAST不一致があり、すべての個別問題でDが勝つという結果ではない。

深さ8のB/Eはそれぞれ23件で、parserの最初のエラーが unclosed_scope（EOFでもスコープが開いている）だった。P1生成の73件の構文不成立はすべてprovider statusがcompletedで、outputは151–764 tokens、共通capは16,384。単純な出力上限打ち切りとは区別する。最初のエラーは全欠陥の網羅的な数ではない。保存済み失敗分析

保存済みの対応付き比較。

36 familyをクラスターとし、natural/nonceをfamily内で平均、深さ×fillerの各セルを等重みにした保存済み統計。セル内で10,000回のbootstrap、seed 20261005。複数の比較を見たことへの補正はしていない。C−EのCIは元のCSVに保存されていないため追加計算しない。元のpaired-comparisons.csv

別プロトコルの P2：深さ16を加えた生成。

途中の保存済みスナップショット。48 structural families、深さ2/4/8/16 × filler 0/8/32、各セル4 family。生成側の計画は各表記96応答で、P1と合算しない。

成功率・差・CI は summary.csv / paired-comparisons.csv に基づく。P2は追加の探索的pilotであり、生成仮説のconfirmatory mainには読み替えない。

部分群と実行分母を確認する。

以下は保存済みCSVの重複しないセルの記述集計。割合は正解数 / 評価可能数で、選択した部分群のCIを新しく計算しない。元のreading mainを選ぶと読み取り課題だけが表示される。

P1 pilot · ast_to_source / complete / natural + nonce / 全 depth / 全 filler

05 / INTERPRETATION

生成の利点は観測できた。機構の切り分けは残る。

このP1結果は、こうした冗長な終端が未知の小言語の生成を助ける、という仮説に沿っている。C−Bは種類ラベルの利点、D−Cは名前を加える利点を示す探索的結果。D−Eは、少なくとも今回の固定suffixによる文字数の増加だけではDの成績を説明しきれないことを示す。

ただし「長距離依存を必要としなくなった」と直接実証したわけではない。閉じる種類や名前を提示する表記が、生成過程の検索、区切りの識別、注意、tokenization等を助けた可能性もある。名前を正しく再現する対応関係、ネストの深さ、閉じる順序を保つ必要は残る。正解率・reasoning tokens・遅延から内部の認知負荷やFLOPsを読み取らない。

測定対象は、明示された文法と固定8例の下での全文AST一致。構造に加えて識別子や値のコピーも含むため、純粋な閉じ括弧処理だけの指標ではない。有限のdepth/filler、固定語彙、単一モデルと設定に条件づけられ、任意の未知言語へ一般化した結論ではない。

P1生成差は探索的で、旧reading mainの事前固定主仮説とは別。P2も別の探索的pilotとして扱う。生成についてconfirmatoryな判断を得るには、生成を主目的にした新しい固定計画と独立holdoutが必要になる。既存の凍結済み計画を読み替えない。

P3 / SHORT-DISTANCE DEPENDENCIES

P3：依存を短くした閉じ方と、importの修飾。

動機は、公開済みP1 pilotデータの再集計。深さ8に限ると、filler 0/8/32で各表記の厳密正解はほぼ平坦（A 3/8 / 3/8 / 4/8、B 0/8 / 0/8 / 0/8、C 3/8 / 5/8 / 4/8、D 8/8 / 8/8 / 8/8、E 0/8 / 0/8 / 1/8、各8応答）で、表記を分けているのはopenerとcloserの線形距離ではなく、同時に開いているブロックの数に見える。P3はこの二つの軸を分けて動かし、閉じる依存が本当に局所的な文法を加える。

実装は分離worktree p3-short-dependency（source hash f57b680ff77f4a0b4190ede060a71f008bb1671a65d82f100fc9e6a5ffa4aff0）。公開リポジトリのルートの bench/ / llm-core/ にはP3のコードは含まれず、runを生成した正確なソースは p3-source snapshot に別途保存する。P3cは同じworktreeの後続commit（source hash 9d1d8aaf7ab703c39702f518386873b091a4d1f3f0b967ba13dc0b5f856b193c、同じsnapshotディレクトリに更新して保存）で生成した。P3設計 / preflight能力確認。

P3a：閉じ構文の局所性。

同じAST・名前・値・例・語彙対応で、閉じ方だけを4通りにする。B end（共通の終端）、D end KIND NAME（遠いopenerの種類と名前を写す）、G end K（Kは閉じるブロックのネスト深さ。直前の行の深さだけで書ける）、F 閉じ行なしの2スペースindent（直前の行のindentだけで書ける。Python風で事前学習の交絡あり）。課題は ast_to_source のみ、深さ4/8/16 × filler 0/32/128、36 structural families、natural + nonce、各表記72応答。計画 288、処置保存 288、評価可能 288、正解 191、infrastructure missing 0、既知使用量 2,840,815 tokens。

Bはunclosed_scope 53件、Dはvalid_syntax_wrong_ast 9件、Gはclose_depth_mismatch 13件、Fはvalid_syntax_wrong_ast 9件。局所的な手掛かりだけのGは、このpilotではDに届かなかった。Fは高いがDも超えない。

深さ8以上ではfiller 128がD/G/Fを下げる（深さ8・filler 128でD 5/8、G 4/8、F 2/8）。filler 32以下のP1では見えなかった線形距離の効果が、より長いfillerでは現れる。Bは深さ8以上でほぼ全滅する。

P3b：importの修飾。

言語に import を加える。閉じ終わったモジュール（ブロック）の直接の束縛を現在のスコープに持ち込み、変数は自分の let、次にimport（後のimportが勝つ）、次に外側のスコープの順で解決する。両oracleは独立に実装。閉じ方はDに固定し、同一の72 familyで修飾だけを変える：fq は import n_a.n_b.n_c（祖先の全path）、short は import n_c（モジュール名のみ）。課題は scope_lookup（before_close / after_close）と ast_to_source。fq: 計画 216、処置保存 216、評価可能 216、正解 187、infrastructure missing 0、既知使用量 1,499,852 tokens。short: 計画 216、処置保存 216、評価可能 216、正解 177、infrastructure missing 0、既知使用量 1,471,011 tokens。

対はfamily・課題・観測位置・語彙で一意に取れる。before_closeは両runとも全正解で差がない。after_closeとast_to_sourceではfqが上回るが、不一致の件数は小さく、1 replicateの記述的な差として読む。

P3c：indentと閉じ行を重ねる。

P3aのFは「indentが構造を担う」ことと「閉じ行がない」ことを同時に変えている。P3cはこの二つを分け、indentを意味のあるものにしたまま閉じ行を戻す：H indent_named_end（2スペースindent + end KIND NAME）、I indent_generic_end（2スペースindent + end）。parserは両方の手掛かりを検査し、一致しなければ拒否する（閉じ行のない脱indentは missing_close、openerと違うindentの閉じ行は close_indent_mismatch）。D・Fを同じrunで再実行し、P3aと同じmaster seedで同一の36 familyを使う。BとGは再実行しない。P3aとはプールせず、family単位の記述的な比較だけを行う。課題は ast_to_source のみ、深さ4/8/16 × filler 0/32/128、natural + nonce、各表記72応答。計画 288、処置保存 288、評価可能 288、正解 255、infrastructure missing 0、既知使用量 2,885,195 tokens。

各表記72応答の厳密正解は D 67/72、F 64/72、H 64/72、I 60/72。不正解の内訳は構文成立・AST不一致 30件、構文不成立 3件（invalid_nop 3件）。H・Iの閉じ行とindentの整合をparserが検査するが、indentや閉じ行に関するparser errorは一件も起きていない。

深さ16・filler 128では D 7/8、F 7/8、H 7/8、I 3/8（各8応答）。Iはこのセルで最も低い。

同一runの中でDと対にすると、H（D正解・H不正解 6件、D不正解・H正解 3件）、F（D正解・F不正解 7件、D不正解・F正解 4件）、I（D正解・I不正解 11件、D不正解・I正解 4件）。indentをnamed closerに重ねても、このpilotではnamed closer単独を上回らなかった。

P3aとP3cのnamed_endは、同一の72 requestを別のrunで生成した2つのreplicate。P3a 62/72、P3c 67/72で、8 familyが誤→正、3 familyが正→誤に動いた。1 replicateでは72応答あたりおよそ5件程度の差はrun間の変動の範囲内で、P3a・P3cの表記間の差もこの尺度で読む。凍結計画もCIもなく、記述的な観測にとどまる。P3c report / summary.csv / scores.jsonl / cases.jsonl / paired-comparisons.csv / P3c config / P3c preflight。

このpilotで最も高かったのは、冗長で明示的な情報を持つ条件（D、fq）だった。短距離の手掛かりだけ（G）はDに届かず、importでも自己完結したfull pathのほうが高い。これは「依存が短ければ有利」という仮説をそのまま支持する結果ではなく、別の凍結計画と独立holdoutで確かめる必要がある。P3a report / summary.csv / scores.jsonl / cases.jsonl / P3b fq report / P3b short report / P3a config / fq config / short config。

06 / ADJUNCT TASKS

全文parsingと読み取りは、生成を補足する別の結果。

全文parsing：生成したい木を、読んで復元できるか。

P2の source_to_ast は完全に閉じた全文から、中立の入れ子JSON ASTを復元する課題。生成方向と同じfamily・名前・値・例・語彙・5表記を使う。全nodeと順序を比較し、schemaが正しくても違う木なら失敗。生成の入力はparent/order表、parsingの出力は入れ子JSONなので、絶対正解率の差には表現の違いも含まれる。

prefix読み取り：probe地点の値と開いているブロック。

scope_lookup は見える変数値を整数ひとつで、active_stack は開いているscope名を外側から内側のJSON配列で答える。入力はprobeで止め、後続の閉じラベルは見せない。EOFで開いたscopeが残るのは意図したprefixで、全文生成・全文parsingとは違う課題。

P1の補助読み取り：変数値

P1の補助読み取り：開いているブロック列

P1 T1のCIはゼロを含む。before-closeではB/Dが全正解で差0、退化した区間[0,0]だったが、一般的な同等性の証明ではない。読み取り結果を生成結果とプールしない。

元のfrozen main：主目的を保持した読み取り実験。

途中の保存済みスナップショット。計画 5,120、送信 2,748、処置保存 2,753、評価可能 2,688、正解 2,331。infrastructure missing 60、未送信 2,372、incomplete 0、refusal 0。CSV の CI status: not_computed。

この5,120試行の計画上の主比較は scope_lookup / after_close / D−B。全体の処置保存数とCI状態を元のCSVから表示し、生成のconfirmatory試験には変更しない。結果が有利な時点で止めたり、失敗を除いて再送したりする計画ではない。保存済みmain report / 保存済み比較CSV

07 / STATUS AND REPRODUCIBILITY

測定、配線検証、計画を分けて記録する。

P1の既知使用量は6,148,886 tokens、mainは9,063,965 tokens。P2 liveは3,293,502 known tokens。 初回中断時の結果不明の応答と未解決使用量を保持した記録: 初回の復旧証跡。 記録ファイルの競合で送信前に止まった試行は、外部通信なしの復旧処理で未送信として残した。既存の応答と予約を保持した 今回の復旧証跡。 これはbillingの確定額や無料quotaの証拠ではない。

APPENDIX / ARTIFACTS

数値から、保存資料へ戻れる。

HTMLは保存済みScala採点・統計成果物だけから生成する。再採点、再bootstrap、API接続は行わない。部分群の割合はCSVの正解数と評価可能数の比で、CIは paired-comparisons.csv からコピーする。以下は実際にコピーした各ファイルのSHA-256。

Pilot v1は完全なcanonical logical requestを保存したが、transport wireのJSON key orderをbyte-for-byteでは記録していない。再構成したbodyを当時のraw wireとは呼ばない。元のsource・採点・応答を維持し、変更後のmain/P2と統合しない。provenanceの説明

Input manifest SHA-256: 2248226ccb7f54ec45cd452e5a8025d88bfb5214ac308648f5d62fafd6723cbd。HTMLは外部asset・analytics・秘密鍵・ローカル絶対パスを含まない。

公開buildの検証状態とworkflow識別子 / 保存資料の実行状態。再現用Scalaソースとデータはpublication projectにまとめている。