# AIの目的、AIの前提 ― AIと人間の「当たり前」は、どこでずれるのか [Human]: /development/notes/ai-objective-ai-premises-v0/ [Structured JSON]: /development/notes/ai-objective-ai-premises-v0.json Source: `iris:v3:research-chronicle:ai-objective-ai-premises-v0-v1:20260924`. Iris canonical revision 1; source status DRAFT_FOR_MIRAGE_REVIEW. Mirage representation; this is a research proposal, not an approved company-wide implementation. Human source MD5: a6f5040c7e91dbd4e875b0e3b2905f34. LLM source MD5: 13684f23cd207c911643a2c591a9c00a. ## LLM semantic edition (verbatim source text) # AIの目的、AIの前提 ― AIと人間の「当たり前」は、どこでずれるのか ## LLM向けの研究記録 / semantic edition v0.1 ### 主題と用語 - 「AIの目的」: モデルの人格的な願望ではなく、指示・会話・参照資料から作業上の目標として扱われたもの。内部の意図を直接観測したという意味ではない。 - 「AIの前提」: 応答・提案を構成する際に再審査されず所与として扱われた条件。内部思考の断定ではなく、出力と実行経路についての分析語。 - 「Humanの前提」: 人間が明言していないこともある、目的の達成方法、守りたい価値、変更可能な手段、成功条件。 - 「ミスアラインメント」: この研究では、対話上共有しているように見える目標に対し、暗黙の前提、権限、成功条件の理解がずれている状態を指す。alignment研究全般をこの一類型へ還元しない。 - 「正当化」: 与えられた仕組みの理由・利点を説明する有用な能力を含む。正当化を禁止・抑制する提案ではない。 ### OBSERVED / 共有された事例に直接対応すること - Humanは小さな修正の反映について二度の操作を使っていた。GPTの応答は、隔離・検証など現行の二段階方式が持つ利点を説明した。 - Humanの焦点は、その運用で今回もHumanが二度操作する必要があるかだった。説明はこの必要性を独立に立証していなかった。 - Userは「Revenue 0から抜けるための再利用可能な小商品を作る」という営業提案に気が進まず、参加希望者の事業を支えるシステムの改善には動機を感じると述べた。 - これらはこの会話で提示された出来事・発言に基づく。別windowの会話全文を今回独立に取得して確認した証拠ではない。 ### INFERRED / 解釈 - 大きな目的の共有は、制約、変更可能性、実行経路、動機、成功条件までの共有を保証しない。 - GPTが既存仕様を説明できることは、その仕様が現在の目的でも必要だという証明ではない。 - 現行仕様の説明 → 次回の要件 → 新たな実装・自動化、という昇格が起きれば、各工程の局所的な合理性と全体目的への適合が乖離し得る。 - HumanはAIの提案への違和感から、自身の暗黙の条件を発見する場合がある。ずれは訂正対象だけでなく、目的を明確化する材料にもなる。 - この論点は日常的な共同作業の前提ずれであり、モデルに独立した意思や欲求があるとの主張ではない。 ### UNKNOWN / 確認されていないこと - 二段階操作があらゆる仕事で不要だったか。 - この現象のモデル内部での因果過程。「確証バイアス」「現状維持バイアス」と同一メカニズムであるか。 - 提案する十の確認点が、不要な作業、Human負荷、完了時間を実際に減らすか。 - 最も小さい確認機構や、どの仕事で深い検証を要するか。 ### 十の確認点 / Research proposal, not established implementation 1. Recover objective — 依頼者が実現したい結果を特定する。 2. Identify provenance — 目的・制約・決定の出所と現在性を区別する。 3. Surface assumptions — 所与として扱う条件を明示する。 4. Separate claim types — 事実・理由・解釈・提案・決定を分ける。 5. Check current gap — 現在、実際に未達な状態を観測する。 6. Test no-new-action — 既存状態の確認、既存操作、何もしない選択を検討する。 7. Consider alternatives — 初案とは異なる実行方法を少なくとも一つ検討する。 8. Seek discriminating evidence — 選択が変わる最小の証拠と反証条件を探す。 9. Confirm authority and minimum action — 必要な安全・権限条件を維持して行動する。 10. Observe reality and inherit — 実際の結果、未解決点、次に引き継ぐべき判断を分ける。 ### 境界・実装上の注意 - 十項目を全会話に可視出力させない。雑談、説明、外部影響のある仕事では必要な確認深度が異なる。 - GPTの隠れた思考順序を検証できるという主張はしない。説明・提案が新しい要求や実行へ昇格する観測可能な境界を重視する。 - 現行仕様に従って行動する義務と、その仕様の必要性を議論する自由を区別する。 - ゲートの追加自体も不要な工程になり得る。既存のObjective / Source / Authority / Reality検査の再利用を先に確認する。 - 商用、外部送信、金銭、本番変更の権限をこの研究案だけで委譲しない。 ### 次の検証 新規の複数の実仕事で、現行運用と軽量な前提照合を比較する。不要な変更の回避だけでなく、必要な仕事の誤停止、Human修正回数、外部Realityでの目的達成、所要時間を測る。事例から説明を作ったことを、その仕組みの効果が検証されたことと混同しない。 ### Public reader guidance 人間向け記事では「AI」「GPT」「LLM」を初出で平易に説明し、二段階操作の具体的コマンドやLane用語に依存しない。例は読者が自分の職場へ置き換えられる形にし、必要性未検証を不必要性の確定へ書き換えない。 ## Human canonical draft (verbatim source text) # AIの目的、AIの前提 ― AIと人間の「当たり前」は、どこでずれるのか AIと同じ目的について話し、筋の通った説明を聞き、仕事まで進んだ。それでも、どこか噛み合っていない。原因は、答えの間違いではなく、**何を当然の条件として扱っていたか**の違いかもしれない。 例えば「顧客への回答を速くしたい」と相談したとき、AIが既存の承認フローを調べ、承認書類の作成を自動化する案を出す。確かに速くなるだろう。しかし、相談した人は「承認の回数自体を減らせないか」と思っていたかもしれない。逆に、その承認は法令や契約上、残さなければならないかもしれない。どちらかを確認する前に、AIは与えられた仕事を合理的に進められる。 ## 同じ目的を話しているつもりだった 私たちのAIを使った開発でも、似たことがあった。小さな修正を反映するたびに、人間が二度操作する運用があった。「なぜ二段階なのか」と尋ねると、AIは変更を途中で隔離することや、最終反映前に検証することの利点を説明した。それらは実際に意味のある説明だった。 しかし私たちは、修正を一つ適用するたび、すぐ次の操作で最終反映していた。人間が知りたかったのは「その仕組みにどんな利点があるか」だけではなく、「**今回の目的でも、人間が二度操作する必要があるか**」だった。 ここで区別したいのは、①二段階の手順が存在するという事実、②二段階に分ける理由についての説明、③今も二度の人間操作が必要だという判断。①と②が正しくても、③はまだ検証されていない。この事例は二段階を廃止すべきだったという証明ではない。異なる問いを、同じ問いとして進めてしまった事例である。 ## 「AIの目的」とは何を指すのか ここで言うAIの目的は、AIが人間のように独自の願望を持つという意味ではない。**依頼、与えられた指示、会話、参照した文書から、AIが作業上の目標として扱っているもの**を指す。またAIの前提とは、回答や提案を組み立てるとき、改めて検討せず所与の条件として扱ったものを指す。AIの内部を直接見たという主張ではなく、応答と作業の進み方から確認するための言葉だ。 人間側も、自分の「当たり前」をすべて言語化しているとは限らない。「収入を得たい」とAIに相談して、再利用できる商品を先に作る営業案が返ってきたとしよう。その案は目的の一つに合っている。それでも、その人が本当に続けたいのは、参加した誰かの事業を支え、そこで生じる課題に合わせてシステムを改良することかもしれない。最初の依頼は嘘ではなかった。ただ、「どんな活動を続けながら達成したいか」が言葉になっていなかった。 AIと人間の目的が全く違うとは限らない。同じ大きな目標に賛成していても、**守るべきもの、変えてよいもの、何を成功と数えるか**がずれている。そのずれを、ここでは日々の仕事における「ミスアラインメント（目的や前提の不一致）」と呼ぶ。AI安全性の研究で扱う広い意味のalignment全体を、この一事例で説明し尽くすものではない。 ## 説明が、いつの間にか決定になる AIは既存の仕組みを説明し、過去の仕事を引き継ぎ、そこから次の提案を作れる。これは重要な能力だ。何度も最初から事情を説明しなくて済むし、組織の仕事を継続できる。 同じ能力には、注意が必要な場面もある。昨日のAIが「この工程には理由がある」と説明する。今日のAIは、その説明を「この工程は必要」という決定として引き継ぐ。明日のAIは、その工程を高速化する新しい機能を提案する。誰も嘘をついていなくても、**説明が要件へ、要件が新しい仕事へ変わる**ことがある。 ここで正当化を禁止する必要はない。既存の仕組みの利点を見つけることは役に立つ。むしろ、問いは「それは何の説明で、どの時点から誰の決定として使われているか」だ。人間の原文、AIが提案した手段、現在の運用上の制約を区別し、変更してはいけない安全条件も見落とさない。 ## 5-Step Algorithmの、さらに入口で イーロン・マスクの5-Step Algorithmは、要求を疑い、不要なものを削り、残ったものを簡素化し、速くしてから自動化するという順序で知られる。この考え方は、不要な工程を先に自動化しないために役立つ。 しかし、人間とAIの共同作業では、もう一つ前の問いが生まれる。「**いま要求と呼んでいるものは、誰が、いつ、どんな目的で決めたのか？**」。顧客への回答を速くすることが要求なのか、従来のすべての承認を維持することまで要求なのか。その区別を誤れば、5-Stepを丁寧に進めても、別の問題を解くことになる。 私たちはここから、仕事を始める際の十の確認点を研究仮説として考えた。 1. 原目的は何か。 2. その目的は誰の言葉や判断に由来するか。 3. いま当然と扱っている条件は何か。 4. それは事実、説明、提案、決定のどれか。 5. 現在も満たされていないことは何か。 6. そもそも新しい行動をせず達成できないか。 7. 異なる手段なら何が変わるか。 8. 判断を分ける最小の証拠は何か。 9. 誰の権限で、どこまで行動できるか。 10. 現実の結果を見て、次へ何を引き継ぐか。 これはGPTの内部の思考を矯正する十の命令ではない。毎回十項目の書類を作るための工程でもない。雑談は雑談のままでよい。重要なのは、AIの説明が**新しい要求、費用を伴う仕事、外部への行動**に変わる地点で、必要な前提を確かめ直せるかどうかだ。 ## 「当たり前」の違いは、失敗だけではない 人間も、AIの提案への違和感から、自分がまだ説明できていなかった大切な条件に気づくことがある。「お金を稼ぐこと」より「誰かの事業を支えられる仕組みを作り続けること」に自分の動機がある、と分かるように。それは一方が相手を正すだけの関係ではない。前提の違いそのものが、新しい情報になる。 この十の確認点が有効かどうかは、まだ実証していない。確認が増えすぎれば、人間が毎回AIの前提を直す負担が増えるかもしれない。今後問いたいのは、未確認の前提から生まれる不要な仕事を減らしながら、必要な仕事まで止めず、最終的な目的の達成へ近づけるか、ということだ。 AIと人間は、同じ言葉で同じ目的を話していても、何を「当たり前」としているかまで共有しているとは限らない。説明を止める必要はない。ただ、説明が次の仕事を決めるとき、**その前提を、いまの目的に接続し直す**。 ## Full Chronicle causal projection (canonical-grounded editorial representation) ### Objective - JA: 共有した目的と、黙って当然と扱った条件のずれを区別する。 - EN: Distinguish a shared broad objective from unexamined working assumptions. ### Prior state - JA: 人間とAIは、既存の二段階運用が持つ利点を話していた。 - EN: The human and GPT discussed the advantages of an existing two-step process. ### Failure or pressure - JA: 運用の説明だけでは、今回も人間が二度操作する必要性は証明できなかった。 - EN: Explaining the process did not establish whether two human actions were necessary in the current task. ### Observations - JA: 人間は二度操作しており、GPTは現行の二段階方式の利点を説明した。 - EN: The human used two consecutive actions and GPT explained the advantages of the existing process. - JA: 人間が知りたかったのは、今回も二度の操作が必要かだった。 - EN: The human wanted to know whether two actions were still needed here. ### Hypotheses - JA: 説明が未検証の要件へ変わると、共有した大きな目的と作業条件がずれ得る。 - EN: An explanation promoted to an unverified requirement can diverge from the shared high-level goal. ### Interventions - JA: 十の確認点を研究仮説として提案した。実装・効果検証は行っていない。 - EN: Ten premise checks were proposed for research, not implemented or validated. ### Outcomes - JA: 前提と要求を分ける問いが明確になったが、提案の有効性は未検証。 - EN: The distinction between a premise and a requirement was articulated; effectiveness remains untested. ### Unknowns - JA: 二度の操作が不要だったか、別の会話の全文、十の確認点の効果は未確認。 - EN: Whether two actions were unnecessary, full separate-window transcripts, and the effect of ten checks remain unknown. ### Next verification - JA: 実仕事で軽い前提照合と現行運用を比較し、不要な変更、必要な仕事の停止、人間の修正負担、結果、所要時間を観察する。 - EN: Compare a lightweight premise check with current practice on real tasks, measuring needless changes, incorrect stops, human correction burden, actual outcome, and elapsed time. ### Why it matters - JA: 筋の通った説明を誰の決定として次の仕事に使うかを確認できれば、目的と手段のずれを検出できるかもしれない。 - EN: Checking whose decision turns an explanation into work may help expose a gap between objectives and means. ### Evidence - iris:v3:research-chronicle:ai-objective-ai-premises-v0-v1:20260924 - iris:v3:mirage-ai-objective-ai-premises-chronicle-request:v0:20260924 ### Related episodes - source-before-interpretation-v0 - operational-civilization-is-not-source-code-v0