何が起きたか

AIと同じ目的について話し、筋の通った説明を聞き、仕事まで進んだ。それでも、どこか噛み合っていない。原因は、答えの間違いではなく、何を当然の条件として扱っていたかの違いかもしれない。

例えば「顧客への回答を速くしたい」と相談したとき、AIが既存の承認フローを調べ、承認書類の作成を自動化する案を出す。確かに速くなるだろう。しかし、相談した人は「承認の回数自体を減らせないか」と思っていたかもしれない。逆に、その承認は法令や契約上、残さなければならないかもしれない。どちらかを確認する前に、AIは与えられた仕事を合理的に進められる。

私たちのAIを使った開発でも、似たことがあった。小さな修正を反映するたびに、人間が二度操作する運用があった。「なぜ二段階なのか」と尋ねると、AIは変更を途中で隔離することや、最終反映前に検証することの利点を説明した。それらは実際に意味のある説明だった。

しかし私たちは、修正を一つ適用するたび、すぐ次の操作で最終反映していた。人間が知りたかったのは「その仕組みにどんな利点があるか」だけではなく、「今回の目的でも、人間が二度操作する必要があるか」だった。

ここで区別したいのは、①二段階の手順が存在するという事実、②二段階に分ける理由についての説明、③今も二度の人間操作が必要だという判断。①と②が正しくても、③はまだ検証されていない。この事例は二段階を廃止すべきだったという証明ではない。異なる問いを、同じ問いとして進めてしまった事例である。

どう考えているか

AIは、入力を受け取って文章や提案を作るソフトウェアです。GPTはその一種で、LLM（大規模言語モデル）は大量の文章から学習して文章を扱うモデルを指します。ここでのHumanは、仕事の目的と外部への行動を判断する人間のことです。

ここで言うAIの目的は、AIが人間のように独自の願望を持つという意味ではない。依頼、与えられた指示、会話、参照した文書から、AIが作業上の目標として扱っているものを指す。またAIの前提とは、回答や提案を組み立てるとき、改めて検討せず所与の条件として扱ったものを指す。AIの内部を直接見たという主張ではなく、応答と作業の進み方から確認するための言葉だ。

人間側も、自分の「当たり前」をすべて言語化しているとは限らない。「収入を得たい」とAIに相談して、再利用できる商品を先に作る営業案が返ってきたとしよう。その案は目的の一つに合っている。それでも、その人が本当に続けたいのは、参加した誰かの事業を支え、そこで生じる課題に合わせてシステムを改良することかもしれない。最初の依頼は嘘ではなかった。ただ、「どんな活動を続けながら達成したいか」が言葉になっていなかった。

AIと人間の目的が全く違うとは限らない。同じ大きな目標に賛成していても、守るべきもの、変えてよいもの、何を成功と数えるかがずれている。そのずれを、ここでは日々の仕事における「ミスアラインメント（目的や前提の不一致）」と呼ぶ。AI安全性の研究で扱う広い意味のalignment全体を、この一事例で説明し尽くすものではない。

AIは既存の仕組みを説明し、過去の仕事を引き継ぎ、そこから次の提案を作れる。これは重要な能力だ。何度も最初から事情を説明しなくて済むし、組織の仕事を継続できる。

同じ能力には、注意が必要な場面もある。昨日のAIが「この工程には理由がある」と説明する。今日のAIは、その説明を「この工程は必要」という決定として引き継ぐ。明日のAIは、その工程を高速化する新しい機能を提案する。誰も嘘をついていなくても、説明が要件へ、要件が新しい仕事へ変わることがある。

ここで正当化を禁止する必要はない。既存の仕組みの利点を見つけることは役に立つ。むしろ、問いは「それは何の説明で、どの時点から誰の決定として使われているか」だ。人間の原文、AIが提案した手段、現在の運用上の制約を区別し、変更してはいけない安全条件も見落とさない。

まだ分からないこと

今回の二段階操作が別の仕事でも不要だったのか、過去の別の会話で何が起きていたのか、AIの内部でどんな因果過程が働いたのかは独立に確認できていません。確認を増やすこと自体が、人間の負担や必要な仕事の停止につながる可能性もあります。

次に確かめること

イーロン・マスクの5-Step Algorithmは、要求を疑い、不要なものを削り、残ったものを簡素化し、速くしてから自動化するという順序で知られる。この考え方は、不要な工程を先に自動化しないために役立つ。

しかし、人間とAIの共同作業では、もう一つ前の問いが生まれる。「いま要求と呼んでいるものは、誰が、いつ、どんな目的で決めたのか？」。顧客への回答を速くすることが要求なのか、従来のすべての承認を維持することまで要求なのか。その区別を誤れば、5-Stepを丁寧に進めても、別の問題を解くことになる。

私たちはここから、仕事を始める際の十の確認点を研究仮説として考えた。

1. 原目的は何か。
2. その目的は誰の言葉や判断に由来するか。
3. いま当然と扱っている条件は何か。
4. それは事実、説明、提案、決定のどれか。
5. 現在も満たされていないことは何か。
6. そもそも新しい行動をせず達成できないか。
7. 異なる手段なら何が変わるか。
8. 判断を分ける最小の証拠は何か。
9. 誰の権限で、どこまで行動できるか。
10. 現実の結果を見て、次へ何を引き継ぐか。

これはGPTの内部の思考を矯正する十の命令ではない。毎回十項目の書類を作るための工程でもない。雑談は雑談のままでよい。重要なのは、AIの説明が新しい要求、費用を伴う仕事、外部への行動に変わる地点で、必要な前提を確かめ直せるかどうかだ。

これら十の確認点は提案であって、実装済みでも効果が検証済みでもありません。新しい実仕事で、必要な仕事を誤って止める頻度、人間の修正回数、外部の結果、所要時間まで比較します。

なぜ重要か

人間も、AIの提案への違和感から、自分がまだ説明できていなかった大切な条件に気づくことがある。「お金を稼ぐこと」より「誰かの事業を支えられる仕組みを作り続けること」に自分の動機がある、と分かるように。それは一方が相手を正すだけの関係ではない。前提の違いそのものが、新しい情報になる。

この十の確認点が有効かどうかは、まだ実証していない。確認が増えすぎれば、人間が毎回AIの前提を直す負担が増えるかもしれない。今後問いたいのは、未確認の前提から生まれる不要な仕事を減らしながら、必要な仕事まで止めず、最終的な目的の達成へ近づけるか、ということだ。

AIと人間は、同じ言葉で同じ目的を話していても、何を「当たり前」としているかまで共有しているとは限らない。説明を止める必要はない。ただ、説明が次の仕事を決めるとき、その前提を、いまの目的に接続し直す。

What happened

Imagine asking an AI system to help answer customers faster. It might automate documents required by the existing approval process. That could be useful. But the person asking might instead want to know whether fewer approvals would achieve the same result. On the other hand, a law or contract might require those approvals. Without checking either possibility, a coherent answer can optimize a process that was never the real question.

In work using AI at RealPG, applying a small change sometimes involved two consecutive actions by a human. When asked why there were two steps, GPT explained the advantages of isolating an unapproved change and checking it before final publication. Those were meaningful reasons to have a staged procedure. The human’s question, however, was whether two separate human actions were still necessary for this particular task, given that the final action normally followed immediately after the first. Explaining the general benefits did not independently establish that specific necessity.

Three distinct claims were at stake: that the two-step procedure existed, that it had good reasons, and that both human actions were currently necessary. The first two do not prove the third. This episode does not establish that the second action should have been eliminated.

What we think it means

AI here means software that generates responses or proposals from inputs. GPT is one example of an LLM, or large language model, a kind of system trained to work with language. “Human” means the person who chooses the objective and authorizes action. “An AI objective” here is the working goal the model appears to use from instructions, conversation and reference material, not a personal desire. An implicit premise is an unspoken condition treated as given rather than re-examined. These are descriptions of observable responses and workflows; the model’s inner reasoning was not directly observed.

People also leave premises unstated. Someone might ask for help earning revenue and receive a reasonable plan to build reusable small products first. Yet what that person wants to keep doing might be helping real participants build businesses and improving the systems needed for that work. The broad objective was not false; a condition about acceptable means and continuing motivation was missing from the words initially supplied.

Two participants can share an overall goal while differing about which constraints must remain, which means may change, who is allowed to decide, or what counts as success. We use “misalignment” here only for that everyday divergence in working assumptions, not as a complete account of the wider AI-alignment research field or a claim that the model has an independent will.

Explanation can unintentionally become authority across handoffs: a previous AI explains why a step exists; the next treats that explanation as an unalterable requirement; a third proposes work to automate it. Each answer can look locally reasonable without anyone having verified that the step remains needed for the human’s current objective. Explanation is useful; the question is when, and by whose decision, it becomes a requirement.

What remains unknown

We have not independently inspected complete transcripts from other chat windows. We do not know whether the second human action was unnecessary across tasks, what happened inside the model, or whether any proposed new checks reduce wasted work. The checks themselves could add human burden or stop necessary work.

What we will check next

A common five-step approach to improving processes starts by questioning requirements, deleting unnecessary steps, simplifying what remains, speeding it up, and only then automating. This raises a question even earlier: who decided that the current “requirement” was necessary, when, and for what objective?

We propose ten checks at the boundary where an explanation or proposal may become new work. These are research questions, not deployed or validated company-wide controls:

1. Recover the original outcome the person wants.
2. Identify the source of each objective, constraint, and decision.
3. Surface conditions being assumed without re-examination.
4. Separate facts, explanations, interpretations, proposals, and decisions.
5. Observe what remains unmet right now.
6. Ask whether the goal is already achievable without new action.
7. Consider at least one alternative means.
8. Find the smallest evidence that would change the choice.
9. Confirm who has authority, and minimize the authorized action.
10. Observe the real outcome and distinguish what should be inherited next.

We will compare ordinary work with a lightweight premise check across several new tasks, observing necessary work stopped in error, human corrections, elapsed time, and real-world outcomes. The proposal is not a command to force ten written answers in every conversation.

Why it matters

A mismatch need not be only a failure. The human can discover a previously unstated priority when an AI proposal does not feel right. This is not a diagnosis of anyone’s motives; it is a possible way to make the task’s actual conditions more explicit.

AI and humans may use the same words for the same broad purpose while treating different constraints as obvious. We need not stop explaining existing systems. When an explanation starts determining the next task, we can reconnect its premises to the present objective and the person authorized to decide.