AI 對話的迴圈放在哪裡跑:三種做法
一句話:LLM 只會回「請執行某個動作」這種話,自己做不了任何事。要有一段程式讀它的回話、真的去做、把結果交回、再問它下一步,這段程式叫「迴圈」。這一題要定的是:迴圈放在後端(A)、瀏覽器(B),還是交給 AI 廠商代管(C)。
三種做法畫面上看起來完全一樣,差別在後面:誰擋「先問再改」、對話紀錄存在哪、你審不審得到、能不能換廠商。
2026-11-19 Jesse 選了做法 B:瀏覽器全權處理。第 8 節是 Claude 當時的推薦(A),留著查。第 4 節與第 7 節「審得到的範圍」那一列,在 Jesse 問了「送給 LLM 的命令也要經過後端,後端還是審得到吧」之後更正過:B 的後端看得到每一圈跟 LLM 的往來,看不到的只有「LLM 說要做 X」到「瀏覽器真的叫 X」中間那一段。決定記在 docs\architecture\ai-assistant.md 第 2 題。
1. 先講清楚「迴圈」是什麼
例子:主人在對話欄打「幫好鄰居咖啡開一張訂單,蔥油餅乾 10 包」。
送給 LLM 的時候,我們會一起附上一份「你可以叫的動作清單」(找客戶、找商品、打開新訂單並填入……,每個都有名字和參數格式)。LLM 讀完,不會自己去查資料庫,它只會回一段結構化的話:
{ "要執行": "找客戶", "參數": { "關鍵字": "好鄰居" } }
接下來一定要有人做這四件事,一直重複到 LLM 說「做完了,這是要給主人看的話」為止:
- 讀懂 LLM 這次要執行什麼。
- 真的去執行(查資料庫、打開畫面……)。
- 把結果接到對話紀錄後面。
- 帶著整段對話紀錄再問 LLM 一次(LLM 不記得上一次,每次都要整段送)。
這個例子一共要繞四圈:找客戶 → 找商品 → 打開新訂單並填入 → 回一句話給主人。負責繞圈的那段程式,就是這題說的「迴圈」。
2. 兩種不一樣的動作:後端動作與畫面動作
11/17 第 1 題定了「畫面和 AI 共用同一批後端動作」,另外再給 AI 少數幾個畫面動作。這兩種動作能在哪裡執行不一樣,這一題的難處都從這裡來:
| 種類 | 例子 | 誰做得到 |
|---|---|---|
| 後端動作 | 找客戶、找商品、查庫存、改客戶折扣、儲存訂單 | 後端的執行器。瀏覽器可以用 HTTP 叫它,跟按鈕一樣 |
| 畫面動作 | 打開新訂單並填入、在打到一半的單上加一列、讀出畫面上這張單現在長怎樣 | 只有瀏覽器。打到一半、還沒按儲存的單只在瀏覽器裡(單據按儲存才存,assemble.md) |
所以不管迴圈放在哪裡,後端動作和畫面動作總有一種要「跨過去」:迴圈在後端,碰到畫面動作就要停下來等瀏覽器;迴圈在瀏覽器,碰到後端動作就要用 HTTP 打過去。
圖例:送出回覆跟畫面動作有關 綠底的方塊=迴圈在這一格
3. 做法 A:後端跑
- ① 瀏覽器送出這句話,附上畫面現在的狀態(在哪一頁、打到一半的單長怎樣),只送這一句,不送整段紀錄。
- ② 後端從資料庫讀出這段對話之前的紀錄(一張暫存的表,關掉對話就刪),加上這句話,問 LLM。
- ③ LLM 回「請執行找客戶」。
- ④ 後端在同一支程式裡直接叫執行器。確認身分、檢查權限、開交易設公司、寫操作紀錄,跟按鈕走的是同一條路(後端第 5 題)。
- ⑤ 結果接到紀錄後面,再問 LLM。「找商品」照樣繞一圈。
- ⑥⑦ LLM 回「請打開新訂單並填入」。這件事後端做不到,所以把它交給瀏覽器,這一次請求就結束了,紀錄留在資料庫。
- ⑧⑨ 瀏覽器打開新訂單、填好,再送一個請求回報「填好了,單上現在是這樣」。
- ⑩~⑫ 後端讀出紀錄接著問,LLM 回「開好了,看一下沒問題就說存起來」,後端一邊收一邊傳給瀏覽器顯示。
好處
- 迴圈、要不要先問、哪些動作 AI 能叫,全部是後端 C#,在你審的範圍裡。
- 跟後端第 5 題寫的一樣:AI 在同一支程式裡直接叫執行器,不經過讀 JSON、回 JSON。
- 操作紀錄的「某人(AI 助理)」由後端自己知道,不靠瀏覽器說。
- LLM 廠商只出現在後端的一層,換廠商只改那一層(
ai-assistant.md第 8 點)。 - 每一段對話的全文都在後端,AI 做錯的時候查得到它當時看到什麼、叫了什麼。
- 瀏覽器每次只送新的那一句,不用每圈上傳整段紀錄。
代價
- 碰到畫面動作要「先停、等瀏覽器回報、再接著跑」,要多寫這一段。
- 對話紀錄要存在後端。場景 ③ 有好幾台容器,瀏覽器回報的下一個請求可能到另一台,所以不能只放在某一台的記憶體裡,要放資料庫(或讓同一段對話固定到同一台)。
- LLM 一邊生一邊顯示,這條長連線要經過後端。呼叫 LLM 的時候不能佔著資料庫交易(
ai-assistant.md第 4 點),每個動作自己開、自己關。
4. 做法 B:瀏覽器跑
- ① 對話紀錄放在瀏覽器分頁的記憶體裡。瀏覽器把這句話接上去,把整段紀錄送到後端的轉送端點。
- ② 後端加上金鑰、系統提示、動作清單,檢查用量,轉給 LLM。後端不記得這段對話,下一圈又是瀏覽器整段重送。
- ③④ LLM 回「請執行找客戶」,後端原封不動轉回瀏覽器。
- ⑤⑥ 瀏覽器自己去打
POST /api/customer/find,就是按鈕打的那一個端點,帶同一個 Cookie,所以權限照樣擋。 - ⑦~⑨ 結果接到紀錄後面,整段再送一次。「找商品」照樣繞一圈。
- ⑩~⑫ 「打開新訂單並填入」:瀏覽器自己做,不用停下來等誰。
- ⑬~⑯ 再送一次整段,拿到那句話,顯示。
好處
- 後端最簡單:只有一個轉送端點,加上照常接按鈕打的動作。
- 後端不存對話。關掉分頁對話就沒了,正好符合 10/30 定的「關掉再打開,對話清空」。
- 畫面動作不用停下來等,少一段「暫停再接」的程式。
- AI 叫的後端動作跟按鈕走完全同一條 HTTP,連讀 JSON、驗證都一樣。
- 場景 ③ 好幾台容器也沒差,因為後端什麼都不記。
代價
- 迴圈在前端 TypeScript,是你不審的那一邊。系統提示、動作清單、每一圈跟 LLM 的往來都經過後端,這些審得到也記得到;審不到的是「LLM 說要做 X」之後、瀏覽器真的叫 X 之前那一段,「AI 改資料前要先問」這道關就在那裡(第 6 節)。前端寫錯就會不問就改:權限照樣擋,但「先問」擋不住,後端也看不出那個請求是 AI 叫的還是人按的。
- 這也碰到 11/17 定的「前端不放業務規則」。迴圈本身不算業務規則,但「哪些動作 AI 叫之前要主人點頭」算半個。
- 「某人(AI 助理)」要靠瀏覽器在請求上自己標,後端只能相信它。使用者可以把自己改的標成 AI 改的,反過來也行。
- 後端第 5 題寫的「AI 在同一支程式裡直接呼叫執行器」要改成走 HTTP(改的是說明,執行器本身不用改)。
- 整段紀錄由瀏覽器送,使用者改得到(例如假造一筆「找客戶」的結果)。只會騙到他自己這段對話的 AI,真的動作還是要過權限,系統提示和動作清單是後端加的、改不到。
- LLM 的回覆格式是各家自己的。要嘛前端直接讀廠商的格式(換廠商要改前端),要嘛後端先翻成我們自己的格式再轉(後端就不只是「轉送」了)。
- 每一圈都要從瀏覽器上傳整段紀錄,對話一長、手機網路慢的時候會比較慢(推論,沒量)。
5. 做法 C:交給 AI 廠商代管
以 Anthropic 的 Managed Agents 為例。事先在 Anthropic 建好一個「agent」,裡面放模型、系統提示和動作清單。我們的動作在那邊叫「自訂工具」:要執行的時候,它不會自己去做,而是發一個事件給我們。
- ① 開始對話時,後端向 Anthropic 開一個 session,用的是事先建好的 agent。
- ②③ 這句話的路線是瀏覽器 → 後端 → 送進 session。
- ④~⑦ 迴圈在 Anthropic 的機器上跑。要找客戶時,session 發出事件「要執行找客戶」。我們的後端要一直聽著這個 session 的事件,收到就叫執行器,再把結果送回去。
- ⑧~⑫ 「打開新訂單並填入」:後端收到事件,轉給瀏覽器,等瀏覽器回報,再送回 session。跟 A 一樣要停下來等,只是多經過一層。
- ⑬⑭ 最後的那句話以文字事件發出,後端轉給瀏覽器。
好處
- 迴圈和對話紀錄不用自己寫、自己存。
- 適合很長、要跑很久的工作,中間斷線可以接回去。
- 要不要先問那道關一樣可以放在我們後端,因為動作還是我們的後端在執行。
代價
- 還在 beta。
- 只有 Anthropic 自家的 API 和 Claude Platform on AWS 有,Amazon Bedrock 沒有。
- 綁死一家,違反
ai-assistant.md第 8 點「換廠商不用改各模組」。換成別家等於重寫這一塊。 - 除了 token 費,還照 session 的執行時間另外收錢。
- 對話紀錄存在 Anthropic,直到我們刪掉為止,營業資料在第三方多留一份。
- 它原本是為「AI 要有自己的工作空間(容器)跑指令、讀寫檔案」設計的。這一塊我們用不到,可是還是照它的方式付費和串接。
- 畫面動作照樣要停下來等瀏覽器,A 的麻煩還在,又多一層轉手,而且後端要一直聽著 session 的事件。
6. 「存起來」與「改折扣」:先問的那道關在哪裡
10/30 定的規則是「AI 動到資料前,一定要主人點頭」。實際上要分兩種情況看,人家剛才在對話裡把這件事講得太滿了,這裡更正。
情況一:單據(例:「存起來」)
打到一半的訂單在瀏覽器裡,所以存單據一定是畫面自己的「儲存」,跟主人自己按儲存走同一條路。AI 先講重點(「好鄰居咖啡的訂單,2 項,總計 452 元,要存嗎?」),主人說「對」或按「確定」,畫面才存。
這道關三種做法都在瀏覽器,沒有差別。好在最後一步是主人看著整張單按下去的,存進去的內容就是畫面上那張。
情況二:資料頁、設定頁(例:「好鄰居咖啡的折扣改成 9 折」)
這裡 AI 叫的是一個後端動作「改客戶折扣」,不經過哪一張打到一半的單。規則是先在對話裡列出「好鄰居咖啡 折扣 95 → 90」,主人按「確定」才存。差別就在這裡:
| 做法 | LLM 回「請執行改客戶折扣」之後 | 前端寫錯會怎樣 |
|---|---|---|
| A、C | 後端看到這個動作標了「AI 叫的時候要主人確認」,先不執行,把「好鄰居咖啡 折扣 95 → 90」交給瀏覽器。主人按確定,瀏覽器送「確認第幾項」,後端核對是同一個人、同一項,才執行 | 確認卡片可能畫歪,但跳不過:沒有主人的確認,後端就不執行 |
| B | 瀏覽器的迴圈收到這句話,畫出確認卡片,主人按了才去打 /api/customer/update | 新加的動作忘了標「要確認」,就會不問就改。後端收到的是一個普通的請求,看不出差別 |
刪除跳的是頁面自己的 🗑 確認視窗,跟情況一一樣,三種做法都在瀏覽器。
7. 擺在一起比
| A 後端跑 | B 瀏覽器跑 | C 廠商代管 | |
|---|---|---|---|
| 迴圈的程式 | 後端 C# | 前端 TypeScript | Anthropic 的機器 |
| 審得到的範圍 | 全部 | 跟 LLM 的每一圈往來審得到、記得到;迴圈本身、「先問」那道關、AI 標記在前端 | 迴圈看不到;我們這邊接事件的程式審得到 |
| 對話紀錄存哪 | 我們的資料庫(暫存,關掉就刪) | 瀏覽器分頁(關掉就沒了) | Anthropic(到刪掉為止) |
| AI 叫後端動作 | 同一支程式直接叫執行器 | 打跟按鈕一樣的 HTTP | 後端收到事件再叫執行器 |
| 畫面動作 | 停下來,等瀏覽器回報再接 | 瀏覽器自己做,不用停 | 停下來,多一層轉手 |
| 資料頁「先問再改」誰擋 | 後端 | 前端 | 後端 |
| 單據「存起來」誰擋 | 瀏覽器(三種一樣) | 瀏覽器(三種一樣) | 瀏覽器(三種一樣) |
| 「(AI 助理)」誰知道 | 後端自己知道 | 靠瀏覽器自己標 | 後端自己知道 |
| 換 LLM 廠商 | 改後端一層 | 改後端一層;前端讀廠商格式的話前端也要改 | 這一塊重寫 |
| 場景 ③ 好幾台容器 | 紀錄要放資料庫(或固定到同一台) | 沒差 | 要有一台一直聽著 session |
| 費用 | token | token | token+session 執行時間 |
| 要多寫的 | 「暫停再接」、對話紀錄表 | 前端迴圈、確認卡片、AI 標記 | 接事件、轉畫面動作、建 agent |
三種做法場景 ① 本機 PC 都要連得到外面的 LLM 廠商(ai-assistant.md 第 7 點),這點沒有差別。
8. 人家的推薦
推薦 A:後端跑。
- 你只審後端。選 A,AI 能做什麼、什麼時候要先問、做了什麼都留在你看得到的地方。選 B,這些都在你不審的前端。
- 資料頁、設定頁的「先問再改」可以由後端保證,前端寫錯也跳不過。AI 會聽錯(「陳記」對到別家、「9 折」聽成 90 元),這道關是 10/30 定那條規則的理由。
- 跟已經定的對得上:後端第 5 題「AI 在同一支程式裡叫執行器」、操作紀錄記「(AI 助理)」、
ai-assistant.md第 8 點換廠商只改一層。
為什麼不選 B:B 的好處是真的(後端最簡單、不用存對話、畫面動作不用停),也是業界很多聊天產品的做法。可是它省下的「暫停再接」那段程式,換來的是審不到的迴圈和擋不住的確認。這一筆對你不划算。
為什麼不選 C:它最大的好處(不用自己管迴圈、能跑很久、有自己的工作空間)我們用不太到;畫面動作的麻煩它沒有幫忙解決,還會綁死一家、多一筆執行時間的費用,營業資料也多留一份在第三方。
這題現在要定:它決定 AI 是在同一支程式裡叫執行器還是走 HTTP,也決定前端要不要寫一個迴圈。
9. 查證與沒查證的
- C 的事實(beta、只有 Anthropic 自家 API 和 Claude Platform on AWS 有、Bedrock 沒有、token 之外照 session 執行時間收費、session 紀錄保存到刪掉為止):出自 Claude Code 內建的 claude-api 參考文件(2026-11-03 的快取版)。人家還沒到 Anthropic 官網再核對,計價細節(閒置時算不算)沒查。
- B 的「業界很多聊天產品這樣做」是一般經驗,沒查證。
- B「整段紀錄上傳會比較慢」是推論,沒量過。
- 三種做法都沒寫過程式、沒實測。
- 引用的業務規則:
docs\decisions\ai-assistant.md(10/30:先問再改、存起來、關掉對話清空);架構:docs\architecture\ai-assistant.md(第 1 題與 8 處影響)、backend.md第 5 題(執行器)、modules.md第 2 題(模組之間直接呼叫)、frontend.md(前端不放業務規則)。