AI 對話的迴圈放在哪裡跑:三種做法

耀達 Lite 雲端進銷存・架構討論・AI 助理第 2 題・2026-11-19

一句話:LLM 只會回「請執行某個動作」這種話,自己做不了任何事。要有一段程式讀它的回話、真的去做、把結果交回、再問它下一步,這段程式叫「迴圈」。這一題要定的是:迴圈放在後端(A)、瀏覽器(B),還是交給 AI 廠商代管(C)。

三種做法畫面上看起來完全一樣,差別在後面:誰擋「先問再改」、對話紀錄存在哪、你審不審得到、能不能換廠商。

2026-11-19 Jesse 選了做法 B:瀏覽器全權處理。第 8 節是 Claude 當時的推薦(A),留著查。第 4 節與第 7 節「審得到的範圍」那一列,在 Jesse 問了「送給 LLM 的命令也要經過後端,後端還是審得到吧」之後更正過:B 的後端看得到每一圈跟 LLM 的往來,看不到的只有「LLM 說要做 X」到「瀏覽器真的叫 X」中間那一段。決定記在 docs\architecture\ai-assistant.md 第 2 題。

1. 先講清楚「迴圈」是什麼

例子:主人在對話欄打「幫好鄰居咖啡開一張訂單,蔥油餅乾 10 包」。

送給 LLM 的時候,我們會一起附上一份「你可以叫的動作清單」(找客戶、找商品、打開新訂單並填入……,每個都有名字和參數格式)。LLM 讀完,不會自己去查資料庫,它只會回一段結構化的話:

{ "要執行": "找客戶", "參數": { "關鍵字": "好鄰居" } }

接下來一定要有人做這四件事,一直重複到 LLM 說「做完了,這是要給主人看的話」為止:

  1. 讀懂 LLM 這次要執行什麼。
  2. 真的去執行(查資料庫、打開畫面……)。
  3. 把結果接到對話紀錄後面。
  4. 帶著整段對話紀錄再問 LLM 一次(LLM 不記得上一次,每次都要整段送)。

這個例子一共要繞四圈:找客戶 → 找商品 → 打開新訂單並填入 → 回一句話給主人。負責繞圈的那段程式,就是這題說的「迴圈」。

LLM 的金鑰三種做法都只放在後端。放進瀏覽器的話,任何人打開開發者工具就能拿走,用我們的帳戶去叫 LLM。所以就算是做法 B,問 LLM 也一定要經過後端轉一手。

2. 兩種不一樣的動作:後端動作與畫面動作

11/17 第 1 題定了「畫面和 AI 共用同一批後端動作」,另外再給 AI 少數幾個畫面動作。這兩種動作能在哪裡執行不一樣,這一題的難處都從這裡來:

種類例子誰做得到
後端動作找客戶、找商品、查庫存、改客戶折扣、儲存訂單後端的執行器。瀏覽器可以用 HTTP 叫它,跟按鈕一樣
畫面動作打開新訂單並填入、在打到一半的單上加一列、讀出畫面上這張單現在長怎樣只有瀏覽器。打到一半、還沒按儲存的單只在瀏覽器裡(單據按儲存才存,assemble.md)

所以不管迴圈放在哪裡,後端動作和畫面動作總有一種要「跨過去」:迴圈在後端,碰到畫面動作就要停下來等瀏覽器;迴圈在瀏覽器,碰到後端動作就要用 HTTP 打過去。

圖例:送出回覆跟畫面動作有關 綠底的方塊=迴圈在這一格

3. 做法 A:後端跑

瀏覽器主人的畫面我們的後端C#+執行器LLM 廠商只回話,不做事 ① 這句話+畫面現在的狀態 ② 之前的紀錄+這句話 ③ 請執行「找客戶」 ④ 執行器跑「找客戶」 ⑤ 找到了:好鄰居咖啡 (「找商品」一樣是 ③~⑤,這裡省略) ⑥ 請「打開新訂單並填入」 ⑦ 請做這個畫面動作 這次請求到這裡結束,對話紀錄留在後端的資料庫 ⑧ 打開新訂單、填好 ⑨ 填好了,單上現在是這樣 ⑩ 讀出紀錄,接著問 ⑪ 「開好了,看一下…」 ⑫ 邊生邊傳、顯示
做法 A:迴圈在後端。綠底是迴圈所在;橘色是畫面動作

好處

  • 迴圈、要不要先問、哪些動作 AI 能叫,全部是後端 C#,在你審的範圍裡。
  • 跟後端第 5 題寫的一樣:AI 在同一支程式裡直接叫執行器,不經過讀 JSON、回 JSON。
  • 操作紀錄的「某人(AI 助理)」由後端自己知道,不靠瀏覽器說。
  • LLM 廠商只出現在後端的一層,換廠商只改那一層(ai-assistant.md 第 8 點)。
  • 每一段對話的全文都在後端,AI 做錯的時候查得到它當時看到什麼、叫了什麼。
  • 瀏覽器每次只送新的那一句,不用每圈上傳整段紀錄。

代價

  • 碰到畫面動作要「先停、等瀏覽器回報、再接著跑」,要多寫這一段。
  • 對話紀錄要存在後端。場景 ③ 有好幾台容器,瀏覽器回報的下一個請求可能到另一台,所以不能只放在某一台的記憶體裡,要放資料庫(或讓同一段對話固定到同一台)。
  • LLM 一邊生一邊顯示,這條長連線要經過後端。呼叫 LLM 的時候不能佔著資料庫交易(ai-assistant.md 第 4 點),每個動作自己開、自己關。
選了 A 之後下一題會問:「先停、等瀏覽器、再接著跑」怎麼做。一種是像上面這樣每一段都是一個新的請求、紀錄放資料庫;另一種是瀏覽器跟後端開著一條 WebSocket 不關,迴圈在那台的記憶體裡等。這一題先不用管。

4. 做法 B:瀏覽器跑

瀏覽器主人的畫面我們的後端C#+執行器LLM 廠商只回話,不做事 ① 整段紀錄+這句話 ② 加金鑰、系統提示、動作清單 ③ 請執行「找客戶」 ④ 原封不動轉回 ⑤ POST /api/customer/find ⑥ 執行器跑「找客戶」 ⑦ 找到了:好鄰居咖啡 ⑧ 整段紀錄(多了結果) ⑨ 加金鑰…再轉一次 (「找商品」一樣是 ③~⑨,這裡省略) ⑩ 請「打開新訂單並填入」 ⑪ 原封不動轉回 ⑫ 自己打開、填好,不用停 ⑬ 整段紀錄(多了填好了) ⑭ 加金鑰…再轉一次 ⑮ 「開好了,看一下…」 ⑯ 原封不動轉回、顯示
做法 B:迴圈在瀏覽器。後端只轉送 LLM 的請求,另外照常接按鈕打的動作

好處

  • 後端最簡單:只有一個轉送端點,加上照常接按鈕打的動作。
  • 後端不存對話。關掉分頁對話就沒了,正好符合 10/30 定的「關掉再打開,對話清空」。
  • 畫面動作不用停下來等,少一段「暫停再接」的程式。
  • AI 叫的後端動作跟按鈕走完全同一條 HTTP,連讀 JSON、驗證都一樣。
  • 場景 ③ 好幾台容器也沒差,因為後端什麼都不記。

代價

  • 迴圈在前端 TypeScript,是你不審的那一邊。系統提示、動作清單、每一圈跟 LLM 的往來都經過後端,這些審得到也記得到;審不到的是「LLM 說要做 X」之後、瀏覽器真的叫 X 之前那一段,「AI 改資料前要先問」這道關就在那裡(第 6 節)。前端寫錯就會不問就改:權限照樣擋,但「先問」擋不住,後端也看不出那個請求是 AI 叫的還是人按的。
  • 這也碰到 11/17 定的「前端不放業務規則」。迴圈本身不算業務規則,但「哪些動作 AI 叫之前要主人點頭」算半個。
  • 「某人(AI 助理)」要靠瀏覽器在請求上自己標,後端只能相信它。使用者可以把自己改的標成 AI 改的,反過來也行。
  • 後端第 5 題寫的「AI 在同一支程式裡直接呼叫執行器」要改成走 HTTP(改的是說明,執行器本身不用改)。
  • 整段紀錄由瀏覽器送,使用者改得到(例如假造一筆「找客戶」的結果)。只會騙到他自己這段對話的 AI,真的動作還是要過權限,系統提示和動作清單是後端加的、改不到。
  • LLM 的回覆格式是各家自己的。要嘛前端直接讀廠商的格式(換廠商要改前端),要嘛後端先翻成我們自己的格式再轉(後端就不只是「轉送」了)。
  • 每一圈都要從瀏覽器上傳整段紀錄,對話一長、手機網路慢的時候會比較慢(推論,沒量)。

5. 做法 C:交給 AI 廠商代管

以 Anthropic 的 Managed Agents 為例。事先在 Anthropic 建好一個「agent」,裡面放模型、系統提示和動作清單。我們的動作在那邊叫「自訂工具」:要執行的時候,它不會自己去做,而是發一個事件給我們。

瀏覽器主人的畫面我們的後端C#+執行器Anthropic迴圈與對話紀錄在這裡 ① 開一個 session ② 這句話 ③ 送進 session ④ 問模型 ⑤ 事件:要執行「找客戶」 ⑥ 執行器跑「找客戶」 ⑦ 找到了:好鄰居咖啡 (「找商品」一樣是 ④~⑦,這裡省略) ⑧ 事件:要「打開新訂單並填入」 ⑨ 請做這個畫面動作 ⑩ 打開新訂單、填好 ⑪ 填好了 ⑫ 送回 session ⑬ 文字事件:「開好了…」 ⑭ 轉給瀏覽器顯示
做法 C:迴圈在 Anthropic。我們的後端要一直聽著 session 發出的事件

好處

  • 迴圈和對話紀錄不用自己寫、自己存。
  • 適合很長、要跑很久的工作,中間斷線可以接回去。
  • 要不要先問那道關一樣可以放在我們後端,因為動作還是我們的後端在執行。

代價

  • 還在 beta。
  • 只有 Anthropic 自家的 API 和 Claude Platform on AWS 有,Amazon Bedrock 沒有。
  • 綁死一家,違反 ai-assistant.md 第 8 點「換廠商不用改各模組」。換成別家等於重寫這一塊。
  • 除了 token 費,還照 session 的執行時間另外收錢。
  • 對話紀錄存在 Anthropic,直到我們刪掉為止,營業資料在第三方多留一份。
  • 它原本是為「AI 要有自己的工作空間(容器)跑指令、讀寫檔案」設計的。這一塊我們用不到,可是還是照它的方式付費和串接。
  • 畫面動作照樣要停下來等瀏覽器,A 的麻煩還在,又多一層轉手,而且後端要一直聽著 session 的事件。

6. 「存起來」與「改折扣」:先問的那道關在哪裡

10/30 定的規則是「AI 動到資料前,一定要主人點頭」。實際上要分兩種情況看,人家剛才在對話裡把這件事講得太滿了,這裡更正。

情況一:單據(例:「存起來」)

打到一半的訂單在瀏覽器裡,所以存單據一定是畫面自己的「儲存」,跟主人自己按儲存走同一條路。AI 先講重點(「好鄰居咖啡的訂單,2 項,總計 452 元,要存嗎?」),主人說「對」或按「確定」,畫面才存。

這道關三種做法都在瀏覽器,沒有差別。好在最後一步是主人看著整張單按下去的,存進去的內容就是畫面上那張。

情況二:資料頁、設定頁(例:「好鄰居咖啡的折扣改成 9 折」)

這裡 AI 叫的是一個後端動作「改客戶折扣」,不經過哪一張打到一半的單。規則是先在對話裡列出「好鄰居咖啡 折扣 95 → 90」,主人按「確定」才存。差別就在這裡:

做法LLM 回「請執行改客戶折扣」之後前端寫錯會怎樣
A、C後端看到這個動作標了「AI 叫的時候要主人確認」,先不執行,把「好鄰居咖啡 折扣 95 → 90」交給瀏覽器。主人按確定,瀏覽器送「確認第幾項」,後端核對是同一個人、同一項,才執行確認卡片可能畫歪,但跳不過:沒有主人的確認,後端就不執行
B瀏覽器的迴圈收到這句話,畫出確認卡片,主人按了才去打 /api/customer/update新加的動作忘了標「要確認」,就會不問就改。後端收到的是一個普通的請求,看不出差別

刪除跳的是頁面自己的 🗑 確認視窗,跟情況一一樣,三種做法都在瀏覽器。

7. 擺在一起比

A 後端跑B 瀏覽器跑C 廠商代管
迴圈的程式後端 C#前端 TypeScriptAnthropic 的機器
審得到的範圍全部跟 LLM 的每一圈往來審得到、記得到;迴圈本身、「先問」那道關、AI 標記在前端迴圈看不到;我們這邊接事件的程式審得到
對話紀錄存哪我們的資料庫(暫存,關掉就刪)瀏覽器分頁(關掉就沒了)Anthropic(到刪掉為止)
AI 叫後端動作同一支程式直接叫執行器打跟按鈕一樣的 HTTP後端收到事件再叫執行器
畫面動作停下來,等瀏覽器回報再接瀏覽器自己做,不用停停下來,多一層轉手
資料頁「先問再改」誰擋後端前端後端
單據「存起來」誰擋瀏覽器(三種一樣)瀏覽器(三種一樣)瀏覽器(三種一樣)
「(AI 助理)」誰知道後端自己知道靠瀏覽器自己標後端自己知道
換 LLM 廠商改後端一層改後端一層;前端讀廠商格式的話前端也要改這一塊重寫
場景 ③ 好幾台容器紀錄要放資料庫(或固定到同一台)沒差要有一台一直聽著 session
費用tokentokentoken+session 執行時間
要多寫的「暫停再接」、對話紀錄表前端迴圈、確認卡片、AI 標記接事件、轉畫面動作、建 agent

三種做法場景 ① 本機 PC 都要連得到外面的 LLM 廠商(ai-assistant.md 第 7 點),這點沒有差別。

8. 人家的推薦

推薦 A:後端跑。

  1. 你只審後端。選 A,AI 能做什麼、什麼時候要先問、做了什麼都留在你看得到的地方。選 B,這些都在你不審的前端。
  2. 資料頁、設定頁的「先問再改」可以由後端保證,前端寫錯也跳不過。AI 會聽錯(「陳記」對到別家、「9 折」聽成 90 元),這道關是 10/30 定那條規則的理由。
  3. 跟已經定的對得上:後端第 5 題「AI 在同一支程式裡叫執行器」、操作紀錄記「(AI 助理)」、ai-assistant.md 第 8 點換廠商只改一層。

為什麼不選 B:B 的好處是真的(後端最簡單、不用存對話、畫面動作不用停),也是業界很多聊天產品的做法。可是它省下的「暫停再接」那段程式,換來的是審不到的迴圈和擋不住的確認。這一筆對你不划算。

為什麼不選 C:它最大的好處(不用自己管迴圈、能跑很久、有自己的工作空間)我們用不太到;畫面動作的麻煩它沒有幫忙解決,還會綁死一家、多一筆執行時間的費用,營業資料也多留一份在第三方。

這題現在要定:它決定 AI 是在同一支程式裡叫執行器還是走 HTTP,也決定前端要不要寫一個迴圈。

9. 查證與沒查證的