EasyOrder — WhatsApp AI 落單助理 · 技術對齊版

與 IT/後台負責人對齊用;老闆版見 首頁
真實模式:將呼叫 DashScope 已決策:Meta API(全面遷移) 已決策:過往訂單學習迴圈 v0.4 · 2026-08-24

① 實際體驗——這到底會是怎麼樣

介面為規劃示意(E06 實作),訊息經 Meta WhatsApp Cloud API 商業帳號發送
① 客戶照舊講嘢WhatsApp 語音/文字/手寫單相,零新操作、零新 App
② AI 秒速整理轉錄+結構化;唔肯定即問,絕不靜默猜測
③ 一鍵確認落單核對頁確認後先寫入正式訂單並拋轉後台
客戶的 WhatsApp(iPhone/Android 通用)
🥬
萬利龍生鮮 · AI 助理商業帳號(Meta WhatsApp Cloud API)
🎤
0:12
12:04 ✓✓
🤖 語音轉錄:「菜心五斤、牛肉兩斤,聽日朝早送到」
收到!已幫你整理訂單:
菜心 5 斤|牛肉 2 斤
備註:聽日朝早送到
請核對後確認落單 👇📋 核對訂單12:04
客戶照舊講一句 WhatsApp 語音;AI 秒速轉錄+整理,並以按鈕訊息回覆(經 Meta Cloud API 發送)。
點擊按鈕後——訂單核對頁(網頁,毋須登入)
https://easyorder.jimsbond007.workers.dev/confirm/••••

📋 訂單核對

廚房 852-9123-4567 · 2026-08-25 送貨 · 由 WhatsApp 語音生成
菜心5 斤✏️ 改
牛肉2 斤✏️ 改
備註聽日朝早送到✏️ 改
✏️ 修改品項➕ 新增品項❌ 刪除訂單
確認後即時拋轉後台 Operation MS;未確認前不會落正式訂單
金額由後台報價為準(客戶口頭落單不涉即時金額);一鍵確認=落單,修改/新增/刪除即時操作。

② 系統圖像——背後怎樣做到

實線=已實作並通過測試;虛線=已決策·規劃中
客戶(餐廳/廚房)WhatsApp:文字/語音/圖像 CloudWAPI(現行·將遷 Meta) POST /webhook/cloudwapi(冪等去重鍵=data.id) EasyOrder Worker(Cloudflare Workers · TypeScript) 乾跑閘門:AI_DRY_RUN ≠ false → 零網絡請求 模態路由 webhook.tstext/voice/image 分流 語音 文字 圖像 ASR 轉錄 asr.ts主 qwen3-asr-flash · 備 fun-asrsystem 詞表偏置+enable_itn空轉錄=無法判讀(不編造) LLM 訂單解析 parseText文字訊息直達此管線語音轉錄後共用同一解析(B2)供應商抽象:主/備切換 視覺解析 vision.tsextractRawText 統一介面qwen-vl-max(QWEN_MODEL 可調)圖像 data URL 直傳 轉錄文字 空轉錄=無法判讀 → 直接低信心 normalizeExtraction 欄位驗證JSON 圍欄剝離 · null 保持 null(嚴禁填 0) 信心評估 evaluateConfidence自報×欄位完整度 · 門檻 0.8(CONFIDENCE_THRESHOLD) 低信心 < 門檻 高信心 ≥ 門檻 阿里雲百煉 DashScopeqwen-vl-max(vision)qwen3-asr-flash/fun-asr(asr)真實模式才呼叫(E05 待開閘) HTTPS Cloudflare D1 資料庫inbound_messagesparse_results(含 asr 欄位)order_draftsmanual_review_queueprovider_config(供應商配置)正式訂單表=AlertSystem 冪等入庫+解析落檔(含失敗列) 低信心/無法判讀主動要求澄清:請重講/提供原圖未判讀欄位保持 null(絕不猜測)連續兩次未達標 → 人工覆核佇列 高信心(≥門檻)每次解析皆落檔 parse_results(D1)→ 進入雙向確認流程(右下) ◆ 雙向確認流程(已決策 · 規劃中)→ 見右下 Meta WhatsApp Cloud API(官方)發送訂單確認訊息(含按鈕)· 已決策號碼全面遷移 Meta(Captain 已決策) 客戶 WhatsApp 收到訊息點擊按鈕 → 開啟訂單核對頁 訂單核對頁 /confirm/{token}(雲端網頁 · 訂單明細核對)✅ 確認 ✏️ 修改 ➕ 新增 ❌ 刪除 確認後落實訂單order_drafts → confirmed拋轉 Operation MS(現 mock)同步 AlertSystem 健康度 ◆ 自我學習迴圈(已決策 · 規劃中) 學習迴圈模組(過往訂單訓練)① 品項詞表更新 → ASR 偏置② 修正字典(聽錯→確認映射)③ few-shot 範例 → LLM 提取 prompt利用客戶過往訂單持續學習,越用越準 數據源(D1 累積)parse_results 轉錄+提取order_drafts 確認結果manual_review_queue 人工修正(過往訂單=客戶已確認草稿) 餵數據 回饋:ASR 詞表+LLM prompt(越用越準)
Worker 內部管線 外部 AI 供應商 D1 資料庫 低信心分支 高信心分支 學習迴圈(規劃) 虛線=規劃中/繞道