提醒機器人別把咖啡灑到電腦,它能連手機也一起避開嗎?

FLEX 讓語言模型幫機器人新增、推廣和遮蔽任務特徵。用咖啡、筆電和手機的例子,看懂一句提醒怎麼變成能轉用的規則,也分清模擬分數、真人回饋和實機示範資料。

本文目錄 7 節
  1. 看起來做對,不一定是用對了規則
  2. FLEX 的三個動作:補上、推廣、移除
  3. 看官方影片:桌上的碗,為什麼會變成干擾?
  4. 研究數據怎麼看?0.99 不是 99% 的居家安全率
  5. 有實體機器人資料,為什麼還不算居家驗證?
  6. 對家長和老師:更值得學的,是怎麼檢查「它懂了」
  7. 參考來源
深色底封面:左側深藍面板上有金色標籤「科技探索|SimpleLearn」、引言列「FLEX・機器人 × 語言理解」、大標「別灑到電腦,機器人就懂了?」與副標「從一句提醒,到能轉用的規則」;右側是 2017 年展場上 Franka Emika 白色機械手臂的手腕與夾爪特寫,一旁有人扶著手臂示範。
封面|照片:Ims/Wikimedia Commons,2017 年展場上的 Franka Emika 機械手臂;FLEX 的桌面實驗也使用 Franka 手臂,但這張不是研究現場。授權 CC BY-SA 4.0;經放大裁切、調色,左緣以漸層融入背景並加上文字,本封面依相同授權(CC BY-SA 4.0)釋出。

機器人幫你端咖啡,手臂卻準備從筆電上方經過。你趕緊提醒:「別把咖啡灑到電腦!」它改了路線,繞開筆電。這樣算學會了嗎?如果桌上換成手機,它還會避開嗎?研究團隊想點出的正是這種情況:動作看起來做對了,背後的判斷依據卻可能還不完整。

MIT 與紐約大學的研究團隊提出 FLEX,讓語言模型協助修正機器人規劃路線時考慮的「任務特徵」。白話來說,就是調整機器人「會把哪些事情納入考量」。這篇研究關心的不只是機器人聽不聽得懂某個物件名稱,而是一句提醒能不能變成換了場景也用得上的判斷依據。論文已獲 2026 年機器人學習會議(CoRL)接受(arXiv 論文頁),文章中段也附有研究團隊的官方展示影片。

先看清楚:研究做到哪裡

FLEX 做了模擬測試,也分析了真人寫的修正和實體機械手臂的示範資料。不過,人和機器人來回修正的使用者試驗是在模擬畫面裡進行的;還不能據此說機器人已經能在任何家庭安全地端咖啡。

看起來做對,不一定是用對了規則

假設筆電和手機剛好擺在一起,只會避開筆電的機器人,也可能順便避開了手機。只看這一次的動作,很難判斷它知不知道手機也要保護;等兩樣東西分開,原本看不出來的問題才會浮現。論文特別改變物件的位置,用來檢查這種「表面上的成功」。

對照圖:標題「做對一次,可能藏著錯的判斷依據」。左邊「物件擺在一起」:咖啡杯從起點出發,一條弧線同時繞開相鄰的筆電和手機到達終點。右邊「拿走筆電,只剩手機」:虛線代表只記得「筆電」的規則,直直穿過手機上方;實線代表注意「電子用品」的規則,連手機也一起避開。底部結論:要知道機器人懂了什麼,得換個位置、換件東西再試一次。
圖:同一個動作,可能來自不同的判斷規則。路線為本站示意,非 FLEX 輸出或量測。資料來源:FLEX 論文附錄 7.4;SimpleLearn 製圖。

這裡說的「特徵」(feature),是機器人能計算的資訊,例如手臂離目的地多遠、離筆電多遠,或離某一類電子用品多遠。機器人把這些資訊放進評分規則,再依分數規劃路線。如果評分規則裡根本沒有手機,只換一條看起來漂亮的路線,問題還是沒有解決。

FLEX 的三個動作:補上、推廣、移除

FLEX 依序檢查三種修改:新增(ADD)漏掉的特徵,把太狹窄的特徵推廣(GENERALIZE)到相關類別,再遮蔽(MASK)不再相關的特徵。不是每次都要三種一起改,要看原本有哪些特徵,以及這次的提醒指出了什麼問題。

修改放到咖啡情境怎麼理解?容易誤解的地方
新增(ADD)原本只想趕快送達,現在加入「離筆電多遠」這項考量。不是每次提醒都要再多加一條規則。
推廣(GENERALIZE)從注意筆電,擴大到手機等電子用品。能推廣某個類別,不代表懂所有生活常識。
遮蔽(MASK)如果先前把「靠近碗」當成重點,現在不再用這項無關的特徵評分。拿掉的是判斷考量;碗不必消失,也不是把畫面遮住。
表:FLEX 的三種修改。中文說明為本站依論文機制與咖啡情境整理,不是某位受試者的原話。資料來源:FLEX 論文、研究團隊網站;SimpleLearn 整理。

本站補充比喻|修正評分表的項目

把路線規劃想成老師用評分表看作品:漏了重要項目就補上,項目寫得太窄就放寬範圍,跟作品無關的項目就拿掉。這對應 FLEX 的三種修改。不過比喻只說明「評分項目」,不能把人的理解能力或教學效果直接套到機器人身上。

還有一個重要的分工:這篇研究主要用語言修正「該看哪些項目」,再用示範動作估計各項目的相對重要性。例如「避開電子用品」和「盡快送達」要怎麼取捨,靠的是另一段學習與規劃;不是一句話直接變成馬達指令。研究中的語言模型使用 GPT-4o。

流程圖:標題「一句提醒,怎麼改變機器人的路線?」。左上「語言修正:該看哪些項目?」依序是 1 新增(補上漏掉的重要特徵)、2 推廣(把太窄的特徵放寬到相關類別)、3 遮蔽(拿掉不再相關的判斷考量);右上「示範動作:各項有多重要?」估計偏好權重,例如避開電子用品和盡快送達怎麼取捨。兩條路匯到「評分與規劃,選出比較符合偏好的路線」。下方說明:不是一句話直接變成馬達指令。
圖:一句提醒在系統裡的作用。箭頭表示功能分工,不代表呼叫次數或即時控制時序。資料來源:FLEX 論文第 3、4 節;SimpleLearn 製圖。

看官方影片:桌上的碗,為什麼會變成干擾?

官方影片|MIT CLEAR Lab 官方 YouTube,2026-11-04 發布,片長 2 分 48 秒,英文。CoRL 2026 論文的補充展示,用端咖啡的例子比較三種方法;展示畫面不等於論文已完成全程實機使用者試驗。括號內為影片時間。由讀者點擊播放;本站以原址嵌入,未下載或重新上傳影片。

影片用的正是端咖啡的例子(0:17 起)。一開始,使用者看了路線後提醒:「別往那邊,靠近碗走。」系統於是加入「靠近碗」這項考量。換了桌面擺設之後,靠近碗反而會經過筆電,使用者只好改口:「其實我不在乎碗,別把咖啡灑到我的筆電就好。」(0:56)

接著影片比較三種方法(1:11 起)。只會新增的 ALGAE 能避開筆電,卻沒有拿掉「碗」這項舊考量,學權重時反而學成「避開碗」;到了碗離手機很遠的新桌面,這個錯誤的關聯把手臂直接推向手機(1:25)。MFE 正確拿掉了碗,卻只學會「避開筆電」,遇到手機還得再提醒一次(1:57)。FLEX 則新增「避開筆電」、推廣成「避開所有電子用品」、再遮蔽碗,到了新桌面也不需要再提醒(2:16)。

看的時候,可以注意每種方法保留了哪些特徵、拿掉了哪些,再看手機出現之後,手臂的路線是否還合適。重點不是記住手臂轉了幾度,而是看「判斷依據改了什麼」。

研究數據怎麼看?0.99 不是 99% 的居家安全率

團隊先用平面導航模擬,設計出需要不同修改的情境。下圖挑出三種修改都要用上的那一類(論文稱 All Three),比較 FLEX 和另外三種方法:只會新增特徵的 ALGAE、從完整清單裡挑掉無關特徵的 MFE,以及讓語言模型一次直接改完整組特徵的 USF(論文第 5 節)。這組測試的是導航規劃,分數不能直接當成端咖啡的成功率。

長條圖:標題「三種修改都要用上時,誰的路線最好?」。平面導航模擬 All Three 情境的平均正規化獎勵與標準誤:ALGAE(只會新增特徵)0.69±0.03、MFE(從完整清單裡遮蔽)0.83±0.02、USF(一次讓模型直接改整組)0.78±0.03、FLEX(新增+推廣+遮蔽)0.99±0.01。橫軸從 0 到 1,0 是這組測試最差參考、1 是最好參考。底部說明 0.99 是測試分數,不是 99% 的成功率,也不是居家安全率。
圖:論文表 1「All Three」欄重繪。長條為平均正規化獎勵,短線為 ±1 標準誤,不是 95% 信賴區間;只呈現這一類情境。資料來源:FLEX 論文 PDF第 7 頁表 1;SimpleLearn 製圖。

這種分數叫「正規化獎勵」(normalized reward):依預先設定的目標替每條路線打分,再換算到 0 到 1 的共同尺度,0 是這組測試裡最差的參考,1 是最好的參考。FLEX 在這類情境的平均值接近最好的參考,表示它在指定測試裡比較能用上合適的判斷依據;不表示它有 99% 的機率理解任何人的意圖。在只需要一種修改的情境裡,簡單的方法也可能表現得很好,例如只會新增的 ALGAE,在「只需新增」的情境拿到 1.00。

誤差線也要一起看

圖上的短線是研究報告的標準誤,表示平均值估計有多不確定。不要只看長條的高低,就認定任兩種方法的差距都有統計上的意義;這張圖也沒有測量真實家庭裡的安全性。

有實體機器人資料,為什麼還不算居家驗證?

使用者試驗招募了 12 位參與者,讓他們在模擬畫面中看機器人目前的動作和目標動作,再打字修正;每個情境的目標偏好都是研究團隊事先設定的,例如端咖啡時要避開電子用品。論文說明,因為有些對照方法會讓手臂動作忽然不穩,基於安全,參與者看的是模擬畫面,不是實體手臂。

團隊另外把真人寫的修正,搭配在實體 Franka 手臂上收集的專家示範資料,做離線學習分析。所以研究確實用到了比較真實的語言和硬體資料;但「真人回饋 → 學習 → 實機動作 → 再回饋」的完整循環,仍有待後續驗證。參與者在問卷中也給 FLEX 較高的評分,例如比只會新增的 ALGAE 更能理解意圖,但這是 12 人的主觀感受,不能推論到所有家庭。

分類圖:標題「研究證據走到哪裡?分開看才不會讀錯」。左欄「在模擬中完成」:模擬導航(平面路線,拆開測試不同修改需求)、模擬桌面任務(7 軸 Franka 手臂模擬,咖啡等情境、連續修正)。右欄「用到真實資料」:12 人使用者試驗(在模擬介面看動作、打字修正,目標偏好由研究預先設定)、實體手臂示範資料(真人修正加實機專家示範,做離線學習分析)。下方虛線框:尚未驗證,真人回饋、學習、實機動作、再回饋的完整循環。
圖:把「用到真實資料」和「全程在真實環境驗證」分開。方塊為研究設計分類,不把模擬分數套到實機。資料來源:FLEX 論文第 5 節、結論與附錄 7.5;SimpleLearn 製圖。

對家長和老師:更值得學的,是怎麼檢查「它懂了」

FLEX 仍然依賴語言模型對常見偏好的推測,以及事先提供的物件文字描述。這不代表它光靠攝影機,就能認出任何家庭裡的風險。論文也指出,特殊或不合一般常識的個人偏好,可能讓這種推廣出錯。

它目前處理的主要是移動較慢的硬質物件。動得很快或容易變形的東西,以及一句提醒同時包含「注意什麼」和「要多在意」的情況,都還有待研究。例如「離筆電再遠一點」不只是提醒筆電存在,也牽涉要避開多遠;論文目前沒有把這層意思交給語言修正處理。

本站延伸檢查可以怎麼舉例?要觀察什麼?
換一個同類物件把例子中的筆電換成手機。原則能不能轉用,而不是只記住物件名稱?
改變無關線索移動旁邊的碗,或乾脆拿走。判斷是不是還被無關線索牽著走?
把特例說清楚假設某件東西是防水的展示模型,另外補充條件。系統能不能修正原本的推測,而不是一直擴大同一條規則?
表:本站依研究問題延伸的討論例子,不是 FLEX 新增的實驗,也不代表這些測試已經通過;可以用紙上情境討論。機制依據:FLEX 論文;SimpleLearn 整理。

本站補充例子|教室裡的搬運任務

老師請學生把一盒材料送到另一張桌子,並提醒沿路別碰倒玻璃器材。如果學生只記住某個玻璃杯的位置,下次換成玻璃量筒就可能漏掉;如果抓到「別碰倒易碎物品」的原則,換了情境也用得上。這只是用來說明「物件」和「類別」的差別,不是研究驗證過的教學活動。

這篇研究提醒我們,要讓機器人把事情做對,不只需要更會回答問題的模型,也需要看得見、改得了的判斷依據。下次看到機器人成功完成一次展示,不妨想一想:換一件東西、移一個位置,它還能用對規則嗎?

最後提醒:本文依 FLEX 論文、研究團隊網站、MIT 新聞稿與官方影片整理;路線圖與比喻為本站示意,研究數字以論文表 1 為準。

參考來源

  1. Audrey Lee、Nathaniel Dennler、Ilia Sucholutsky、Andreea Bobu:Flexible Language-Guided Representation Editing for Adaptive Robot Behavior(arXiv v1 HTML,2026-10-20;CoRL 2026 接受) https://arxiv.org/html/2610.28893v1
  2. 同上,含附錄 PDF(2026-10-20) https://arxiv.org/pdf/2610.28893v1
  3. MIT CLEAR Lab/NYU:FLEX 研究專案頁(查閱 2026-11-15) https://mit-clear-lab.github.io/FLEX/
  4. MIT News:AI-assisted learning platform helps robots reason beyond literal commands(2026-11-09) https://news.mit.edu/2026/ai-assisted-learning-platform-helps-robots-reason-beyond-literal-commands-1109
  5. MIT CLEAR Lab/YouTube:FLEX CoRL 2026 補充影片(2026-11-04,2:48) https://www.youtube.com/watch?v=OYr-azG42GY
  6. Wikimedia Commons:Franka Emika2.jpg(Ims 攝,2017-03-23,CC BY-SA 4.0) https://commons.wikimedia.org/wiki/File:Franka_Emika2.jpg
  7. Creative Commons:CC BY-SA 4.0 授權條款(查閱 2026-11-15) https://creativecommons.org/licenses/by-sa/4.0/
  8. GitHub:MIT-CLEAR-Lab/FLEX 程式碼儲存庫(查閱 2026-11-15) https://github.com/MIT-CLEAR-Lab/FLEX

本文由 AI 協助整理,經編輯審閱。