
機器人幫你端咖啡,手臂卻準備從筆電上方經過。你趕緊提醒:「別把咖啡灑到電腦!」它改了路線,繞開筆電。這樣算學會了嗎?如果桌上換成手機,它還會避開嗎?研究團隊想點出的正是這種情況:動作看起來做對了,背後的判斷依據卻可能還不完整。
MIT 與紐約大學的研究團隊提出 FLEX,讓語言模型協助修正機器人規劃路線時考慮的「任務特徵」。白話來說,就是調整機器人「會把哪些事情納入考量」。這篇研究關心的不只是機器人聽不聽得懂某個物件名稱,而是一句提醒能不能變成換了場景也用得上的判斷依據。論文已獲 2026 年機器人學習會議(CoRL)接受(arXiv 論文頁),文章中段也附有研究團隊的官方展示影片。
先看清楚:研究做到哪裡
FLEX 做了模擬測試,也分析了真人寫的修正和實體機械手臂的示範資料。不過,人和機器人來回修正的使用者試驗是在模擬畫面裡進行的;還不能據此說機器人已經能在任何家庭安全地端咖啡。
看起來做對,不一定是用對了規則
假設筆電和手機剛好擺在一起,只會避開筆電的機器人,也可能順便避開了手機。只看這一次的動作,很難判斷它知不知道手機也要保護;等兩樣東西分開,原本看不出來的問題才會浮現。論文特別改變物件的位置,用來檢查這種「表面上的成功」。

這裡說的「特徵」(feature),是機器人能計算的資訊,例如手臂離目的地多遠、離筆電多遠,或離某一類電子用品多遠。機器人把這些資訊放進評分規則,再依分數規劃路線。如果評分規則裡根本沒有手機,只換一條看起來漂亮的路線,問題還是沒有解決。
FLEX 的三個動作:補上、推廣、移除
FLEX 依序檢查三種修改:新增(ADD)漏掉的特徵,把太狹窄的特徵推廣(GENERALIZE)到相關類別,再遮蔽(MASK)不再相關的特徵。不是每次都要三種一起改,要看原本有哪些特徵,以及這次的提醒指出了什麼問題。
| 修改 | 放到咖啡情境怎麼理解? | 容易誤解的地方 |
|---|---|---|
| 新增(ADD) | 原本只想趕快送達,現在加入「離筆電多遠」這項考量。 | 不是每次提醒都要再多加一條規則。 |
| 推廣(GENERALIZE) | 從注意筆電,擴大到手機等電子用品。 | 能推廣某個類別,不代表懂所有生活常識。 |
| 遮蔽(MASK) | 如果先前把「靠近碗」當成重點,現在不再用這項無關的特徵評分。 | 拿掉的是判斷考量;碗不必消失,也不是把畫面遮住。 |
本站補充比喻|修正評分表的項目
把路線規劃想成老師用評分表看作品:漏了重要項目就補上,項目寫得太窄就放寬範圍,跟作品無關的項目就拿掉。這對應 FLEX 的三種修改。不過比喻只說明「評分項目」,不能把人的理解能力或教學效果直接套到機器人身上。
還有一個重要的分工:這篇研究主要用語言修正「該看哪些項目」,再用示範動作估計各項目的相對重要性。例如「避開電子用品」和「盡快送達」要怎麼取捨,靠的是另一段學習與規劃;不是一句話直接變成馬達指令。研究中的語言模型使用 GPT-4o。

看官方影片:桌上的碗,為什麼會變成干擾?
影片用的正是端咖啡的例子(0:17 起)。一開始,使用者看了路線後提醒:「別往那邊,靠近碗走。」系統於是加入「靠近碗」這項考量。換了桌面擺設之後,靠近碗反而會經過筆電,使用者只好改口:「其實我不在乎碗,別把咖啡灑到我的筆電就好。」(0:56)
接著影片比較三種方法(1:11 起)。只會新增的 ALGAE 能避開筆電,卻沒有拿掉「碗」這項舊考量,學權重時反而學成「避開碗」;到了碗離手機很遠的新桌面,這個錯誤的關聯把手臂直接推向手機(1:25)。MFE 正確拿掉了碗,卻只學會「避開筆電」,遇到手機還得再提醒一次(1:57)。FLEX 則新增「避開筆電」、推廣成「避開所有電子用品」、再遮蔽碗,到了新桌面也不需要再提醒(2:16)。
看的時候,可以注意每種方法保留了哪些特徵、拿掉了哪些,再看手機出現之後,手臂的路線是否還合適。重點不是記住手臂轉了幾度,而是看「判斷依據改了什麼」。
研究數據怎麼看?0.99 不是 99% 的居家安全率
團隊先用平面導航模擬,設計出需要不同修改的情境。下圖挑出三種修改都要用上的那一類(論文稱 All Three),比較 FLEX 和另外三種方法:只會新增特徵的 ALGAE、從完整清單裡挑掉無關特徵的 MFE,以及讓語言模型一次直接改完整組特徵的 USF(論文第 5 節)。這組測試的是導航規劃,分數不能直接當成端咖啡的成功率。

這種分數叫「正規化獎勵」(normalized reward):依預先設定的目標替每條路線打分,再換算到 0 到 1 的共同尺度,0 是這組測試裡最差的參考,1 是最好的參考。FLEX 在這類情境的平均值接近最好的參考,表示它在指定測試裡比較能用上合適的判斷依據;不表示它有 99% 的機率理解任何人的意圖。在只需要一種修改的情境裡,簡單的方法也可能表現得很好,例如只會新增的 ALGAE,在「只需新增」的情境拿到 1.00。
誤差線也要一起看
圖上的短線是研究報告的標準誤,表示平均值估計有多不確定。不要只看長條的高低,就認定任兩種方法的差距都有統計上的意義;這張圖也沒有測量真實家庭裡的安全性。
有實體機器人資料,為什麼還不算居家驗證?
使用者試驗招募了 12 位參與者,讓他們在模擬畫面中看機器人目前的動作和目標動作,再打字修正;每個情境的目標偏好都是研究團隊事先設定的,例如端咖啡時要避開電子用品。論文說明,因為有些對照方法會讓手臂動作忽然不穩,基於安全,參與者看的是模擬畫面,不是實體手臂。
團隊另外把真人寫的修正,搭配在實體 Franka 手臂上收集的專家示範資料,做離線學習分析。所以研究確實用到了比較真實的語言和硬體資料;但「真人回饋 → 學習 → 實機動作 → 再回饋」的完整循環,仍有待後續驗證。參與者在問卷中也給 FLEX 較高的評分,例如比只會新增的 ALGAE 更能理解意圖,但這是 12 人的主觀感受,不能推論到所有家庭。

對家長和老師:更值得學的,是怎麼檢查「它懂了」
FLEX 仍然依賴語言模型對常見偏好的推測,以及事先提供的物件文字描述。這不代表它光靠攝影機,就能認出任何家庭裡的風險。論文也指出,特殊或不合一般常識的個人偏好,可能讓這種推廣出錯。
它目前處理的主要是移動較慢的硬質物件。動得很快或容易變形的東西,以及一句提醒同時包含「注意什麼」和「要多在意」的情況,都還有待研究。例如「離筆電再遠一點」不只是提醒筆電存在,也牽涉要避開多遠;論文目前沒有把這層意思交給語言修正處理。
| 本站延伸檢查 | 可以怎麼舉例? | 要觀察什麼? |
|---|---|---|
| 換一個同類物件 | 把例子中的筆電換成手機。 | 原則能不能轉用,而不是只記住物件名稱? |
| 改變無關線索 | 移動旁邊的碗,或乾脆拿走。 | 判斷是不是還被無關線索牽著走? |
| 把特例說清楚 | 假設某件東西是防水的展示模型,另外補充條件。 | 系統能不能修正原本的推測,而不是一直擴大同一條規則? |
本站補充例子|教室裡的搬運任務
老師請學生把一盒材料送到另一張桌子,並提醒沿路別碰倒玻璃器材。如果學生只記住某個玻璃杯的位置,下次換成玻璃量筒就可能漏掉;如果抓到「別碰倒易碎物品」的原則,換了情境也用得上。這只是用來說明「物件」和「類別」的差別,不是研究驗證過的教學活動。
這篇研究提醒我們,要讓機器人把事情做對,不只需要更會回答問題的模型,也需要看得見、改得了的判斷依據。下次看到機器人成功完成一次展示,不妨想一想:換一件東西、移一個位置,它還能用對規則嗎?
最後提醒:本文依 FLEX 論文、研究團隊網站、MIT 新聞稿與官方影片整理;路線圖與比喻為本站示意,研究數字以論文表 1 為準。
參考來源
- Audrey Lee、Nathaniel Dennler、Ilia Sucholutsky、Andreea Bobu:Flexible Language-Guided Representation Editing for Adaptive Robot Behavior(arXiv v1 HTML,2026-10-20;CoRL 2026 接受) https://arxiv.org/html/2610.28893v1
- 同上,含附錄 PDF(2026-10-20) https://arxiv.org/pdf/2610.28893v1
- MIT CLEAR Lab/NYU:FLEX 研究專案頁(查閱 2026-11-15) https://mit-clear-lab.github.io/FLEX/
- MIT News:AI-assisted learning platform helps robots reason beyond literal commands(2026-11-09) https://news.mit.edu/2026/ai-assisted-learning-platform-helps-robots-reason-beyond-literal-commands-1109
- MIT CLEAR Lab/YouTube:FLEX CoRL 2026 補充影片(2026-11-04,2:48) https://www.youtube.com/watch?v=OYr-azG42GY
- Wikimedia Commons:Franka Emika2.jpg(Ims 攝,2017-03-23,CC BY-SA 4.0) https://commons.wikimedia.org/wiki/File:Franka_Emika2.jpg
- Creative Commons:CC BY-SA 4.0 授權條款(查閱 2026-11-15) https://creativecommons.org/licenses/by-sa/4.0/
- GitHub:MIT-CLEAR-Lab/FLEX 程式碼儲存庫(查閱 2026-11-15) https://github.com/MIT-CLEAR-Lab/FLEX
本文由 AI 協助整理,經編輯審閱。



