米哈遊旗下的《崩壞》AI研發團隊(Honkai AI R&D Team)與新加坡國立大學、清華大學、中國科學院大學、中國科學技術大學的研究人員,公開了一套叫「Gamer」的AI模型。它不讀遊戲內部資料,而是像真人一樣看螢幕畫面,再直接輸出鍵盤與滑鼠操作。團隊在專案頁放出它在《崩壞:星穹鐵道》裡推主線、跟著NPC移動與解謎的實機影片。
Gamer怎麼玩遊戲
根據專案頁與arXiv技術報告,Gamer每秒擷取5張遊戲畫面當作輸入,每200毫秒輸出一次滑鼠位移,加上6段各33毫秒的按鍵狀態,換算起來是每秒30次的操作頻率。整套訓練分成三個階段:
- 繼續預訓練:用超過1萬小時、畫面與鍵鼠操作對齊的遊玩紀錄,學會跨遊戲通用的操作方式。
- 指令微調:教模型照任務指示行動,只在換路線、換目標等關鍵時刻「想一下」,並用記憶摘要記住已完成的目標與失敗嘗試。
- 強化學習:在遊戲環境中線上練習,用環境驗證過的獎勵調整長時間任務的表現。
為了讓AI即時反應,團隊另外做了推理引擎「Streaming-vLLM」。在NVIDIA H200上,每次請求的延遲從1,306毫秒壓到65.12毫秒,快了約20倍。

星穹鐵道裡做了什麼
專案頁展示Gamer在《崩壞:星穹鐵道》中移動找路、和場景互動、完成任務,也挑戰遊戲裡的5類解謎。另一項測試涵蓋7類解謎、共40項模型沒看過的任務,經過強化學習的Gamer-RL平均成功率49.7%,比只做指令微調的版本(39.2%)高10.5個百分點。專案頁還列出《原神》、《絕區零》、《Minecraft》等其他遊戲的測試畫面。
會不會變成外掛?
這類技術最容易被問到的就是能不能拿來掛機、作弊。研究團隊在專案頁寫明,Gamer是探索互動環境通用代理的學術研究,可能的應用是遊戲測試、無障礙輔助與人機互動研究,並表示不背書把Gamer用在作弊、未經授權存取、利用安全漏洞,或任何傷害玩家與破壞公平的行為。
資料方面,團隊公開了預訓練規模研究用的模型檔,程式碼放在GitHub。不過基於資料安全考量,不公開任何《崩壞:星穹鐵道》的資料,也不釋出用這款遊戲資料訓練或微調過的模型。
由遊戲公司自己研究「會玩遊戲的AI」,最直接的用途是測試與品質檢查。這套技術日後會不會出現在米哈遊的開發流程,團隊目前還沒有說明。