亞馬遜員工把「LLM結合快打旋風」!測試全球14個LLMs誰最強 第一名是這1家新創公司的模型

2024-04-09 17:40
將14個LLMs結合快打旋風進行測試,很快便能清楚看出各個模型的差異度和能力。(圖/翻攝自X/Stan Girard)
將14個LLMs結合快打旋風進行測試,很快便能清楚看出各個模型的差異度和能力。(圖/翻攝自X/Stan Girard)

一位來自亞馬遜(Amazon)的員工近日將一項大型語言模型(以下簡稱LLM)開源專案結合《快打旋風》遊戲,且測試全球當前14個LLM哪一個能力最強!奪下第一名的模型隨即受到矚目。

這名亞馬遜員工名為Banjo Obayomi,他取用的開源專案名為「LLM Colosseum」,是由兩位工程人員Stan Girard與Quivr Brain所開發,最初這項開源專案推出時,目的即是期望透過LLM來更精準控制遊戲角色對決

而Banjo Obayomi將此開源專案用來測試14個LLMs,測試過程中,各個LLM會依據遊戲當前設定好的場景、氛圍文字描述來決定角色的下一步行動,包含相互接近、後退或執行波動拳或升龍拳等技能。

角色的每一個動作決策都得以從中看出LLM的理解能力和戰略預測成效。

(圖/翻攝自YT/DataOpsDC)
在LLM Colosseum測試過程中,可從遊戲角色的攻守策略看出每個模型的理解和反應能力。(圖/翻攝自YT/DataOpsDC)

經過測試後,最終14個LLMs中脫穎而出的,是claude_3_haiku!共計參與了314場比賽,而測試結果也顯示,較小型的LLM能做出更快速動作,招式較多樣,以速度和反應能力取勝。

(圖/翻攝自X/Stan Girard)
Stan Girard即是LLM Colosseum開源專案的開發者。(圖/翻攝自X/Stan Girard)

最後,不得不特別介紹,冠軍Claude 3 Haiku模型即是由新創公司Anthropic所推出的模型! (相關報導: 微軟有自信「新一代AI PC」將打敗蘋果!採用高通晶片 知情者透露:可超越M3 MacBook Air 更多文章

Anthropic所推出的Claude 3系列目前被封為「全球最強AI模型」,且Anthropic公司自信斷言,這是當前速度最快、最強的模型,相較該公司另外推出的Opus和Sonnet版本,Haiku是其中最為輕巧且迅速的,同時成本也是最低的。

喜歡這篇文章嗎?請作者喝杯咖啡支持他

請他喝杯咖啡
更多文章
營造生物多樣性 移除外來有害入侵植物維護生態環境
哪些星座男最值得嫁?1星座婚前是情場浪子,婚後變老實專一、超黏老婆
野百合世代回歸?鄭麗文提「賴清德內閣」3特色:向美輸誠、往總統制邁進
岸田文雄訪美:世界面臨歷史轉捩點,日本必須徹底改變防衛力
知名精品服裝品牌陷倒閉潮!一口氣關15間門市,245名員工被迫裁員
回應「禮品山」抨擊 傅崐萁籲側翼網軍發揮同理心:救災有分顏色嗎
台灣最強伴手禮不是鳳梨酥、牛軋餅!外國人大推它「來台必買」:幾乎人手一瓶
上海快閃店10h熱賣1142萬!全球爆紅《吉伊卡哇》作者讚嘆「台灣是好國家」…中國網友崩潰了
主計總處定調「通膨趨緩」!3月CPI年增2.14%,醫療費用漲幅飆近18年新高
全聯米粉哪款最好吃?他大讚「1品項」口感Q彈:好吃便宜又有飽足感
2歲孩「商場墜樓」癱大廳亡!媽趴地磕頭痛哭…影片曝光
「JAUKUS」呼之欲出?澳洲總理否認:AUKUS沒有計畫增員,只是審視「第二支柱」的可能合作夥伴
離岸風電3-2選商明截標 又一開發商宣布放棄投標
2024 DEANSTON汀士頓探索美好生活提案 攜手全台50家特色酒吧 打造期間限定創意餐搭酒
燒臘便當一咬「滿嘴薄荷味」竟是嚼過的口香糖!鐵粉怒轟新莊便當店:打86通電話沒人接
黃子佼兒少性影片來源轉址重生 數位部差「這步」就能封了台版N號房
「阿奇立克日立」推出「Art of Ease」全新家電美學方案 讓居家清潔與美味料理更智能
運彩協進會贊助雄中、三民國中羽球隊勇闖全中運
老翁賣房子土地養老,國稅局竟上門課徵90萬!專家教1招省下鉅額稅金
姿晨健康美學 專注女人 暢聊身體大小事
新北旅遊團疑食物中毒!25人爆症狀「他吐16次拉6次」最慘 集體開車衝急診室
劍指北捷?強震釀新北環狀線鋼樑錯位 侯友宜:為何5級就有問題
創意私房論壇是什麼?台版N號房論壇會員、帳號機制,犯罪手法全破解
「二十年之內,AI有機會比人類更聰明」AI教父辛頓警告:人工智慧具備演化能力,人類社會恐被其接管
恩智浦半導體發布年度企業永續報告 展現環境保護與社會責任堅定承諾
微軟有自信「新一代AI PC」將打敗蘋果!採用高通晶片 知情者透露:可超越M3 MacBook Air
不是黃金!為何古代皇帝死後要配戴「玉蟬」?專家揭真相:跟「這神力」有關
上班途中遇強震「遭落石壓腿恐截肢」…高三生腦死了!家屬難過:他想貼補家用
台灣人有多有錢?調查顯示「有錢人快速增加」:億萬富豪破10萬人、3年後個人財富總額達46兆
比Dyson還耐用?網推1款吹風機「便宜耐操、不會吃頭髮」:用十年都壞不了
房地合一稅沒繳會怎樣?他賣房後想要脫產逃稅,慘遭國稅局盯上「連補帶罰40餘萬元」
蔣萬安宣布解除台智光2017年子約 柯文哲回「很好笑」:不用你解約早就解除了
「台灣若失守,對日本國安將造成無法挽回的傷害!」美學者呼籲制定日版《台灣關係法》
炒地瓜葉別只會加蒜頭!達人放1食材,鹹香嫩綠又清脆、口感升級媲美餐廳
大甲媽遶境 祝壽大典吸引數萬人參與場面壯觀
全臺首位「車鼓陣」保存者 文化局出版施朝養藝師生命史專書
行政院核定大埔、水上鄉地方創生計畫 創下一日兩件新紀錄
台積電增設第3座廠獲66億美元補助 輝達超微蘋果給肯定
花縣舉辦地震罹難者頭七功德法會 盼罹難者安息
台中PM 2.5年均值大幅下降 盧秀燕說持續精進空品、盼跨區域改善
燦笑合照天王星大樓…遭主委打臉「不是住戶」!情侶現身道歉了:我們是承租戶
生活熱議》股價暴漲400%的新減肥神藥「胰妥讚」,為何對有些人並無神效?
謝謝你「ㄟ能萌」 !讓我們《看見臺東》
雲嘉嘉自辦高級救護訓練 張麗善期勉提升整體救護技術品質
改善通品質龍泉五街延伸道路完工 蘇俊賓:推動建設豐富在地生活機能
在地人照顧在地人 中市力推福利社區認證
台中樂成宮「旱溪媽祖」起駕出巡 盧秀燕祈盼國泰民安、風調雨順
金門是她刻在心底名字 選2026金門縣長 陳玉珍:承擔選民期待
苗栗就業中心點亮青年就業方向 陪你同行找好工作不再是夢