OpenAI, Anthropic болон Google гэсэн гурван том AI компанийн тэргүүлэх загварууд нэг тавцанд өрсөлдөхөд хэн робот удирдахад илүү сайн вэ?
10-р сарын 20-нд Mifeng Technology, Hugging Face, NVIDIA, Tsinghua их сургууль зэрэг дэлхийн 20 орчим их сургууль, аж ахуйн нэгж, судалгааны байгууллагууд хамтран санаачилсан биет зүйлийн тулааны талбар RoboColiseum энэ удаагийн үнэлгээний үр дүнг зарлалаа: Claude Opus 5.5 дөрвөн тэргүүлэх загварын дунд нэгдсэн үнэлгээгээр нэгдүгээрт орж, GPT-6 Astra түүний дараа орлоо.
Дэд үзүүлэлтээр харвал, дөрвөн тэргүүлэх загварын дунд GPT-6 Astra заавар дагах болон ерөнхий сааталд дасан зохицох талаар тэргүүлж, заавар дагах оноо нь 99.35 хүрсэн; Opus нь орон зайн ойлголт болон ерөнхий үйлдлийн гүйцэтгэлээр илүү сайн байж, бүх үеийн үнэлгээний токены хамгийн бага зарцуулалтаар тэргүүлэх бүлгийн нэгдсэн нэгдүгээр байр эзэлсэн. Зургийн чанарт саатал учруулсан туршилтад GPT-6.1 Sol бусад гурван загвараас мэдэгдэхүйц хоцрогдож, өөр өөр загварууд визуал мэдээллийн өөрчлөлтөд хэр тогтвортой хариу үйлдэл үзүүлэх ялгааг харуулсан.
Гэвч энэ удаагийн нэгдсэн зэрэглэлийн эхний хоёр байрыг биет зүйлийн стратегийн загварууд эзэлсээр байгаа бөгөөд ялангуяа ерөнхий үйлдлийн хэмжээст давуу талаа хадгалсан.
Энэ нэг тавцангийн өрсөлдөөн нь салбарт ерөнхий том загвар болон биет зүйлийн стратегийн загваруудын чадварын давуу тал ба сул талыг тодорхой харах боломжийг олгосон.
RoboColiseum нь заавар дагах, орон зайн ойлголт, сааталд дасан зохицох, ерөнхий үйлдэл гэсэн дөрвөн төрлийн чадварын дэд жагсаалт, 78 өндөр нарийвчлалтай симуляцийн үнэлгээний даалгаврыг гаргаж, загваруудын дэд үзүүлэлтийг харуулаад зогсохгүй даалгавар гүйцэтгэх алхам болон бүтэлгүйтсэн байршлыг бүртгэн, хөгжүүлэгчдэд загварын чадварын сул талыг хурдан тодорхойлоход тусалдаг.
Хамтран санаачилсан талын хувьд Mifeng нь RoboColiseum-д өндөр нарийвчлалтай объектын хөрөнгө болон симуляцийн орчныг提供 хийж, нарийн төвөгтэй робот үйлдлийн даалгаврын үнэлгээний орчныг бүрдүүлэхэд дэмжлэг үзүүлж, өөр өөр объектын харилцан үйлчлэл, орон зайн зохион байгуулалт болон орчны нөхцөлд загварын чадварыг турших үндсэн нөөцийг提供 хийсэн.
Загварын симуляц дахь үр дүн бодит үйлдлийн гүйцэтгэлийг илэрхийлж чадах эсэх нь мөн үнэлгээний гол асуудал юм. Платформын зарласан бодит туршилтын үр дүнгээр RoboColiseum-ийн симуляцийн үнэлгээ болон бодит машин дээрх байршуулалтын хамаарал 89.5% хүрч, ижил загвар симуляц болон бодит ертөнц дэх үнэлгээний зөрүү 10%-иас бага байгаа нь хөгжүүлэгчдэд бодит машин туршилтад орохын өмнө загвар шүүх болон асуудлыг тодорхойлоход лавлагаа болж чадна.
Mifeng Technology нь "бүрэн, сайн, хурдан" өгөгдлийн нийлүүлэлтийн системийг提供 хийж, бодит машин, симуляц болон биетгүй гэсэн гурван том өгөгдлийн парадигмыг хамардаг. Симуляцын хувьд Mifeng нь объектын хөрөнгө болон орчны хөрөнгө гэсэн хоёр төрлийн нөөцийг提供 хийж, олон төрлийн өдөр тутмын эд зүйлс болон дотоод орчныг хамарч, орчныг дахин бүтээх, мэргэжилтний траекторийн өгөгдөл олж авах болон үнэлгээний үр дүнг визуалчлах зэрэг чадварыг提供 хийж, загварын багуудад олон төрлийн сургалт болон үнэлгээ явуулахад тусалдаг.
Coliseum гэдэг нь анх эртний Ромын дугуй талбарыг заасан бөгөөд RoboColiseum үүнийг дүрслэл болгон, олон хэмжээст системийн үнэлгээний тогтолцоог бүрдүүлж, бодит машин дээрх гүйцэтгэлтэй өндөр түвшинд нийцсэн симуляцийн үнэлгээгээр биет зүйлийн оюун ухааны загваруудад нээлттэй, төвийг сахисан, дахин үйлдвэрлэх боломжтой "тулааны талбар" болон "сургалтын талбар"-ыг бүтээж өгдөг. Аливаа их сургууль, судалгааны байгууллага эсвэл аж ахуйн нэгжийн хөгжүүлэгч өөрийн загвараа提交 хийж, стандартчилагдсан "шалгалт"-д орох боломжтой. 8-р сард нээгдсэнээс хойш дотоод, гадаадын 100 гаруй баг платформ дээр загварын сургалт болон үнэлгээ явуулсан.
RoboColiseum одоо дэлхийн хөгжүүлэгчдэд нээлттэй болсон бөгөөд загварын багуудыг үнэлгээнд оролцохыг урьж байна.
