China's open-weight AI models are now just 4 months behind frontier US offerings, Mozilla report claims — models still lag in some benchmarks but are drastically cheaper to use
Summary
Raport Mozilli z 15 września wykazał, że najlepsze chińskie otwarte modele AI zbliżyły się do amerykańskich liderów. Na liście indeksu Artificial Analysis model chiński był o trzy punkty słabszy od lidera i o dwa punkty za modelem Claude Fable 5. Koszt ich użycia wynosił 60% ceny konkurencji. Mozilla podała, że lukę w wydajności na danych METR szacuje się na około 4,4 miesiąca, co jest zgodne z estymacją Epoch AI. Mimo że modele nadal przegrywają w niektórych testach, są drastycznie tańsze.
Key points
- Najlepszy chiński otwarty model był o trzy punkty słabszy od lidera na liście Artificial Analysis.
- Chiński model był o dwa punkty za modelem Claude Fable 5 w tym samym rankingu.
- Koszt użycia chińskich modeli wynosił 60% ceny konkurencyjnych ofert.
- Mozilla podała, że luka w wydajności na danych METR wynosi około 4,4 miesiąca.
- Estymacja Epoch AI wskazuje na czteromiesięczną przewagę modeli amerykańskich.
Timeline
Opublikowano wersję 1.1 raportu State of Open Source AI Mozilli.
Dane użyte w raporcie były aktualne do tego dnia.
“The best open model trailed the closed leader on the Artificial Analysis Intelligence Index by three points at 60% of the price and two points behind Claude Fable 5 at 30%.”
Tło
Mozilla opublikowała wersję 1.1 raportu State of Open Source AI.
Dlaczego to ważne
Raport wskazuje na drastycznie niższe koszty chińskich modeli w porównaniu do konkurencji.