Firmy przepłacają za AI? Jest inny sposób na obniżenie kosztów
Firmy wydają miliardy na rozwój sztucznej inteligencji, ale coraz ważniejsze staje się pytanie, jak ograniczyć koszty jej wykorzystania.
Na początku boomu na generatywną AI firmy wybierały przede wszystkim dostawców oferujących najlepsze modele. Z czasem zaczęły jednak dostrzegać wady takiego podejścia: wysokie koszty, uzależnienie od dostawcy oraz ryzyko zmian wprowadzanych bez ich udziału.
Dlatego, jak przekonuje Lightning AI, przedsiębiorstwa coraz częściej chcą posiadać własne rozwiązania AI.
Mniejszy model, mniejszy rachunek
Kluczowa jest specjalizacja. Ogólny model musi przeprowadzać bardziej rozbudowane procesy, zanim udzieli odpowiedzi. Model dopasowany do danych przedsiębiorstwa może szybciej dochodzić do wyniku, ograniczając zużycie tokenów i mocy obliczeniowej.
Najrozsądniejszym sposobem na poprawę tokenomiki nie jest targowanie się o cenę tokenu, lecz tworzenie bardziej przemyślanych, mniejszych modeli
Według Lightning AI oszczędności mogą być znacznie większe niż kilka procent. Mniejsze modele oznaczają nie tylko niższy koszt tokenów, lecz również lepsze wykorzystanie procesorów graficznych. Większa dokładność może też ograniczyć późniejszą potrzebę ingerencji człowieka.
Jednocześnie własna AI oznacza konieczność zapewnienia odpowiedniej infrastruktury. Lightning AI współpracuje w tym obszarze z Dell i NVIDIA. Gotowe zestawy obejmujące m.in. chłodzenie cieczą, GPU, pamięć masową i sprzęt sieciowy mają ułatwiać szybkie uruchamianie infrastruktury.
Przedsiębiorstwa nie chcą jedynie dostępu do sztucznej inteligencji. Chcą przewidywalności i wydajności. Chcą mieć kontrolę nad własnymi danymi i chcą uzyskać jak największą wartość za każdego wydanego dolara
Stawką w kolejnym etapie wyścigu AI może być więc nie tylko stworzenie coraz potężniejszych modeli. Dla przedsiębiorstw równie ważne stanie się uruchamianie modeli wystarczająco dobrych do konkretnego zadania, a zarazem znacznie tańszych w codziennym użyciu.
Powiązane
