The Verge: Hugging Face zobowiązuje się do udostępnienia bezpłatnych GPU o wartości 10 milionów dolarów, aby pomóc programistom tworzyć nowe technologie AI. Celem jest pomoc małym deweloperom, naukowcom i startupom w przeciwstawieniu się scentralizowaniu postępu w dziedzinie sztucznej inteligencji. Delangue martwi się zdolnością startupów AI do konkurowania z gigantami technologicznymi. Większość znaczących postępów w sztucznej inteligencji - jak np. GPT-4, algorytmy stojące za Google Search i system Full Self-Driving firmy Tesla - pozostaje ukryta w obrębie głównych firm technologicznych. Korporacje te nie tylko mają zachęty finansowe do utrzymywania swoich modeli jako własnościowych, ale dzięki miliardom dolarów do swojej dyspozycji na zasoby obliczeniowe, mogą pomnożyć te zyski i wyprzedzić konkurentów, co sprawia, że dla startupów jest to niemożliwe do nadrobienia. Hugging Face ma na celu uczynienie najnowocześniejszych technologii AI dostępnymi dla wszystkich, a nie tylko dla gigantów technologicznych.

Dostęp do zasobów obliczeniowych stanowi istotne wyzwanie w konstruowaniu dużych modeli językowych, często faworyzując firmy takie jak OpenAI i Anthropic, które zawierają umowy ze świadczeniodawcami chmur na znaczne zasoby obliczeniowe. Hugging Face ma na celu wyrównanie szans poprzez przekazywanie GPU społeczności poprzez nowy program o nazwie ZeroGPU. Współdzielone GPU są dostępne dla wielu użytkowników lub aplikacji jednocześnie, eliminując konieczność posiadania dedykowanego GPU przez każdego użytkownika lub aplikację. ZeroGPU będzie dostępne poprzez platformę hostingu Hugging Face o nazwie Spaces, na której firma stworzyła już ponad 300 000 dem AI działających dotychczas na CPU lub płatnym GPU, według firmy.

Dostęp do współdzielonych GPU jest określany przez użytkowanie, więc jeśli część mocy GPU nie jest aktywnie wykorzystywana, ta moc staje się dostępna do wykorzystania przez kogoś innego. Sprawia to, że są one opłacalne, energooszczędne i idealne do wykorzystania na szeroką skalę w społeczności. ZeroGPU wykorzystuje urządzenia GPU Nvidia A100 do zasilania tej operacji -- oferują one około połowę prędkości obliczeniowej popularnych i droższych H100s.

„Bardzo trudno zdobyć wystarczającą liczbę GPU od głównych świadczeniodawców chmur, a sposób na ich pozyskanie - który stwarza wysoką barierę wejścia - polega na zobowiązaniu się do bardzo dużych ilości na długi czas,” powiedział Delangue. Zazwyczaj firma zobowiązywałaby się świadczeniodawcy chmury takiemu jak Amazon Web Services na jeden lub więcej lat, aby zapewnić zasoby GPU. Taka umowa jest niekorzystna dla małych firm, deweloperów niezależnych i naukowców, którzy działają na małą skalę i nie są w stanie przewidzieć, czy ich projekty odniosą sukces. Bez względu na użytkowanie, muszą oni wciąż płacić za GPU. „To także koszmar przewidywania, aby wiedzieć, ile GPU i jakiego budżetu potrzebujesz” dodał Delangue.

ELI5: Firma Hugging Face obiecuje udostępnienie darmowych GPU o wartości 10 milionów dolarów, aby pomóc programistom w tworzeniu nowych technologii sztucznej inteligencji. Chcą oni zapobiec monopolowi dużych firm technologicznych w tej dziedzinie i umożliwić małym firmom i badaczom konkurowanie z nimi. Przez program ZeroGPU, Hugging Face udostępni współdzielone GPU, które będą dostępne dla wielu użytkowników jednocześnie, eliminując konieczność posiadania własnego. Dzięki temu będą one oszczędne, efektywne energetycznie i łatwe w użyciu dla całej społeczności.

Źródła:

• https://www.theverge.com/2024/5/16/24156755/hugging-face-celement-delangue-free-shared-gpus-ai
• https://gcore.com/blog/nvidia-h100-a100/#:~:text=The%20H100%20is%20NVIDIA's%20first,the%20most%20cost-effective%20choice.

CoreWeave, dostawca infrastruktury GPU, który rozpoczął działalność jako operacja wydobywcza kryptowalut, w tym tygodniu pozyskał 1,1 miliarda dolarów nowego finansowania od inwestorów, w tym Coatue, Fidelity i Altimeter Capital. Runda ta podnosi jego wycenę do 19 miliardów dolarów po transakcji i łącznie pozyskane przez niego finansowanie do 5 miliardów dolarów w dłużnych papierach wartościowych i kapitale - znacząca kwota dla firmy, która ma mniej niż 10 lat.

Lambda Labs, który również oferuje szereg instancji chmur z hostowanymi GPU, w kwietniu zabezpieczył 'specjalną rundę finansowania' do 500 milionów dolarów, kilka miesięcy po zakończeniu rundy serii C o wartości 320 milionów dolarów.

Organizacja non-profit Voltage Park, wspierana przez miliardera Jeda McCaleba, w październiku ubiegłego roku ogłosiła, że inwestuje 500 milionów dolarów w centra danych z GPU. A Together AI, host chmury GPU, który także prowadzi badania nad generatywną sztuczną inteligencją, w marcu pozyskał 106 milionów dolarów w rundzie finansowanej przez Salesforce.

Dlaczego więc tyle entuzjazmu i gotówki płynie do przestrzeni alternatywnych chmur? Odpowiedź, jak można się spodziewać, to generatywna sztuczna inteligencja. Wraz z kontynuacją boomu generatywnej SI, rośnie zapotrzebowanie na sprzęt do pracy i szkolenia modeli generatywnej SI na dużą skalę. GPU, architektonicznie, są logicznym wyborem do szkolenia, dopracowywania i uruchamiania modeli, ponieważ zawierają tysiące rdzeni, które mogą pracować równolegle.

Jednak instalacja GPU jest kosztowna. Dlatego większość programistów i organizacji zwraca się do chmury. Istniejący gracze na rynku obliczeń chmurowych - Amazon Web Services (AWS), Google Cloud i Microsoft Azure - oferują mnóstwo instancji GPU i specjalistycznego sprzętu zoptymalizowanego do pracy z generatywnymi SI. Ale dla co najmniej niektórych modeli i projektów alternatywne chmury mogą okazać się tańsze - i zapewnić lepszą dostępność.

Na CoreWeave, wynajęcie Nvidia A100 40GB - jednego z popularnych wyborów do szkolenia modeli i wnioskowania - kosztuje 2,39 USD za godzinę, co daje 1200 USD miesięcznie. Na platformie Azure, to samo GPU kosztuje 3,40 USD za godzinę, czyli 2482 USD miesięcznie; na Google Cloud to 3,67 USD za godzinę, czyli 2682 USD miesięcznie. Biorąc pod uwagę, że obciążenia pracy z generatywną SI zwykle są wykonywane na klastrach GPU, różnice w kosztach szybko rosną.

'Firmy takie jak CoreWeave uczestniczą w rynku, który określany jest jako 'GPU jako usługa', powiedział TechCrunch Sid Nag, wiceprezes ds. usług chmurowych i technologii w firmie Gartner. 'Biorąc pod uwagę wysokie zapotrzebowanie na GPU, oferują one alternatywę dla gigantów chmurowych i zapewniają inne podejście do rynku i dostępu do tych GPU.' Nag zwraca uwagę, że nawet niektóre firmy z branży Big Tech zaczęły polegać na alternatywnych dostawcach chmur, gdy napotykają wyzwania związane z mocą obliczeniową. Microsoft podpisał wielomiliardową umowę z CoreWeave w czerwcu zeszłego roku, aby pomóc dostarczyć wystarczającą moc obliczeniową do szkolenia modeli generatywnej SI OpenAI. 'Nvidia, dostawca większości chipów CoreWeave, uważa to za pożądany trend, być może z powodów strategicznych; podobno dał niektórym alternatywnym dostawcom chmur dostęp preferencyjny do swoich GPU,' raportuje TechCrunch.

ELI5: Firmy, które dostarczają sprzęt do pracy ze sztuczną inteligencją, taką jak generatywna SI, otrzymują dużo pieniędzy od inwestorów. Dzieje się tak, ponieważ coraz większe firmy i programiści potrzebują dużo sprzętu, aby rozwijać te technologie. GPU są ważne do szkolenia modeli SI, ale są kosztowne, dlatego wiele firm korzysta z alternatywnych usług chmurowych, które oferują sprzęt dostosowany do takich zadań. Firmy takie jak CoreWeave oferują GPU za niższą cenę niż duże platformy chmurowe takie jak AWS, co sprawia, że są bardziej dostępne dla różnych projektów.

Źródła:

• https://techcrunch.com/2024/05/05/coreweaves-1-1b-raise-shows-the-market-for-alternative-clouds-is-booming/
• https://www.cnbc.com/2023/06/01/microsoft-inks-deal-with-coreweave-to-meet-openai-cloud-demand.html