Alternatywne chmury zyskują popularność, gdy firmy szukają tańszego dostępu do GPU

CoreWeave, dostawca infrastruktury GPU, który rozpoczął działalność jako operacja wydobywcza kryptowalut, w tym tygodniu pozyskał 1,1 miliarda dolarów nowego finansowania od inwestorów, w tym Coatue, Fidelity i Altimeter Capital. Runda ta podnosi jego wycenę do 19 miliardów dolarów po transakcji i łącznie pozyskane przez niego finansowanie do 5 miliardów dolarów w dłużnych papierach wartościowych i kapitale - znacząca kwota dla firmy, która ma mniej niż 10 lat.

Lambda Labs, który również oferuje szereg instancji chmur z hostowanymi GPU, w kwietniu zabezpieczył 'specjalną rundę finansowania' do 500 milionów dolarów, kilka miesięcy po zakończeniu rundy serii C o wartości 320 milionów dolarów.

Organizacja non-profit Voltage Park, wspierana przez miliardera Jeda McCaleba, w październiku ubiegłego roku ogłosiła, że inwestuje 500 milionów dolarów w centra danych z GPU. A Together AI, host chmury GPU, który także prowadzi badania nad generatywną sztuczną inteligencją, w marcu pozyskał 106 milionów dolarów w rundzie finansowanej przez Salesforce.

Dlaczego więc tyle entuzjazmu i gotówki płynie do przestrzeni alternatywnych chmur? Odpowiedź, jak można się spodziewać, to generatywna sztuczna inteligencja. Wraz z kontynuacją boomu generatywnej SI, rośnie zapotrzebowanie na sprzęt do pracy i szkolenia modeli generatywnej SI na dużą skalę. GPU, architektonicznie, są logicznym wyborem do szkolenia, dopracowywania i uruchamiania modeli, ponieważ zawierają tysiące rdzeni, które mogą pracować równolegle.

Jednak instalacja GPU jest kosztowna. Dlatego większość programistów i organizacji zwraca się do chmury. Istniejący gracze na rynku obliczeń chmurowych - Amazon Web Services (AWS), Google Cloud i Microsoft Azure - oferują mnóstwo instancji GPU i specjalistycznego sprzętu zoptymalizowanego do pracy z generatywnymi SI. Ale dla co najmniej niektórych modeli i projektów alternatywne chmury mogą okazać się tańsze - i zapewnić lepszą dostępność.

Na CoreWeave, wynajęcie Nvidia A100 40GB - jednego z popularnych wyborów do szkolenia modeli i wnioskowania - kosztuje 2,39 USD za godzinę, co daje 1200 USD miesięcznie. Na platformie Azure, to samo GPU kosztuje 3,40 USD za godzinę, czyli 2482 USD miesięcznie; na Google Cloud to 3,67 USD za godzinę, czyli 2682 USD miesięcznie. Biorąc pod uwagę, że obciążenia pracy z generatywną SI zwykle są wykonywane na klastrach GPU, różnice w kosztach szybko rosną.

'Firmy takie jak CoreWeave uczestniczą w rynku, który określany jest jako 'GPU jako usługa', powiedział TechCrunch Sid Nag, wiceprezes ds. usług chmurowych i technologii w firmie Gartner. 'Biorąc pod uwagę wysokie zapotrzebowanie na GPU, oferują one alternatywę dla gigantów chmurowych i zapewniają inne podejście do rynku i dostępu do tych GPU.' Nag zwraca uwagę, że nawet niektóre firmy z branży Big Tech zaczęły polegać na alternatywnych dostawcach chmur, gdy napotykają wyzwania związane z mocą obliczeniową. Microsoft podpisał wielomiliardową umowę z CoreWeave w czerwcu zeszłego roku, aby pomóc dostarczyć wystarczającą moc obliczeniową do szkolenia modeli generatywnej SI OpenAI. 'Nvidia, dostawca większości chipów CoreWeave, uważa to za pożądany trend, być może z powodów strategicznych; podobno dał niektórym alternatywnym dostawcom chmur dostęp preferencyjny do swoich GPU,' raportuje TechCrunch.

ELI5: Firmy, które dostarczają sprzęt do pracy ze sztuczną inteligencją, taką jak generatywna SI, otrzymują dużo pieniędzy od inwestorów. Dzieje się tak, ponieważ coraz większe firmy i programiści potrzebują dużo sprzętu, aby rozwijać te technologie. GPU są ważne do szkolenia modeli SI, ale są kosztowne, dlatego wiele firm korzysta z alternatywnych usług chmurowych, które oferują sprzęt dostosowany do takich zadań. Firmy takie jak CoreWeave oferują GPU za niższą cenę niż duże platformy chmurowe takie jak AWS, co sprawia, że są bardziej dostępne dla różnych projektów.

Źródła:

Google Pixel 8A to telefon klasy średniej, ale czy tylko?

Pixel 8A oficjalnie się pojawił. 8A otrzymuje najnowszy procesor od Google, dodaje kilka nowych funkcji sztucznej inteligencji i nadal zaczyna się od 499 dolarów w USA. Ale najlepszą wiadomością jest to, że 8A przyjmuje siedmioletnie wsparcie software'owe Pixela 8 i 8 Pro, co jest niezwykłe w telefonie klasy średniej.

Z raportu: 8A zachowuje ten sam ogólny kształt i rozmiar co jego poprzednik. Ale jego 6,1-calowy ekran otrzymuje kilka istotnych aktualizacji: górny wskaźnik odświeżania wynosi teraz 120Hz, względem 90Hz, a panel staje się o 40 procent jaśniejszy, osiągając w trybie szczególnego nasycenia jasności aż do 2000 nitów. Są to ważne ulepszenia, zwłaszcza że główny konkurent 8A w USA, OnePlus 12R, posiada doskonały wyświetlacz.

8A jest wyposażony w te same funkcje generatywnej AI do zdjęć i wideo, które zrobiły furorę w Pixelu 8 i 8 Pro, w tym Najlepsze Ujęcie, Magiczny Edytor i Magiczne Usuwanie Dźwięku. Możliwe jest także korzystanie z funkcji Circle to Search, a 8A będzie zdolny do uruchomienia zoptymalizowanego na urządzenie modelu AI firmy Google, Gemini Nano. Tak jak w przypadku Pixela 8, opcja ta będzie dostarczana deweloperom za pomocą funkcji aktualizacji oprogramowania.

Pozostałe specyfikacje są albo niezmienione albo nieco zwiększone w porównaniu z poprzednią generacją. Wciąż dostępne są 8GB RAM i 128GB pamięci, choć teraz dostępna jest także opcja 256GB. Sprzęt kamery nie zmienił się od 7A, w tym stabilizowany 64-megapikselowy główny czujnik. Istnieje ocena IP67, zgodna z 7A, a pojemność baterii jest nieco większa, wynosząca 4492 mAh w porównaniu do 4385 mAh. Ładowanie bezprzewodowe jest dostępne za pomocą Qi 1.3 do 7,5W - tutaj brak Qi2.

ELI5: Pixel 8A to nowy telefon, który ma lepszy ekran i nowe funkcje sztucznej inteligencji. Ważną informacją jest to, że otrzyma wsparcie software'owe przez siedem lat, co jest rzadkością w telefonach klasy średniej. Telefon ten ma podobne kształt i rozmiar co poprzednik, ale ekran jest teraz jaśniejszy i ma większą częstotliwość odświeżania. Pixel 8A dziedziczy również funkcje AI do zdjęć i wideo znane z poprzednich modeli. Bateria jest nieco większa, a telefon obsługuje ładowanie bezprzewodowe.

Źródła:

Microsoft przygotowuje nowy model AI, aby konkurować z Google i OpenAI

Po raz pierwszy od czasu zainwestowania ponad 10 miliardów dolarów w OpenAI w zamian za prawa do ponownego wykorzystania modeli AI, Microsoft szkoli nowy, wewnętrzny model AI na tyle duży, aby konkurować ze state-of-the-art modelami od Google, Anthropic i samego OpenAI.

Nowy model, wewnętrznie nazywany MAI-1, jest nadzorowany przez Mustafę Suleymana, byłego lidera AI w Google, który niedawno pełnił funkcję dyrektora generalnego start-upu Inflection, zanim Microsoft zatrudnił większość pracowników tego start-upu i zapłacił 650 milionów dolarów za prawa do jego własności intelektualnej w marcu. To jednak model Microsoftu, nie przeniesiony z Inflection, chociaż może opierać się na danych treningowych i innych technologiach tego start-upu.

MAI-1 będzie znacznie większy niż jakiekolwiek mniejsze, otwarte modele, które wcześniej trenował Microsoft, co oznacza, że będzie wymagał większej mocy obliczeniowej i danych treningowych, a więc będzie bardziej kosztowny, zgodnie z informacjami. MAI-1 będzie mieć około 500 miliardów parametrów, czyli ustawień, które można dostosować, aby określić, jak modele uczą się podczas treningu. W porównaniu z GPT-4 OpenAI, który ma ponad 1 bilion parametrów, a mniejsze otwarte modele wydane przez firmy takie jak Meta Platforms i Mistral mają 70 miliardów parametrów. Oznacza to, że Microsoft teraz podąża w pewnym sensie podwójną ścieżką w AI, mając na celu rozwijanie zarówno „małych modeli językowych”, które są tanie w implementacji do aplikacji i mogą działać na urządzeniach mobilnych, jak i większych, state-of-the-art modeli AI.*

ELI5: Microsoft zainwestował dużo pieniędzy w OpenAI i teraz tworzy swój własny model AI, nazwany MAI-1, który będzie dużym modelem zdolnym konkurować z innymi zaawansowanymi modelami. Pracuje nad nim Mustafa Suleyman, który wcześniej pracował w Google i Inflection. MAI-1 będzie bardzo duży, z około 500 miliardami parametrów, i będzie kosztowny w utrzymaniu ze względu na potrzebną moc obliczeniową i dane treningowe. Jest to krok Microsoftu w kierunku rozwoju zaawansowanych modeli AI, przy jednoczesnym kontynuowaniu prac nad mniejszymi modelami dostosowanymi do urządzeń mobilnych.

Źródła:

Microsoft tworzy tajną usługę Generative AI odseparowaną od Internetu dla amerykańskich szpiegów

Microsoft wdrożył model Generative AI całkowicie odseparowany od Internetu, mówiąc, że amerykańskie agencje wywiadowcze mogą teraz bezpiecznie wykorzystać potężną technologię do analizy informacji o najwyższym stopniu tajności.

Z raportu: To pierwszy raz, kiedy duży model językowy działa całkowicie odseparowany od Internetu, powiedział wysoki przedstawiciel tej amerykańskiej firmy. Większość modeli AI, w tym ChatGPT firmy OpenAI, polega na usługach chmurowych do nauki i wnioskowania na podstawie danych, ale Microsoft chciał dostarczyć prawdziwie bezpieczny system dla amerykańskiej społeczności wywiadowczej. Agencje szpiegowskie na całym świecie chcą wykorzystać generatywną AI do pomocy w zrozumieniu i analizie rosnącej ilości informacji poufnych generowanych codziennie, ale muszą zrównoważyć sięganie po duże modele językowe z ryzykiem wycieku danych na zewnątrz — albo celowym hakowaniem. Microsoft wdrożył model oparty na GPT4 i kluczowe elementy go wspierające do chmury z „odseparowanym sieciowo” środowiskiem, które jest izolowane od Internetu, powiedział William Chappell, główny technolog ds. misji strategicznych i technologii w firmie Microsoft.

ELI5: Microsoft stworzył nowy model Generative AI, który działa bez połączenia z Internetem. Dzięki temu amerykańskie agencje wywiadowcze mogą bezpiecznie używać tej zaawansowanej technologii do analizy tajnych informacji. Microsoft wykorzystał model oparty na GPT4.

Źródła:

Apple ogłasza M4 z większą liczbą rdzeni CPU

Raport z Ars Technica: W wyniku gruntownych zmian w swoim harmonogramie chipów, Apple ogłosił nowy procesor M4 przy dzisiejszej aktualizacji iPad Pro, zaledwie sześć miesięcy po wydaniu pierwszych MacBooków Pro z M3, a nawet niecałe dwa miesiące po uaktualnieniu MacBooka Air z M3.

Apple twierdzi, że M4 zawiera "do" czterech rdzeni, sześć rdzeni o wydajności energetycznej i 10-rdzeniowy GPU. Szacunki wydajności Apple mówią, że M4 ma o 50 procent szybszy CPU i czterokrotnie większą wydajność grafiki. Podobnie jak GPU w M3, M4 również obsługuje sprzętowe śledzenie promieni (ray-tracing), aby umożliwić bardziej zaawansowane efekty oświetleniowe w grach i innych aplikacjach. Częściowo dzięki swojemu "drugiemu pokoleniu" procesu technologicznego 3 nm, Apple twierdzi, że M4 może równać się z wydajnością M2, zużywając jednocześnie tylko połowę mocy.

Podobnie jak wiele innych rzeczy w branży technologicznej obecnie, M4 także skupia się na sztucznej inteligencji; Apple informuje, że wzmacnia 16-rdzeniowy Silnik Neuronalny (odpowiednik NPU znanego firmom takim jak Qualcomm, Intel, AMD i Microsoft). Apple twierdzi, że M4 wykonuje do 38 trylionów operacji na sekundę (TOPS), znacząco wyprzedzając platformę Meteor Lake Intela, choć nieco odstając od 45 TOPS, które Qualcomm obiecuje ze swoją serią Snapdragon X Elite i Plus.

Silnik Neuronalny M3 jest w stanie wykonać 18 TOPS, więc to znaczny postęp dla sprzętu Apple. Chipy Apple od 2017 roku zawierają jakąś wersję Silnika Neuronalnego, choć do tej pory głównie były one wykorzystywane do ulepszania i kategoryzowania zdjęć, wykonywania optycznego rozpoznawania znaków, umożliwiania dyktowania offline i tym podobnych. Ale może się okazać, że Apple potrzebuje czegoś szybszego do modeli językowych wspieranych przez uczenie AI, które spodziewa się wprowadzić w iOS i iPadOS 18 na WWDC w przyszłym miesiącu. Oddzielny raport z Wall Street Journal informuje, że Apple opracowuje własny chip do uruchamiania oprogramowania AI w centrach danych. "Apple chip serwerowy prawdopodobnie skoncentruje się na używaniu modeli AI, czyli na inferencji, a nie na uczeniu modeli AI, gdzie dominuje Nvidia," donosi Reuters.

ELI5: Apple ogłosił wprowadzenie nowego procesora o nazwie M4 do swoich urządzeń. Procesor ten jest szybszy i bardziej wydajny od poprzednich wersji, a także obsługuje zaawansowane funkcje takie jak śledzenie promieni w grach. Apple skupił się także na sztucznej inteligencji, zapewniając mocniejszy Silnik Neuronalny, co pozwoli na lepsze wsparcie dla aplikacji związanych z AI. Ponadto, Apple pracuje nad własnym chipem do uruchamiania oprogramowania AI w centrach danych.

Źródła:

Apple zmasakrowane przez użytkowników za reklamę iPad Pro 'Crush'

Mniej niż 24 godziny po specjalnym evencie, na którym Apple zaprezentowało nowego, najcieńszego o rekordowej grubości (0,20 cala, najcieńsze urządzenie firmy Apple do tej pory) iPada Pro z chipem M4 wewnątrz, o którym Apple mówi, że jest zoptymalizowany pod kątem sztucznej inteligencji, firma stoi w obliczu gwałtownego i szybko rozprzestrzeniającego się publicznego sprzeciwu wobec jednej z nowych flagowych reklam wideo promujących to urządzenie - spotu o nazwie "Crush".

VentureBeat: Wideo przedstawia gigantyczną, przemysłową prasę hydrauliczną - kategorię urządzeń słynących z pojawiania się w wiralowych filmach przez ostatnie piętnaście lat - dosłownie spłaszczając i niszcząc dziesiątki innych przedmiotów i narzędzi kreatywnych, począwszy od trąbek po puszki farb. Reklama kończy się podniesieniem prasy, ujawniając, że te przedmioty zostały jakoś przekształcone w nowego iPada Pro. Metafora i przekaz są dość oczywiste: iPad Pro może wchłonąć i zastąpić wszystkie te starsze narzędzia i technologie wewnątrz niego, a wszystko to w bardziej przenośnej, eleganckiej i potężniejszej formie niż kiedykolwiek wcześniej.

Jest to analogiczne do podobnych spostrzeżeń i reklam, jakie w przeszłości robili inni fani i twórcy na temat tego, jak komputery osobiste i smartfony zastąpiły niemal wszystkie indywidualne gadżety - radia stereo/boomboxy, dzienniki, kalkulatory, bloki do rysowania, maszyny do pisania, kamery wideo - z przeszłości, oferując wiele z ich podstawowych funkcji w mniejszym, bardziej przenośnym formacie. Ludzie oburzają się bliskością metafory Apple'a, zniszczeniem ukochanych tradycyjnych instrumentów i przedmiotów, które ludzie cenią sobie za ich potencjał twórczy, oraz przewrotnym i być może niezamierzonym przekazem, że Apple chce dosłownie spłaszczyć kreatywność i brutalnie zniszczyć narzędzia kreatywne z wczoraj na rzecz kilkusetdolarowego urządzenia luksusowej technologii, której system operacyjny i ekosystem aplikacji ściśle kontroluje i ogranicza.

ELI5: Apple stworzyło reklamę dla nowego iPada Pro, pokazując, jak nowe urządzenie może zastąpić wiele innych starszych narzędzi. W reklamie użyto prasy hydraulicznej, która miała zastąpić różne przedmioty nowym iPadem Pro. Niektórzy ludzie byli oburzeni takim porównaniem, uważając, że Apple chce zastąpić tradycyjne narzędzia i ograniczyć kreatywność.

Źródła:

Rabbit R1 mogło być po prostu aplikacją mobilną

Rabbit R1 to jedno z pierwszych samodzielnych urządzeń towarzyszących ze sztuczną inteligencją na rynku, oferujący możliwość tłumaczenia języków, identyfikowania obiektów w otoczeniu i zamawiania jedzenia przez DoorDash, między innymi. W zeszłym tygodniu pojawił się w wiadomościach ze względu na ogólnie negatywne recenzje, które wymieniają słabą żywotność baterii, boleśnie wolne reakcje i brak funkcji.

Teraz potwierdzono, że Rabbit R1 jest zasilany przez aplikację na system Android, która może działać na istniejących telefonach z systemem Android. Portal Android Authority donosi:

To, co zepsuło opinię wielu osób na temat produktu, to informacja – zawarta w oryginalnym raporcie Android Authority – że R1 to w zasadzie aplikacja na Androida w pudełku. Wielu konsumentów uważało że R1 byłby lepszy jako aplikacja na telefon, ale pojawił się jeden haczyk, który musieliśmy wyjaśnić: jak uruchomiliśmy aplikację startową R1 na telefonie z system Android. Otóż w naszym wstępnym raporcie wspomnieliśmy, że aplikacja startowa Rabbit R1 jest przeznaczona do wstępnej instalacji w firmware i ma uzyskać kilka uprzywilejowanych, systemowych uprawnień. Mimo że to stwierdzenie jest nadal prawdziwe, powinniśmy byli wyjaśnić, że aplikacja startowa R1 wcale nie potrzebuje tych uprawnień. W rzeczywistości żadne z uprawnień systemowych, o które prosi aplikacja startowa R1, nie są w ogóle niezbędne do pełnienia podstawowej funkcji aplikacji.

Aby to udowodnić, ponownie uruchomiliśmy aplikację startową Rabbit R1 na standardowym, niezrootowanym urządzeniu z systemem Android (Xiaomi 13T Pro), dzięki pomocy zespołu inżynierów, w tym ChromMob, EmilyLShepherd, marceld505, thel3l i uwukko. Udało nam się przejść przez cały proces konfiguracji, jakby nasze urządzenie było rzeczywistym Rabbit R1. Następnie mogliśmy rozmawiać z ChatGPT, używać funkcji Vision do identyfikowania obiektów, odtwarzać muzykę ze Spotify, a nawet nagrywać notatki głosowe. Jak pokazano w naszym filmie pokazowym, wszystkie istniejące podstawowe funkcje, które oferuje Rabbit R1, działałyby jako aplikacja Androida lub nawet iOS. Jedynymi funkcjami, które by nie działały, są te niezwiązane z podstawową funkcjonalnością produktu i są to rzeczy, które twój telefon już potrafi, takie jak wyłączenie zasilania lub ponowne uruchomienie urządzenia, przełączanie Bluetooth, łączenie z siecią komórkową lub Wi-Fi lub ustawianie blokady ekranu.

Podczas naszych badań Android Authority był również w stanie uzyskać kopię firmware Rabbit R1. Nasza analiza ujawnia, że Rabbit nie wprowadził istotnych zmian w pakiecie BSP (Board Support Package) dostarczonym przez MediaTek. R1 faktycznie nadal jest dostarczany ze wszystkimi standardowymi aplikacjami zawartymi w AOSP, a także wieloma aplikacjami dostarczonymi przez MediaTek. Pomimo tego, żadna z tych aplikacji nie jest potrzebna ani nigdy nie jest pokazywana użytkownikowi, oczywiście. Rabbit dokonał tylko kilku zmian w kompilacji AOSP, którą dostarczył MediaTek, takich jak dodanie wspomnianej wcześniej aplikacji startowej R1, dodanie fork'a otwartoźródłowej aplikacji "AnySoftKeyboard" z niestandardowym motywem, dodanie aplikacji Aktualizatora OTA i dodanie niestandardowej animacji uruchamiania. Tak, to prawda, że aplikacja startowa R1 działa tylko jako lokalny klient usług chmurowych oferowanych przez Rabbit, które naprawdę obsługują podstawową funkcjonalność. Rzeczywiście, nie ma nic złego ani nietypowego w tym, że firmy korzystają z AOSP dla swojego sprzętu. Ale faktem jest, że Rabbit ma niewiele racji, aby uzasadnić użycie niestandardowego sprzętu, poza tym, że R1 ma przyciągający wzrok design.

ELI5: Rabbit R1 to urządzenie z sztuczną inteligencją, które ma funkcje takie jak tłumaczenie języków i identyfikowanie obiektów. Okazało się, że Rabbit R1 jest w rzeczywistości aplikacją na Androida w pudełku i może działać na istniejących telefonach z systemem Android. Choć potrzebowała kilku specjalnych uprawnień systemowych, to okazało się, że nie są one konieczne do podstawowych funkcji urządzenia. Testy pokazały, że większość funkcji Rabbit R1 działałoby jak aplikacja mobilna. Dodatkowo, analiza firmware Rabbit R1 ujawniła, że nie wprowadzono większych zmian do pakietu BSP dostarczonego przez MediaTek. W rezultacie aplikacja Rabbit R1 działa jako lokalny klient usług chmurowych oferowanych przez Rabbit, obsługując podstawowe funkcje.

Źródła: