Po raz pierwszy od czasu zainwestowania ponad 10 miliardów dolarów w OpenAI w zamian za prawa do ponownego wykorzystania modeli AI, Microsoft szkoli nowy, wewnętrzny model AI na tyle duży, aby konkurować ze state-of-the-art modelami od Google, Anthropic i samego OpenAI.
Nowy model, wewnętrznie nazywany MAI-1, jest nadzorowany przez Mustafę Suleymana, byłego lidera AI w Google, który niedawno pełnił funkcję dyrektora generalnego start-upu Inflection, zanim Microsoft zatrudnił większość pracowników tego start-upu i zapłacił 650 milionów dolarów za prawa do jego własności intelektualnej w marcu. To jednak model Microsoftu, nie przeniesiony z Inflection, chociaż może opierać się na danych treningowych i innych technologiach tego start-upu.
MAI-1 będzie znacznie większy niż jakiekolwiek mniejsze, otwarte modele, które wcześniej trenował Microsoft, co oznacza, że będzie wymagał większej mocy obliczeniowej i danych treningowych, a więc będzie bardziej kosztowny, zgodnie z informacjami. MAI-1 będzie mieć około 500 miliardów parametrów, czyli ustawień, które można dostosować, aby określić, jak modele uczą się podczas treningu. W porównaniu z GPT-4 OpenAI, który ma ponad 1 bilion parametrów, a mniejsze otwarte modele wydane przez firmy takie jak Meta Platforms i Mistral mają 70 miliardów parametrów. Oznacza to, że Microsoft teraz podąża w pewnym sensie podwójną ścieżką w AI, mając na celu rozwijanie zarówno „małych modeli językowych”, które są tanie w implementacji do aplikacji i mogą działać na urządzeniach mobilnych, jak i większych, state-of-the-art modeli AI.*
ELI5: Microsoft zainwestował dużo pieniędzy w OpenAI i teraz tworzy swój własny model AI, nazwany MAI-1, który będzie dużym modelem zdolnym konkurować z innymi zaawansowanymi modelami. Pracuje nad nim Mustafa Suleyman, który wcześniej pracował w Google i Inflection. MAI-1 będzie bardzo duży, z około 500 miliardami parametrów, i będzie kosztowny w utrzymaniu ze względu na potrzebną moc obliczeniową i dane treningowe. Jest to krok Microsoftu w kierunku rozwoju zaawansowanych modeli AI, przy jednoczesnym kontynuowaniu prac nad mniejszymi modelami dostosowanymi do urządzeń mobilnych.
Źródła: