Apple Mac Studio dhe Mac mini: beteja për AI lokal

Apple sfidon cloud-in me Mac Studio dhe Mac mini të rinj: AI-ja po zhvendoset mbi tavolinën e përdoruesit.

Apple nuk po shet vetëm një Mac më të shpejtë

Më 22 shtator, Apple nisi shitjet e Mac mini dhe Mac Studio të rinj.

Në pamje të parë duket si një rifreskim normal hardware.

Por këtë herë mesazhi i Apple është më i madh:

AI mund të ekzekutohet lokalisht, në kompjuterin tënd, në vend që çdo kërkesë e rëndë të shkojë në një qendër të dhënash.

Mac Studio i ri me M5 Ultra mund të konfigurohet me deri në 512 GB unified memory, ndërsa Apple thotë se mund të ekzekutojë modele shumë të mëdha gjuhësore direkt në pajisje.

Reuters e përshkruan strategjinë e re si një përpjekje për t’u ofruar kompanive një alternativë ndaj kostove të vazhdueshme të cloud-it dhe sistemeve të specializuara AI.

512 GB unified memory është pjesa që ndryshon lojën

Specifikimi më interesant nuk është vetëm procesori.

Është memoria.

Mac Studio me M5 Ultra arrin deri në 512 GB unified memory dhe deri në 1.2 TB/s bandwidth sipas Apple.

Në arkitekturën unified memory të Apple, CPU-ja dhe GPU-ja mund të përdorin të njëjtin pool memorie.

Për AI kjo ka rëndësi të madhe.

Modelet e mëdha gjuhësore mund të kërkojnë sasi shumë të mëdha memorie vetëm për të mbajtur parametrat dhe strukturat që nevojiten gjatë inference.

Në një sistem tradicional, lëvizja e të dhënave midis komponentëve mund të bëhet një pengesë.

Apple po përpiqet ta reduktojë këtë pengesë duke e bërë memorien pjesë qendrore të arkitekturës së çipit.

Apple thotë se mund të ekzekutojë modele gjigante lokalisht

Apple e pozicionon M5 Ultra si një platformë për frontier-class AI models dhe thotë se modelet shumë të mëdha mund të ekzekutohen plotësisht në pajisje.

Kjo nuk do të thotë se çdo model AI i disponueshëm sot mund të merret, instalohet dhe të funksionojë automatikisht në Mac Studio.

Ka rëndësi:

• madhësia e modelit;
• quantization;
• software-i;
• optimizimi;
• memoria e disponueshme;
• shpejtësia e inference;
• dhe kërkesat konkrete të modelit.

Por drejtimi është i qartë.

Apple po e trajton desktopin si një pajisje AI, jo thjesht si një kompjuter që përdor aplikacione AI.

Katër Mac Studio mund të punojnë si një sistem

Këtu bëhet edhe më interesante.

Apple ka integruar Thunderbolt 5 dhe RDMA — Remote Direct Memory Access për të lejuar që disa Mac Studio të lidhen në një cluster.

Sipas Apple, një cluster me katër Mac Studio mund të arrijë deri në 3 herë performancën e një sistemi të vetëm për distributed AI inference.

Kjo hap një mundësi interesante:

Në vend që një ekip i vogël të blejë menjëherë një server të madh AI, mund të ndërtojë gradualisht një cluster desktopësh.

Sigurisht, kjo nuk e bën Mac Studio automatikisht një zëvendësim të një cluster-i të madh GPU.

Por për:

• laboratorë kërkimi;
• startup-e;
• zhvillues AI;
• universitete;
• ekipe të vogla;
• prototipim;

mund të jetë një alternativë interesante.

Pse Apple po flet për koston e cloud-it?

AI cloud ka një model të ndryshëm ekonomik.

Nëse përdor një API, zakonisht paguan sipas përdorimit.

Sa më shumë tokena, kërkesa dhe inference, aq më shumë rritet fatura.

Apple po propozon një model tjetër:

blej hardware → paguaj energjinë → përdore sa të duash.

Reuters raportoi se kjo është pikërisht një nga pikat që Apple po përdor në komunikimin me klientët korporativë.

Por këtu duhet kujdes.

Kjo nuk do të thotë se Mac Studio është gjithmonë më i lirë se cloud-i.

Duhet të llogariten:

• çmimi i hardware-it;
• energjia elektrike;
• mirëmbajtja;
• stafi;
• software-i;
• koha e përdorimit;
• shfrytëzimi i kapacitetit;
• kostoja e përditësimeve.

Nëse makina përdoret vetëm disa orë në javë, cloud-i mund të ketë avantazh.

Nëse përdoret vazhdimisht, llogaria mund të ndryshojë.

Çmimi e tregon se kujt i drejtohet

Mac Studio me M5 Max nis nga $2,499.

Versioni me M5 Ultra nis nga $5,499.

Kjo nuk është një makinë për konsumatorin mesatar.

Apple po synon:

zhvilluesit, studiuesit AI, profesionistët kreativë, data scientists dhe bizneset.

Dhe konfigurimet mund të bëhen shumë më të shtrenjta.

Reuters raportoi për konfigurime që mund të shkojnë deri në rreth $20,000, duke e vendosur produktin në një kategori krejt tjetër nga desktopi tradicional.

Mac mini është ana tjetër e strategjisë

Në të njëjtën kohë, Apple ka nxjerrë Mac mini të ri me M6 dhe M5 Pro.

Kjo është shumë më interesante për tregun e gjerë.

Mac mini është kompakt dhe synon përdorues nga studentët dhe bizneset e vogla deri te zhvilluesit dhe krijuesit.

Pra Apple po ndërton dy skaje:

Mac mini → AI dhe computing më i arritshëm

Mac Studio → AI profesionale dhe modele shumë të mëdha

Kjo i jep Apple një arkitekturë ku e njëjta filozofi Apple Silicon mund të shtrihet nga desktopi i vogël deri te sistemet e fuqishme lokale.

Pse local AI është kaq i rëndësishëm?

Ka tre arsye kryesore.

1. Privatësia

Nëse modeli funksionon lokalisht, të dhënat nuk kanë nevojë domosdoshmërisht të largohen nga pajisja.

Apple e përdor pikërisht këtë si një nga avantazhet e AI lokale.

Për kompani që punojnë me:

• dokumente konfidenciale;
• kod;
• të dhëna klientësh;
• kërkime;
• të dhëna financiare;

kjo mund të jetë e rëndësishme.

2. Latenca

Nëse modeli është lokal, nuk ke nevojë të presësh që kërkesa të shkojë në server dhe përgjigjja të kthehet.

Për disa përdorime kjo mund të sjellë reagim më të shpejtë.

3. Kosto e parashikueshme

Një sistem lokal ka një kosto fillestare të lartë, por përdorimi shtesë nuk llogaritet në të njëjtën mënyrë si faturimi për token.

Por cloud-i nuk po zhduket

Kjo është pjesa që duhet theksuar.

AI lokale nuk do të zëvendësojë automatikisht cloud-in.

Modelet më të mëdha, trajnimi në shkallë të gjerë dhe ngarkesat që kërkojnë mijëra GPU ende kanë nevojë për infrastrukturë të madhe.

Kjo është arsyeja pse Nvidia, Microsoft, Google, Amazon dhe kompani të tjera vazhdojnë të investojnë në data centers.

Apple po synon një pjesë tjetër të tregut:

AI inference më afër përdoruesit.

Një ndryshim i rëndësishëm për zhvilluesit

Apple po ofron edhe mjete software për këtë ekosistem.

Core AI është framework i ri për ndërtimin, ekzekutimin dhe deployment-in e modeleve në Apple Silicon.

Ndërkohë, MLX është framework open-source i optimizuar për machine learning në Apple Silicon.

Kjo është shumë e rëndësishme.

Hardware i fuqishëm pa software të mirë nuk krijon një platformë AI.

Apple po përpiqet të kontrollojë të dyja:

çipin + framework-un.

Çfarë po ndryshon në treg?

Për vite me radhë, historia e AI computing ishte kryesisht:

GPU → data center → cloud → përdorues.

Tani po shfaqet një model tjetër:

AI model → Mac/PC → përdorues.

Kjo nuk e zhduk modelin e parë.

Por krijon një treg paralel për AI lokale.

Dhe Apple po investon seriozisht në të.

Çfarë duhet të shohim tani?

Testi real nuk është sa impressive janë specifikimet.

Është sa mirë funksionojnë modelet reale në përdorim të përditshëm.

Do të jetë interesante të shihet:

• cilat modele mund të ekzekutohen plotësisht offline;
• sa tokena/sekondë arrijnë;
• sa energji konsumojnë;
• sa mirë funksionon clustering;
• sa kushton një orë inference lokale;
• dhe si krahasohet kjo me cloud-in.

Këto të dhëna do të tregojnë nëse strategjia e Apple është thjesht një veçori e re hardware apo një ndryshim më i madh në mënyrën se si përdoret AI.

Përfundimi

Mac Studio i ri nuk është interesant vetëm sepse është më i fuqishëm.

Është interesant sepse Apple po e vendos AI-n lokale në qendër të strategjisë së desktopit.

Me deri në 512 GB unified memory, 1.2 TB/s bandwidth, M5 Ultra, Thunderbolt 5 dhe clustering të disa sistemeve, Apple po përpiqet të sjellë modele shumë të mëdha AI nga data center-i drejt tavolinës së përdoruesit.

Por kjo nuk është fundi i cloud-it.

Është fillimi i një pyetjeje të re:

A do të jetë më efikase që AI-ja e së ardhmes të jetë gjithmonë në cloud — apo gjithnjë e më shpesh në pajisjen pranë nesh?

Kjo betejë sapo ka filluar.

Editorial verification note: Specifikimet, çmimet, kapacitetet e memories, clustering-u dhe pretendimet e performancës janë kontrolluar kundrejt materialeve zyrtare të Apple. Analiza mbi ekonominë cloud-vs-local është interpretim editorial dhe nuk paraqet një rezultat universal për çdo përdorim.