Perplexity lanserer lokal AI-agent som holder data unna skyen

Perplexity lanserte tirsdag Portable Computer, en ny versjon av sin agentbaserte AI-plattform designet for å kjøre utelukkende på brukerens egen maskinvare, hvor data kun sendes til skyen med eksplisitt tillatelse. Produktet representerer et skifte mot personvernfokusert AI i en tid der de fleste assistenter sender alle spørringer gjennom eksterne servere.

Hvordan det fungerer

Portable Computer pakker en lokal AI-modell, inferensmotor, agentverktøy, app-koblinger og et isolert miljø for kodekjøring inn i ett enkelt system som opererer på brukerens maskin. Hver oppgave starter lokalt. Hvis den lokale modellen støter på et steg som krever mer avansert resonnering, ber den brukeren om tillatelse før det spesifikke steget sendes til en skybasert modell. Filer og sensitive data kan forbli på enheten gjennom hele prosessen.venturebeat+2

Ved lansering kan brukere velge mellom en Qwen-modell med 27 milliarder parametere eller Perplexity sin egen ettertrente variant, PPLX 27B, med Nvidias Nemotron 3.5 Lightning forventet senere. Brukere kan også ta med sin egen modell og inferensserver. Arbeid som fullføres lokalt bruker ikke faktureringskreditter, kun steg som rutes til skyen teller mot bruken.tomsguide

Maskinvare og tilgjengelighet

Programvaren krever Nvidia-maskinvare med minst 24 GB VRAM. Den lanseres først på Linux, med støtte for Nvidia DGX Spark samt maskiner som kjører DGX OS eller Ubuntu på ARM- eller x64-maskinvare. Windows-støtte er planlagt for september, mens tilgjengelighet for macOS ikke er annonsert.zdnet+1

Portable Computer er tilgjengelig for abonnenter av Perplexity Pro, Max, Enterprise Pro og Enterprise Max. Perplexity utviklet produktet i samarbeid med Nvidia ↗ 1.48%, og bygger videre på DGX Spark-plattformen for stasjonære superdatamaskiner.venturebeat+1

Personvern kontra praktisk nytte

Den hybride rutingmodellen forsøker å løse en spenning i lokal AI: mindre modeller på enheten kan håndtere enkle oppgaver som å hente ut informasjon fra PDF-filer eller kjøre skallkommandoer, men de sliter med kompleks resonnering som store skymodeller håndterer godt. I stedet for å tvinge brukere til å velge mellom personvern og kapasitet, lar Portable Computer systemet eskalere selektivt, men kun med brukerens godkjennelse.tomsguide

Maskinvarekravene betyr at denne første utgivelsen er mest relevant for AI-entusiaster, utviklere og bedrifter som allerede eier avanserte Nvidia-systemer, snarere enn vanlige forbrukere. Likevel, som Tom's Guide bemerket, gir produktet "et glimt av hvordan en mer privat AI-assistent kan se ut når maskinvaren som trengs for å kjøre en slik, blir rimeligere."tomsguide