Perplexity lanserar lokal AI-agent som håller data borta från molnet

Perplexity lanserade på tisdagen Portable Computer, en ny version av sin agentbaserade AI-plattform utformad för att köras helt på användarens egen hårdvara, där data endast skickas till molnet med uttryckligt tillstånd. Produkten representerar en satsning på integritetsmedveten AI i en tid då de flesta assistenter dirigerar alla frågor genom fjärrservrar.

Hur det fungerar

Portable Computer paketerar en lokal AI-modell, inferensmotor, agentverktyg, app-kopplingar och en isolerad miljö för kodkörning i ett enda system som körs på användarens maskin. Varje uppgift börjar lokalt. Om den lokala modellen stöter på ett steg som kräver mer avancerad resonemangsförmåga, ber den användaren om tillåtelse innan det specifika steget skickas till en molnbaserad modell. Filer och känslig data kan stanna kvar på enheten under hela processen.venturebeat+2

Vid lanseringen kan användare välja mellan en Qwen-modell med 27 miljarder parametrar eller Perplexity egen eftertränade variant, PPLX 27B, med Nvidias Nemotron 3.5 Lightning förväntad att följa. Användare kan även använda sin egen modell och inferensserver. Arbete som slutförs lokalt förbrukar inga faktureringskrediter, endast steg som dirigeras till molnet räknas mot användningen.tomsguide

Hårdvara och tillgänglighet

Programvaran kräver Nvidia-hårdvara med minst 24 GB VRAM. Den lanseras först på Linux och stöder Nvidia DGX Spark samt maskiner som kör DGX OS eller Ubuntu på ARM- eller x64-hårdvara. Windows-stöd är planerat till september, medan tillgänglighet för macOS ännu inte har annonserats.zdnet+1

Portable Computer är tillgänglig för prenumeranter av Perplexity Pro, Max, Enterprise Pro och Enterprise Max. Perplexity utvecklade produkten i samarbete med Nvidia ↗ 8.74% och bygger vidare på plattformen för stationära superdatorer, DGX Spark.venturebeat+1

Integritet kontra praktisk nytta

Den hybrida dirigeringsmodellen försöker lösa en spänning inom lokal AI: mindre modeller på enheten kan hantera enkla uppgifter som att extrahera information från PDF-filer eller köra skalkommandon, men de har svårt med komplexa resonemang som stora molnmodeller hanterar väl. Istället för att tvinga användare att välja mellan integritet och kapacitet, låter Portable Computer systemet eskalera selektivt, men endast med användarens godkännande.tomsguide

Hårdvarukraven innebär att denna första version främst är relevant för AI-entusiaster, utvecklare och företag som redan äger avancerade Nvidia-system, snarare än vanliga konsumenter. Ändå, som Tom's Guide noterade, erbjuder produkten "en glimt av hur en mer privat AI-assistent skulle kunna se ut när hårdvaran som krävs för att köra en sådan blir mer lättillgänglig."tomsguide