Perplexity spouští lokálního AI agenta, který uchovává data mimo cloud

Společnost Perplexity v úterý spustila Portable Computer, novou verzi své agentní AI platformy navrženou tak, aby běžela výhradně na vlastním hardwaru uživatele a data do cloudu odesílala pouze s výslovným povolením. Produkt představuje posun směrem k AI zaměřené na soukromí v době, kdy většina asistentů směruje všechny dotazy přes vzdálené servery.

Jak to funguje

Portable Computer balí lokální AI model, inferenční engine, nástroje pro agenty, konektory aplikací a izolované prostředí pro spouštění kódu do jediného systému, který funguje na stroji uživatele. Každá úloha začíná lokálně. Pokud model v zařízení narazí na krok vyžadující pokročilejší uvažování, požádá uživatele o povolení, než tento konkrétní krok odešle do cloudového modelu. Soubory a citlivá data mohou po celou dobu zůstat v zařízení.venturebeat+2

Při spuštění si uživatelé mohou vybrat mezi modelem Qwen s 27 miliardami parametrů nebo vlastní variantou Perplexity, PPLX 27B, přičemž se očekává přidání Nvidia Nemotron 3.5 Lightning. Uživatelé mohou také přinést vlastní model a inferenční server. Lokálně dokončená práce nespotřebovává žádné kredity – do využití se počítají pouze kroky směrované do cloudu.tomsguide

Hardware a dostupnost

Software vyžaduje hardware Nvidia s minimálně 24 GB VRAM. Spouští se nejprve na Linuxu, podporuje Nvidia DGX Spark a stroje běžící na DGX OS nebo Ubuntu na hardwaru ARM či x64. Podpora pro Windows je naplánována na září, dostupnost pro macOS zatím nebyla oznámena.zdnet+1

Portable Computer je k dispozici předplatitelům Perplexity Pro, Max, Enterprise Pro a Enterprise Max. Perplexity vyvinula produkt ve spolupráci se společností Nvidia ↗ 9.06% a staví na platformě stolního superpočítače DGX Spark.venturebeat+1

Soukromí vs. praktičnost

Hybridní model směrování se snaží vyřešit napětí v lokální AI: menší modely v zařízení zvládnou přímočaré úkoly, jako je extrakce informací z PDF nebo spouštění příkazů, ale bojují se složitým uvažováním, které velké cloudové modely zvládají dobře. Místo toho, aby uživatele nutila volit mezi soukromím a schopnostmi, umožňuje Portable Computer systému selektivně eskalovat, ale pouze se souhlasem uživatele.tomsguide

Hardwarové požadavky znamenají, že toto první vydání je relevantní spíše pro AI nadšence, vývojáře a podniky, které již vlastní špičkové systémy Nvidia, než pro běžné spotřebitele. Přesto, jak poznamenal Tom's Guide, produkt „nabízí pohled na to, jak by mohl vypadat soukromější AI asistent, jakmile bude hardware potřebný k jeho provozu dostupnější“.tomsguide