Perplexity startet lokalen KI-Agenten, der Daten vom Cloud-Speicher fernhält

Perplexity hat am Dienstag Portable Computer vorgestellt, eine neue Version seiner agentenbasierten KI-Plattform, die vollständig auf der eigenen Hardware des Nutzers läuft und Daten nur mit ausdrücklicher Genehmigung in die Cloud sendet. Das Produkt stellt einen Vorstoß in Richtung datenschutzfreundlicher KI dar, in einer Zeit, in der die meisten Assistenten alle Anfragen über entfernte Server leiten.

Funktionsweise

Portable Computer bündelt ein lokales KI-Modell, eine Inferenz-Engine, Agenten-Tools, App-Konnektoren und eine isolierte Umgebung zur Codeausführung in einem einzigen System, das auf dem Rechner des Nutzers arbeitet. Jede Aufgabe beginnt lokal. Wenn das geräteinterne Modell auf einen Schritt stößt, der fortgeschrittene Schlussfolgerungen erfordert, bittet es den Nutzer um Erlaubnis, bevor dieser spezifische Schritt an ein cloudbasiertes Modell weitergeleitet wird. Dateien und sensible Daten können während des gesamten Prozesses auf dem Gerät verbleiben.venturebeat+2

Zum Start können Nutzer zwischen einem Qwen-Modell mit 27 Milliarden Parametern oder Perplexitys eigener, nachgeschulter Variante, PPLX 27B, wählen; Nvidias Nemotron 3.5 Lightning soll folgen. Nutzer können auch ihr eigenes Modell und ihren eigenen Inferenzserver einbinden. Lokal abgeschlossene Arbeit verbraucht keine Abrechnungsguthaben, nur in die Cloud geleitete Schritte zählen zur Nutzung.tomsguide

Hardware und Verfügbarkeit

Die Software erfordert Nvidia-Hardware mit mindestens 24 GB VRAM. Sie erscheint zuerst für Linux und unterstützt Nvidia DGX Spark sowie Rechner, die DGX OS oder Ubuntu auf ARM- oder x64-Hardware ausführen. Die Unterstützung für Windows ist für September geplant, während eine Verfügbarkeit für macOS noch nicht angekündigt wurde.zdnet+1

Portable Computer steht Abonnenten von Perplexity Pro, Max, Enterprise Pro und Enterprise Max zur Verfügung. Perplexity entwickelte das Produkt in Zusammenarbeit mit Nvidia ↗ 8.74% und baut dabei auf der DGX Spark-Plattform für Desktop-Supercomputer auf.venturebeat+1

Datenschutz vs. Praktikabilität

Das hybride Routing-Modell versucht, einen Konflikt bei lokaler KI zu lösen: kleinere Modelle auf dem Gerät können einfache Aufgaben wie das Extrahieren von Informationen aus PDFs oder das Ausführen von Shell-Befehlen bewältigen, haben aber Schwierigkeiten mit komplexen Schlussfolgerungen, die große Cloud-Modelle gut beherrschen. Anstatt Nutzer vor die Wahl zwischen Datenschutz und Leistungsfähigkeit zu stellen, erlaubt Portable Computer dem System eine selektive Eskalation, jedoch nur mit Zustimmung des Nutzers.tomsguide

Aufgrund der Hardwareanforderungen richtet sich diese erste Version eher an KI-Enthusiasten, Entwickler und Unternehmen, die bereits über High-End-Nvidia-Systeme verfügen, als an typische Verbraucher. Dennoch, wie Tom's Guide anmerkte, bietet das Produkt "einen Einblick, wie ein privaterer KI-Assistent aussehen könnte, sobald die benötigte Hardware erschwinglicher wird."tomsguide