Perplexity, verileri buluta göndermeyen yerel yapay zeka aracını başlattı

Perplexity, Salı günü tamamen kullanıcının kendi donanımı üzerinde çalışacak şekilde tasarlanan ve verileri yalnızca açık izinle buluta gönderen yapay zeka platformunun yeni bir sürümü olan Portable Computer'ı piyasaya sürdü. Bu ürün, çoğu asistanın tüm sorguları uzak sunucular üzerinden yönlendirdiği bir dönemde, gizlilik odaklı yapay zekaya doğru atılmış bir adımı temsil ediyor.

Nasıl Çalışır

Portable Computer; yerel bir yapay zeka modelini, çıkarım motorunu, aracı araçlarını, uygulama bağlayıcılarını ve korumalı bir kod yürütme ortamını kullanıcının makinesinde çalışan tek bir sistemde paketler. Her görev yerel olarak başlar. Cihaz üzerindeki model, daha gelişmiş bir muhakeme gerektiren bir adımla karşılaşırsa, bu adımı bulut tabanlı bir modele yönlendirmeden önce kullanıcıdan izin ister. Dosyalar ve hassas veriler süreç boyunca cihazda kalabilir.venturebeat+2

Lansman sırasında kullanıcılar, 27 milyar parametreli Qwen modeli veya Perplexity'nin kendi eğitilmiş varyantı olan PPLX 27B arasında seçim yapabilir; Nvidia'nın Nemotron 3.5 Lightning modelinin de yakında eklenmesi bekleniyor. Kullanıcılar ayrıca kendi modellerini ve çıkarım sunucularını da getirebilirler. Yerel olarak tamamlanan işler faturalandırma kredisi tüketmez; yalnızca buluta yönlendirilen adımlar kullanım olarak sayılır.tomsguide

Donanım ve Kullanılabilirlik

Yazılım, en az 24GB VRAM'e sahip Nvidia donanımı gerektirir. İlk olarak Linux'ta piyasaya sürülen ürün, Nvidia DGX Spark'ın yanı sıra DGX OS veya ARM ya da x64 donanım üzerinde Ubuntu çalıştıran makineleri destekler. Windows desteği Eylül ayı için planlanırken, macOS kullanılabilirliği henüz duyurulmadı.zdnet+1

Portable Computer, Perplexity Pro, Max, Enterprise Pro ve Enterprise Max aboneleri için mevcuttur. Perplexity, ürünü DGX Spark masaüstü süper bilgisayar platformunu temel alarak Nvidia ↘ 4.58% ortaklığıyla geliştirdi.venturebeat+1

Gizlilik ve Pratiklik

Hibrit yönlendirme modeli, yerel yapay zekadaki bir gerilimi çözmeye çalışır: cihaz üzerindeki daha küçük modeller, PDF'lerden bilgi çıkarma veya kabuk komutlarını çalıştırma gibi basit görevleri halledebilir, ancak büyük bulut modellerinin iyi başardığı karmaşık muhakeme süreçlerinde zorlanırlar. Kullanıcıyı gizlilik ve yetenek arasında seçim yapmaya zorlamak yerine, Portable Computer sistemin seçici bir şekilde yükseltme yapmasına izin verir, ancak yalnızca kullanıcı onayıyla.tomsguide

Donanım gereksinimleri, bu ilk sürümün tipik tüketicilerden ziyade halihazırda üst düzey Nvidia sistemlerine sahip yapay zeka meraklıları, geliştiriciler ve işletmeler için daha alakalı olduğu anlamına geliyor. Yine de, Tom's Guide'ın belirttiği gibi, ürün "çalıştırmak için gereken donanım daha uygun fiyatlı hale geldiğinde daha gizli bir yapay zeka asistanının neye benzeyebileceğine dair bir fikir veriyor."tomsguide