Perplexity julkaisi paikallisen tekoälyagentin, joka pitää tiedot poissa pilvestä

Perplexity julkaisi tiistaina Portable Computerin, uuden version agenttipohjaisesta tekoälyalustastaan, joka on suunniteltu toimimaan kokonaan käyttäjän omalla laitteistolla ja lähettämään tietoja pilveen vain nimenomaisella luvalla. Tuote edustaa pyrkimystä kohti yksityisyyttä kunnioittavaa tekoälyä aikana, jolloin useimmat avustajat reitittävät kaikki kyselyt etäpalvelimien kautta.

Miten se toimii

Portable Computer pakkaa paikallisen tekoälymallin, päättelymoottorin, agenttityökalut, sovellusliittimet ja eristetyn koodin suoritusympäristön yhdeksi järjestelmäksi, joka toimii käyttäjän koneella. Jokainen tehtävä alkaa paikallisesti. Jos laitteessa oleva malli kohtaa vaiheen, joka vaatii edistyneempää päättelyä, se pyytää käyttäjältä lupaa ennen kyseisen vaiheen reitittämistä pilvipohjaiselle huippumallille. Tiedostot ja arkaluontoiset tiedot voivat pysyä laitteella koko prosessin ajan.venturebeat+2

Julkaisuhetkellä käyttäjät voivat valita 27 miljardin parametrin Qwen-mallin tai Perplexityn oman PPLX 27B -mallin välillä, ja Nvidian Nemotron 3.5 Lightningin odotetaan seuraavan perässä. Käyttäjät voivat myös tuoda oman mallin ja päättelypalvelimen. Paikallisesti suoritettu työ ei kuluta laskutuspisteitä; vain pilveen reititetyt vaiheet lasketaan käytöksi.tomsguide

Laitteisto ja saatavuus

Ohjelmisto vaatii Nvidian laitteiston, jossa on vähintään 24 Gt VRAM-muistia. Se julkaistaan ensin Linuxille, ja se tukee Nvidia DGX Sparkia sekä koneita, joissa on DGX OS tai Ubuntu ARM- tai x64-laitteistolla. Windows-tuki on suunniteltu syyskuulle, kun taas macOS-tuesta ei ole vielä ilmoitettu.zdnet+1

Portable Computer on saatavilla Perplexity Pro-, Max-, Enterprise Pro- ja Enterprise Max -tilaajille. Perplexity kehitti tuotteen yhteistyössä Nvidian ↘ 0.29% kanssa hyödyntäen DGX Spark -pöytätietokonealustaa.venturebeat+1

Yksityisyys vs. käytännöllisyys

Hybridireititysmalli pyrkii ratkaisemaan paikallisen tekoälyn jännitteen: pienemmät laitteessa toimivat mallit hoitavat suoraviivaiset tehtävät, kuten tietojen poimimisen PDF-tiedostoista tai komentorivikomentojen ajamisen, mutta ne kamppailevat monimutkaisen päättelyn kanssa, jonka suuret pilvimallit hoitavat hyvin. Sen sijaan, että käyttäjien pitäisi valita yksityisyyden ja suorituskyvyn välillä, Portable Computer antaa järjestelmän skaalautua valikoivasti, mutta vain käyttäjän hyväksynnällä.tomsguide

Laitteistovaatimukset tarkoittavat, että tämä ensimmäinen julkaisu on merkityksellisin tekoälyharrastajille, kehittäjille ja yrityksille, joilla on jo valmiiksi huippuluokan Nvidia-järjestelmiä, eikä niinkään tavallisille kuluttajille. Kuten Tom's Guide kuitenkin totesi, tuote "tarjoaa välähdyksen siitä, miltä yksityisempi tekoälyavustaja voisi näyttää, kun sen ajamiseen tarvittava laitteisto muuttuu edullisemmaksi".tomsguide