Newsletter Subscribe
Enter your email address below and subscribe to our newsletter

news.futunnmarktechpost+1digg+1Pekin Üniversitesi ve DeepSeek'ten araştırmacılar, 27 Haziran'da, büyük dil modeli çıkarımını canlı üretim sistemlerinde kullanıcı başına yüzde 60 ila 85 oranında hızlandıran açık kaynaklı bir spekülatif kod çözme çerçevesi olan DSpark'ı yayınladı. Bu, Çinli yapay zeka laboratuvarının 7 milyar dolarlık fonlama turundan bu yana gerçekleştirdiği ilk büyük teknik sürüm oldu.marktechpost+2
Spekülatif kod çözme, metin üretimini iki role ayırır: küçük ve hızlı bir taslak model bir dizi token önerir, tam hedef model ise bu grubu tek bir geçişte doğrular ve kabul ettiği tüm token'ları tutar. DSpark, önceki yaklaşımları iki eklemeyle geliştirir. İlk olarak, sıfırdan ayrı bir taslak model eğitmek yerine, hafif bir spekülatif başlığı doğrudan mevcut model kontrol noktasına ekler; bu da temel modelin çıktı kalitesinin değişmediği anlamına gelir. İkinci olarak, bir güven puanlama sistemi her taslak token'a doğrulamayı geçme olasılığı verirken, donanım duyarlı bir zamanlayıcı, mevcut GPU yüküne göre kaç token'ın kontrol edileceğini ayarlar. Trafik hafif olduğunda sistem daha uzun tahmin dizilerini doğrular; trafik yoğun olduğunda ise düşük güvenli token'ları işlem gücü tüketmeden önce atar.digg+3
DeepSeek'in gerçek kullanıcı trafiğini işleyen çevrimiçi üretim ortamında DSpark, DeepSeek'in önceki MTP-1 temel çizgisine kıyasla V4-Flash'ta yüzde 60 ila 85, V4-Pro'da ise yüzde 57 ila 78 daha hızlı tek kullanıcılı üretim sağladı. Belirli gecikme koşulları altında, verim kazanımları Flash'ta yüzde 661'e, Pro'da ise yüzde 406'ya kadar ulaştı. Çevrimdışı kıyaslamalar, kabul edilen token uzunluğunun Eagle3'e göre yüzde 26 ila 31, DFlash'a göre ise yüzde 16 ila 18 arttığını gösterdi.youtube+2
Çerçeve modelden bağımsızdır. DeepSeek, Alibaba'nın Qwen3 ve Google'ın Alphabet Inc. Gemma kontrol noktalarıyla uyumluluğu gösterdi. Ekip, DSpark ile birlikte, spekülatif kod çözme taslaklarını eğitmek ve değerlendirmek için tam yığın bir kod tabanı olan DeepSpec'i de MIT lisansı altında GitHub'da açık kaynak olarak yayınladı.marktechpost+3
Bu sürüm, DeepSeek'in V4 modelini Temmuz ortasında yeni bir yoğun ve yoğun olmayan API fiyatlandırma mekanizmasıyla resmi olarak piyasaya sürmeye hazırlandığı bir dönemde geldi. DSpark, DeepSeek'in çevrimiçi hizmetlerinde halihazırda tamamen konuşlandırılmış durumda ve geçersiz doğrulamalardan kaynaklanan GPU işlem gücü israfını azaltırken, temel modelle aynı çıktı kalitesini koruyor. DeepSeek kurucusu Liang Wenfeng, "DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation" başlıklı eşlik eden makalenin ortak yazarlığını yaptı.pandaily+1