Google-ը բաց կոդով թողարկել է TPU Raiden գրադարանը Nvidia-ի հետ մրցակցելու համար

16 աղբյուր
x.com
  • Google-ը GitHub-ում Apache-2.0 լիցենզիայով թողարկել է TPU Raiden-ը, որը տրամադրում է KV-քեշի փոխանցման գործիքներ իր հատուկ չիպերի վրա ապակենտրոնացված ԱԻ արտածման (inference) համար:
  • Գրադարանը կրկնօրինակում է Nvidia-ի NIXL-ը, որն արդեն ինտեգրված է vLLM-ի նման հիմնական սպասարկման համակարգերում՝ ազդարարելով Nvidia-ի բաց էկոհամակարգին հավասարվելու Google-ի ձգտման մասին:
  • Google-ի TPU հաճախորդների բազան այժմ ներառում է Anthropic և OpenAI ընկերությունները, որոնցից երկուսին էլ անհրաժեշտ են հասուն բաց գործիքներ՝ արտադրական ծավալներով արտածման աշխատանքները մասշտաբավորելու համար:
Աղբյուրներ (16)
  1. 1 Google Has Open-Sourced Its TPU Raiden Inference Library In Apparent Bid To Externalize TPU Stack officechai.com
  2. 2 Google has open-sourced their TPU Raiden inference optimization ... x.com
  3. 3 SemiAnalysis' Post www.linkedin.com
  4. 4 NVIDIA öffnet cuFile: Open-Source-Storage für KI-GPUs www.igorslab.de
  5. 5 SemiAnalysis: Why Google TPU Beats Nvidia & The End of ... www.youtube.com
  6. 6 Our eighth generation TPUs: two chips for the agentic era blog.google
  7. 7 Google TPUv7: The 900lb Gorilla In the Room newsletter.semianalysis.com
  8. 8 UCSBarchlab/OpenTPU: A open source reimplementation ... - GitHub github.com
  9. 9 An Efficient KV Cache Layer for Enterprise-Scale LLM ... arxiv.org
  10. 10 Accelerator & HBM Model: AI Chip Shipments & Supply Data semianalysis.com
  11. 11 Google Guide to Running Ray on TPU Simplifies AI Infrastructure www.linkedin.com
  12. 12 KV Cache Offload Accelerates LLM Inference www.naddod.com
  13. 13 SemiAnalysis Research Report: Google TPUv7 www.moomoo.com
  14. 14 Google TPU v5p and AI Hypercomputer: New Era in AI Processing futurumgroup.com
  15. 15 Cache strategies huggingface.co
  16. 16 SemiAnalysis Provides In-Depth Analysis of TPU— ... news.futunn.com
Պիտակներ
Share

Related Posts