Same Cluster, 33 Points More Utilization: What Changed Was the Order
Bild från huggingface.co
Hugging Face-teamet byggde en smart GPU-fördelningssystem som ordnar vilka jobb som får använda grafikkortet — och i vilken ordning.
Istället för att bara fylla upp efter ankomstordning, ser systemet till att viktiga jobb prioriteras och att resurser som är reserverade för trafiktoppar kan användas under lågtrafik. I tester på samma hårdvara med samma arbetsbelastning ökade GPU-användningen med upp till 33 procentenheter och värdet av genomförda jobb steg i genomsnitt 52 procent — bara för att man ändrade ordningen på besluten.
On identical hardware, running identical workloads, GPU utilization rose by as much as 33 percentage points, and priority-weighted output rose in every one of them, by as much as 105%. Nothing about the hardware changed. What changed was the order in which allocation decisions get made.
Läs hela hos Hugging Face →
Sammanfattningen är skriven av Vibekollen utifrån källans egen publicering. Innehållet tillhör Hugging Face.