Deploy local agents everywhere with LFM2.5-2.6B
Bild från huggingface.co
Liquid AI presenterar LFM2.5-2.6B, en liten AI-modell (2,6 miljarder parametrar) som är specialiserad för att köra agenter — alltså AI-system som kan använda verktyg och ta flera steg för att lösa uppgifter.
Modellen är tränad att fungera bra på mobiler och datorer utan större hårdvara, och uppnår hastigheter på 220 tokens per sekund på en Apple M5 Max och 113 på en AMD Ryzen-processor, allt på under 2,5 GB minne. Enligt testerna slår den modeller som är fyra gånger större när det gäller att följa instruktioner och använda verktyg, även om större modeller är bättre på kodning. Modellen är tillgänglig direkt och fungerar med populära ramverk som llama.cpp och vLLM.
Reach for LFM2.5-2.6B when you need on-device agents for high-volume workloads.
Sammanfattningen är skriven av Vibekollen utifrån källans egen publicering. Innehållet tillhör Hugging Face.