llamafile, az új Mozilla projekt, amely lehetővé teszi az LLM terjesztését és futtatását egyetlen fájlban

flamefile

llamafile logó

A Mozilla egy blogbejegyzésen keresztül jelentette be, hogy az lfordítóprogram kiadása, amelynek van mint A cél több nagy nyelvi modell használatának drámai egyszerűsítése. (LLM) szinte minden asztalon vagy szerveren.

Az új Mozilla projekt „llamafile” néven nyílt forráskódú fordítóprogram amely képes egy GGUF formátumú gépi tanulási modell paraméterfájlt készíteni, és végrehajtható fájllá alakítani, amely hat különböző operációs rendszeren futhat AMD64 és ARM64 hardveren.

És nem hagynak hazudni, hanem a A helyi használatra szánt nagy nyelvi modelleket (LLM) általában különféle készletekben terjesztik, amelyek mindegyikének súlya általában több gigabájt. Ezek a fájlok önmagukban közvetlenül nem használhatók, ami bonyolítja a terjesztését és végrehajtását más típusú szoftverekhez képest. Ezenkívül előfordulhat, hogy egy adott modell módosításokon és kiigazításokon ment keresztül, amelyek eltérő eredményekhez vezettek a különböző verziók használatakor.

A Mozilla felismerte ezt, lépéseket tett az ügyben, és megbirkózott ezzel a kihívással, A Mozilla innovációs csoportja elindította a "llamafile"-t. amely, mint fentebb említettük, egy olyan fordító, amely az LLM-et egyetlen bináris fájllá alakítja, amely hat különböző operációs rendszeren (macOS, Windows, Linux, FreeBSD, OpenBSD és NetBSD) képes futni további telepítés nélkül. Ez a megoldás nagyban megkönnyíti az LLM terjesztését és végrehajtását, miközben biztosítja az LLM egy adott verziójának konzisztenciáját és reprodukálhatóságát az idő múlásával.

A llamafile fordítóról megemlítik, hogy két projekt egyesítésével jött létre: a llama.cpp (nyílt forráskódú LLM chatbot keretrendszer) és a Cosmopolitan Libc (nyílt forráskódú projekt, amely lehetővé teszi C programok fordítását és futtatását számos platformon és architektúrán). A megvalósítás során a Mozilla megemlíti, hogy érdekes kihívásokkal kellett szembenéznie, és jelentősen ki kellett bővítenie a Cosmopolitan hatókörét a kitűzött célok eléréséhez.

Célunk, hogy a nagy nyílt forráskódú nyelvi modelleket sokkal elérhetőbbé tegyük mind a fejlesztők, mind a végfelhasználók számára. Ezt úgy érjük el, hogy a llama.cpp-t a Cosmopolitan Libc-vel kombináljuk egy olyan keretrendszerré, amely az LLM-ek összes összetettségét egyetlen végrehajtható fájlba (úgynevezett „llamafile”) bontja össze, amely a legtöbb számítógépen helyben, telepítés nélkül fut.

Azt emlegetik A llamafile egyik fő célja az volt, hogy több CPU mikroarchitektúrán tudjon futni. Itt jön be a llama.cpp, amely lehetővé teszi az új Intel rendszereknek a modern processzorok funkcióinak használatát anélkül, hogy feláldoznák a régebbi számítógépek támogatását, míg az AMD64 és ARM64 esetében ezeket a megfelelő verziót elindító shell script segítségével kapcsolják össze. A fájlformátum kompatibilis a WIN32-vel és a legtöbb UNIX rendszerhéjjal.

Egy másik kihívás, amellyel foglalkoztak, az LLM-fájlok súlyának kérdése volt., amely integrálható a llamafile-be, köszönhetően a PKZIP támogatásának a GGML könyvtárban. Ez lehetővé teszi a tömörítetlen súlyok közvetlenül a memóriába, önkicsomagoló fájlként történő leképezését, valamint lehetővé teszi, hogy az online terjesztett kvantált súlyokat a szoftver.cpp nevű kompatibilis verziója előtagolja, így biztosítva, hogy az eredetileg megfigyelt viselkedések korlátlan ideig reprodukálhatók legyenek.

Tegyük fel, hogy van egy LLM-súlykészlete egy 4 GB-os fájl formájában (az általánosan használt GGUF formátumban). A llamafile segítségével ezt a 4 GB-os fájlt bináris fájllá alakíthatja, amely telepítés nélkül hat operációs rendszeren fut.

Végül meg kell említeni, hogy A Mozilla elindította a projektet «llamafile» C/C++ nyelven íródott és Apache licenc alatt terjeszthető, ami kevesebb korlátozást jelent a felhasználási módok és az erőforrások elérhetősége tekintetében, mint a GPL-hez hasonló licencekhez képest.

Ami szeretne többet megtudni róla a projektet, vagy már használni szeretné, a részleteket és/vagy a használati útmutatót a címen tekintheti meg a következő link.


Hagyja megjegyzését

E-mail címed nem kerül nyilvánosságra. Kötelező mezők vannak jelölve *

*

*

  1. Az adatokért felelős: AB Internet Networks 2008 SL
  2. Az adatok célja: A SPAM ellenőrzése, a megjegyzések kezelése.
  3. Legitimáció: Az Ön beleegyezése
  4. Az adatok közlése: Az adatokat csak jogi kötelezettség alapján továbbítjuk harmadik felekkel.
  5. Adattárolás: Az Occentus Networks (EU) által üzemeltetett adatbázis
  6. Jogok: Bármikor korlátozhatja, helyreállíthatja és törölheti adatait.