Az egyik legnagyobb algoritmikus kereskedőcég, az XTX Markets, amely naponta mintegy 250 milliárd dollárnyi kereskedési volument kezel és több mint 650 petabájtnyi tárolókapacitásra támaszkodik előrejelzéseihez és algoritmikus kereskedési adataihoz, most nyílt forráskódúvá tette saját fejlesztésű fájlrendszerét. A TernFS névre keresztelt elosztott fájlrendszer a vállalat hatalmas adattárolási igényeihez készült, miután a hagyományos NFS és más fájlrendszer-megoldások már nem tudtak megfelelni az elvárásoknak.

Mi az a TernFS és miért született meg?

A TernFS egy Linux-alapú elosztott fájlrendszer (distributed file-system), amelyet kifejezetten nagy, változatlan fájlok (immutable files) kezelésére optimalizáltak. A „változatlan” kifejezés ebben az esetben azt jelenti, hogy a fájlokat jellemzően nem módosítják létrehozásuk után, hanem csak olvassák vagy törlik őket. A „nagy” pedig azt jelzi, hogy a TernFS-t több megabájtos fájlmérettől felfelé tervezték.

A rendszer célja az XTX adatközpontjainak kiszolgálása, amelyekben a tervezett kapacitás akár 10 exabájt logikai fájlméret, körülbelül egybillió fájl, 100 milliárd könyvtár, valamint egymillió kliens kiszolgálása. Mindez szabványos hardveren és Ethernet-hálózaton működik, vagyis nem igényel drága, speciális infrastruktúrát.

Főbb jellemzők és előnyök

A TernFS kialakításánál a megbízhatóság és skálázhatóság volt a legfontosabb szempont. A fájlrendszer képes:

• több földrajzi régióban egyszerre futni,
• redundánsan tárolni az adatokat a meghibásodások elleni védelem érdekében,
• elkerülni a metaadat-kezelésben a központi hibapontot (single point of failure),
• támogatni a gépi tanulás és algoritmikus kereskedés extrém adatigényeit.

Az XTX beszámolója szerint a TernFS több mint három éve van fejlesztés alatt, és több mint egy éve az összes gépi tanulási folyamatukat ezen futtatják. A cég kiemelte, hogy „mind a mai napig nem vesztettek el egyetlen bájtnyi adatot sem” a rendszerben.

Nyílt forráskód és licencek

A TernFS immár bárki számára elérhető nyílt forráskódú projektként. A forráskód GPLv2+ és Apache 2.0 licencek alatt használható, így mind a közösségi, mind a vállalati felhasználók számára rugalmas lehetőséget biztosít.

Az érdeklődők részletes információkat találhatnak az XTX Markets blogján, valamint hozzáférhetnek a fájlrendszer forráskódjához a GitHub-on.

Miért fontos a TernFS a Linux közösség számára?

A TernFS nemcsak az algoritmikus kereskedés világában lehet mérföldkő, hanem szélesebb körben is, hiszen a nagy, változatlan fájlok kezelése más területeken – például big data elemzés, tudományos kutatás, felhőszolgáltatások – is kulcsfontosságú.

Az, hogy egy pénzügyi óriás a Linux ökoszisztémára építve és azt bővítve fejlesztett ki egy ilyen méretezhető fájlrendszert, jól mutatja a nyílt forráskód erejét, valamint a közösségi együttműködés lehetőségét a legnagyobb iparági szereplők bevonásával.