LZ4, un algoritmo de compresion y descompresión de alta velocidad.

LZ4 es un algoritmo que se centra en la compresión y descompresión de alta velocidad. Tiene una relación de compresión ligeramente menor que el algoritmo LZO, que a su vez es menor que algoritmos gzip.

Sin embargo, las velocidades de compresión son similares a LZO, y varias veces más mayor que otros algoritmos, mientras que la velocidad de descompresión puede ser hasta tres veces mayor que la de LZO.

Actualmente también esta implementado de forma nativa, a partir de la version 3.11, en el kernel Linux. La implementación en BSD del sistema de archivos ZFS admite el algoritmo de compresión sobre la marcha LZ4.

Comparado con el algoritmo de compresión por defecto LZJB usado por ZFS, LZ4 es un 50% más rápido cuando comprime datos comprimibles y como tres veces más rápido cuando intenta comprimir datos no comprimibles.

El rendimiento en datos no comprimibles es una gran mejora, esto viene de una característica de ‘abortó temprano’, si ZFS detecta que los ahorros de compresión es menos del 12.5% entonces la compresión aborta y los bloques se escriben sin compresión (especialmente útil para achivos grandes multimedia que ya estan comprimidos).

Adicionalmente, la descompresión es aproximadamente 80% más rápida; en un CPU moderno LZ4 es capaz de compresión a 500 MB/s y descompresión a 1500 MB/s por núcleo de CPU.

Estos números significan que para algunas cargas de trabajo, la compresión actualmente tendrá un rendimiento aumentado, inclusive con la penalización del uso de CPU, debido a que los datos pueden ser leídos desde los discos a la misma velocidad que los datos no comprimidos sin embargo una vez que estan descomprimidos proporcionan una salida de datos efectiva mucho más alta.

Esto significa también que ahora es posible usar compresión en conjuntos de datos en sistemas de archivos que esten almacenando bases de datos, sin una pesada penalización por latencia.

La descompresión LZ4 a 1.5 GB/s en bloques de 8k significa que la latencia adicional es solo de 5 microsegundos, lo cual es un orden de magnitud más rápido que incluso el más rápido de los discos SSDs disponibles actualmente.

Al final, la ganancia que se obtiene de cambiar a la compresión LZ4 en su conjunto de datos dependerá en como se escriban los datos.

Si te ha gustado el artículo inscribete al feed clicando en la imagen más abajo para tenerte siempre actualizado sobre los nuevos contenidos del blog: