Moved compression/decompression routines to separate file

Samo Penic

2019-10-19 dba66b4f8a25cb7eb18de5f7ffca97e179d7a5d9

Moved compression/decompression routines to separate file

 src/Makefile.am

@@ -14,7 +14,7 @@
#------------- LIBS ----------

lib_LTLIBRARIES= libtrisurf.la
libtrisurf_la_SOURCES= general.c vertex.c bond.c triangle.c cell.c vesicle.c initial_distribution.c io.c frame.c energy.c timestep.c vertexmove.c bondflip.c poly.c stats.c sh.c shcomplex.c constvol.c snapshot.c restore.c cluster.c
libtrisurf_la_SOURCES= general.c vertex.c bond.c triangle.c cell.c vesicle.c initial_distribution.c io.c frame.c energy.c timestep.c vertexmove.c bondflip.c poly.c stats.c sh.c shcomplex.c constvol.c snapshot.c restore.c cluster.c b64zlib_compression.c
#libtrisurf_la_CPPFLAGS = ${libxml2_CFLAGS}
libtrisurf_la_LIBADD=${libxml2_LIBS}
pkginclude_HEADERS=general.h vertex.h bond.h triangle.h cell.h vesicle.h initial_distribution.h io.h frame.h energy.h timestep.h vertexmove.h bondflip.h poly.h stats.h sh.h shcomplex.h constvol.h snapshot.h restore.h cluster.h
pkginclude_HEADERS=general.h vertex.h bond.h triangle.h cell.h vesicle.h initial_distribution.h io.h frame.h energy.h timestep.h vertexmove.h bondflip.h poly.h stats.h sh.h shcomplex.h constvol.h snapshot.h restore.h cluster.h b64zlib_compression.h

 src/b64zlib_compression.c

New file
@@ -0,0 +1,158 @@
#include<stdio.h>
#include<stdlib.h>
#include<general.h>
#include<string.h>
#include<zlib.h>
#include<inttypes.h>
#include<b64zlib_compression.h>


/* zlib compression base64 encoded */
/* compressed must not be pre-malloced */
/* taken from https://gist.github.com/arq5x/5315739 */
/* This function is not to be used in compressing paraview data. See below. */
ts_uint ts_compress_data(char *data, ts_uint data_len, char **compressed){
    z_stream defstream;
    defstream.zalloc = Z_NULL;
    defstream.zfree = Z_NULL;
    defstream.opaque = Z_NULL;
    defstream.avail_in = data_len+1;
    defstream.next_in = (unsigned char *)data;	
    char *compr=(char *)malloc(data_len*sizeof(char));
    defstream.avail_out = data_len+1;
    defstream.next_out = (unsigned char *)compr;
    deflateInit(&defstream, 6);
//    deflateInit(&defstream, Z_BEST_COMPRESSION);
        deflate(&defstream, Z_FINISH);
        deflateEnd(&defstream);
    *compressed=compr;
    return defstream.total_out;
}

ts_uint ts_compress_string64(char *data, ts_uint data_len, char **encoded_compressed){
    size_t nbase;
    char *compr;
    size_t number_of_compressed_bytes=ts_compress_data(data, data_len, &compr);
    *encoded_compressed=base64_encode((unsigned char *)compr,number_of_compressed_bytes,&nbase);
    free(compr);
    return nbase;
}

char *ts_compress(char *data, ts_uint data_len){
    size_t nbase1, nbase2;
    unsigned char *compr=(unsigned char *)malloc(data_len);
    size_t number_of_compressed_bytes=data_len;

    compress(compr,&number_of_compressed_bytes, (unsigned char *)data, data_len);
//    printf("Compressdion error code=%d, Z_OK=%d, Z_BUF_ERROR=%d", errcode, Z_OK, Z_BUF_ERROR);

    char *encoded_compressed=base64_encode((unsigned char *)compr,number_of_compressed_bytes,&nbase1);

    free(compr);

    ts_uint header[4]={1, data_len, data_len, number_of_compressed_bytes};

    char *encoded_header=(char *)base64_encode((unsigned char *)header, 4*sizeof(ts_uint), &nbase2);
    char *return_value=malloc((nbase1+nbase2+1)*sizeof(char));
    strncpy(return_value,encoded_header,nbase2);
    strncpy(return_value+nbase2,encoded_compressed,nbase1);
    *(return_value+nbase1+nbase2)=0;

//    printf("Compressed size in bytes= %ld, size of encoded header= %ld, size of encoded compressed= %ld.\n",number_of_compressed_bytes, nbase2, nbase1);
    free(encoded_compressed);
    free(encoded_header);
    return return_value;
}

ts_uint ts_decompress_string64(char *b64, ts_uint data_len, char **decompressed){
return TS_SUCCESS;

}

/* base64 encoding, taken from http://stackoverflow.com/questions/342409/how-do-i-base64-encode-decode-in-c */
static char encoding_table[] = {'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H',
                                'I', 'J', 'K', 'L', 'M', 'N', 'O', 'P',
                                'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X',
                                'Y', 'Z', 'a', 'b', 'c', 'd', 'e', 'f',
                                'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n',
                                'o', 'p', 'q', 'r', 's', 't', 'u', 'v',
                                'w', 'x', 'y', 'z', '0', '1', '2', '3',
                                '4', '5', '6', '7', '8', '9', '+', '/'};
static char *decoding_table = NULL;
static int mod_table[] = {0, 2, 1};


char *base64_encode(const unsigned char *data, size_t input_length, size_t *output_length) {
    *output_length = 4 * ((input_length + 2) / 3);
    int i,j;
    char *encoded_data = malloc(*output_length);
    if (encoded_data == NULL) return NULL;
	
    for (i = 0, j = 0; i < input_length;) {

           uint32_t octet_a = i < input_length ? (unsigned char)data[i++] : 0;
        uint32_t octet_b = i < input_length ? (unsigned char)data[i++] : 0;
           uint32_t octet_c = i < input_length ? (unsigned char)data[i++] : 0;
        uint32_t triple = (octet_a << 0x10) + (octet_b << 0x08) + octet_c;

           encoded_data[j++] = encoding_table[(triple >> 3 * 6) & 0x3F];
           encoded_data[j++] = encoding_table[(triple >> 2 * 6) & 0x3F];
           encoded_data[j++] = encoding_table[(triple >> 1 * 6) & 0x3F];
           encoded_data[j++] = encoding_table[(triple >> 0 * 6) & 0x3F];
    }

    for (i = 0; i < mod_table[input_length % 3]; i++)
           encoded_data[*output_length - 1 - i] = '=';

    return encoded_data;
}


unsigned char *base64_decode(const char *data, size_t input_length, size_t *output_length) {
    int i,j;
    if (decoding_table == NULL) build_decoding_table();

    if (input_length % 4 != 0) return NULL;

    *output_length = input_length / 4 * 3;
    if (data[input_length - 1] == '=') (*output_length)--;
    if (data[input_length - 2] == '=') (*output_length)--;

    unsigned char *decoded_data = malloc(*output_length);
    if (decoded_data == NULL) return NULL;

    for (i = 0, j = 0; i < input_length;) {
           uint32_t sextet_a = data[i] == '=' ? 0 & i++ : decoding_table[(int)data[i++]];
           uint32_t sextet_b = data[i] == '=' ? 0 & i++ : decoding_table[(int)data[i++]];
           uint32_t sextet_c = data[i] == '=' ? 0 & i++ : decoding_table[(int)data[i++]];
           uint32_t sextet_d = data[i] == '=' ? 0 & i++ : decoding_table[(int)data[i++]];

           uint32_t triple = (sextet_a << 3 * 6)
            + (sextet_b << 2 * 6)
            + (sextet_c << 1 * 6)
            + (sextet_d << 0 * 6);

           if (j < *output_length) decoded_data[j++] = (triple >> 2 * 8) & 0xFF;
           if (j < *output_length) decoded_data[j++] = (triple >> 1 * 8) & 0xFF;
           if (j < *output_length) decoded_data[j++] = (triple >> 0 * 8) & 0xFF;
    }
    if(decoding_table !=NULL) free(decoding_table);
    return decoded_data;
}


void build_decoding_table() {

    decoding_table = malloc(256);
    int i;
    for (i = 0; i < 64; i++)
        decoding_table[(unsigned char) encoding_table[i]] = i;
}


void base64_cleanup() {
    free(decoding_table);
}




 src/io.c

@@ -17,7 +17,7 @@
#include <dirent.h>
#include <errno.h>
#include <snapshot.h>

#include <b64zlib_compression.h>

ts_bool parse_args(int argc, char **argv){
    int c, retval;

 src/snapshot.c

@@ -11,6 +11,7 @@
#include <time.h>
#include <string.h>
#include "io.h"
#include <b64zlib_compression.h>
/* a helper function that utilizes ts_string data structure and performs same as sprintf */
ts_uint ts_sprintf(ts_string *str, char *fmt, ...){
    va_list ap;
@@ -139,159 +140,4 @@

    return TS_SUCCESS;
}


/* UTILITIES */

/* zlib compression base64 encoded */
/* compressed must not be pre-malloced */
/* taken from https://gist.github.com/arq5x/5315739 */
ts_uint ts_compress_data(char *data, ts_uint data_len, char **compressed){
    z_stream defstream;
    defstream.zalloc = Z_NULL;
    defstream.zfree = Z_NULL;
    defstream.opaque = Z_NULL;
    defstream.avail_in = data_len+1;
    defstream.next_in = (unsigned char *)data;	
    char *compr=(char *)malloc(data_len*sizeof(char));
    defstream.avail_out = data_len+1;
    defstream.next_out = (unsigned char *)compr;
    deflateInit(&defstream, 6);
//    deflateInit(&defstream, Z_BEST_COMPRESSION);
        deflate(&defstream, Z_FINISH);
        deflateEnd(&defstream);
    *compressed=compr;
    return defstream.total_out;
}

ts_uint ts_compress_string64(char *data, ts_uint data_len, char **encoded_compressed){
    size_t nbase;
    char *compr;
    size_t number_of_compressed_bytes=ts_compress_data(data, data_len, &compr);
    *encoded_compressed=base64_encode((unsigned char *)compr,number_of_compressed_bytes,&nbase);
    free(compr);
    return nbase;
}

char *ts_compress(char *data, ts_uint data_len){
    size_t nbase1, nbase2;
    unsigned char *compr=(unsigned char *)malloc(data_len);
    size_t number_of_compressed_bytes=data_len;

    compress(compr,&number_of_compressed_bytes, (unsigned char *)data, data_len);
//    printf("Compressdion error code=%d, Z_OK=%d, Z_BUF_ERROR=%d", errcode, Z_OK, Z_BUF_ERROR);

    char *encoded_compressed=base64_encode((unsigned char *)compr,number_of_compressed_bytes,&nbase1);

    free(compr);

    ts_uint header[4]={1, data_len, data_len, number_of_compressed_bytes};

    char *encoded_header=(char *)base64_encode((unsigned char *)header, 4*sizeof(ts_uint), &nbase2);
    char *return_value=malloc((nbase1+nbase2+1)*sizeof(char));
    strncpy(return_value,encoded_header,nbase2);
    strncpy(return_value+nbase2,encoded_compressed,nbase1);
    *(return_value+nbase1+nbase2)=0;

//    printf("Compressed size in bytes= %ld, size of encoded header= %ld, size of encoded compressed= %ld.\n",number_of_compressed_bytes, nbase2, nbase1);
    free(encoded_compressed);
    free(encoded_header);
    return return_value;
}

ts_uint ts_decompress_string64(char *b64, ts_uint data_len, char **decompressed){
return TS_SUCCESS;

}

/* base64 encoding, taken from http://stackoverflow.com/questions/342409/how-do-i-base64-encode-decode-in-c */
static char encoding_table[] = {'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H',
                                'I', 'J', 'K', 'L', 'M', 'N', 'O', 'P',
                                'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X',
                                'Y', 'Z', 'a', 'b', 'c', 'd', 'e', 'f',
                                'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n',
                                'o', 'p', 'q', 'r', 's', 't', 'u', 'v',
                                'w', 'x', 'y', 'z', '0', '1', '2', '3',
                                '4', '5', '6', '7', '8', '9', '+', '/'};
static char *decoding_table = NULL;
static int mod_table[] = {0, 2, 1};


char *base64_encode(const unsigned char *data, size_t input_length, size_t *output_length) {
    *output_length = 4 * ((input_length + 2) / 3);
    int i,j;
    char *encoded_data = malloc(*output_length);
    if (encoded_data == NULL) return NULL;
	
    for (i = 0, j = 0; i < input_length;) {

           uint32_t octet_a = i < input_length ? (unsigned char)data[i++] : 0;
        uint32_t octet_b = i < input_length ? (unsigned char)data[i++] : 0;
           uint32_t octet_c = i < input_length ? (unsigned char)data[i++] : 0;
        uint32_t triple = (octet_a << 0x10) + (octet_b << 0x08) + octet_c;

           encoded_data[j++] = encoding_table[(triple >> 3 * 6) & 0x3F];
           encoded_data[j++] = encoding_table[(triple >> 2 * 6) & 0x3F];
           encoded_data[j++] = encoding_table[(triple >> 1 * 6) & 0x3F];
           encoded_data[j++] = encoding_table[(triple >> 0 * 6) & 0x3F];
    }

    for (i = 0; i < mod_table[input_length % 3]; i++)
           encoded_data[*output_length - 1 - i] = '=';

    return encoded_data;
}


unsigned char *base64_decode(const char *data, size_t input_length, size_t *output_length) {
    int i,j;
    if (decoding_table == NULL) build_decoding_table();

    if (input_length % 4 != 0) return NULL;

    *output_length = input_length / 4 * 3;
    if (data[input_length - 1] == '=') (*output_length)--;
    if (data[input_length - 2] == '=') (*output_length)--;

    unsigned char *decoded_data = malloc(*output_length);
    if (decoded_data == NULL) return NULL;

    for (i = 0, j = 0; i < input_length;) {
           uint32_t sextet_a = data[i] == '=' ? 0 & i++ : decoding_table[(int)data[i++]];
           uint32_t sextet_b = data[i] == '=' ? 0 & i++ : decoding_table[(int)data[i++]];
           uint32_t sextet_c = data[i] == '=' ? 0 & i++ : decoding_table[(int)data[i++]];
           uint32_t sextet_d = data[i] == '=' ? 0 & i++ : decoding_table[(int)data[i++]];

           uint32_t triple = (sextet_a << 3 * 6)
            + (sextet_b << 2 * 6)
            + (sextet_c << 1 * 6)
            + (sextet_d << 0 * 6);

           if (j < *output_length) decoded_data[j++] = (triple >> 2 * 8) & 0xFF;
           if (j < *output_length) decoded_data[j++] = (triple >> 1 * 8) & 0xFF;
           if (j < *output_length) decoded_data[j++] = (triple >> 0 * 8) & 0xFF;
    }
    if(decoding_table !=NULL) free(decoding_table);
    return decoded_data;
}


void build_decoding_table() {

    decoding_table = malloc(256);
    int i;
    for (i = 0; i < 64; i++)
        decoding_table[(unsigned char) encoding_table[i]] = i;
}


void base64_cleanup() {
    free(decoding_table);
}








 src/snapshot.h

@@ -1,16 +1,11 @@
/* vim: set ts=4 sts=4 sw=4 noet : */
#ifndef _H_SNAPSHOT
#define _H_SNAPSHOT



typedef struct{
    char *string;
    ts_uint beg;
} ts_string;

//#define COMPRESSION

ts_bool xml_trisurf_data(FILE *fh, ts_vesicle *vesicle);
ts_bool xml_trisurf_header(FILE *fh, ts_vesicle *vesicle);
ts_bool xml_trisurf_footer(FILE *fh);
@@ -20,11 +15,4 @@
ts_bool xml_trisurf_vtx_tristar(ts_string *data, ts_vertex_list *vlist);
ts_bool xml_trisurf_nucleus(ts_string *data, ts_vesicle* vesicle);
ts_bool xml_trisurf_constvolarea(ts_string *data, ts_double volume, ts_double area);
/* UTILITIES */
char *base64_encode(const unsigned char *data, size_t input_length, size_t *output_length);
unsigned char *base64_decode(const char *data, size_t input_length, size_t *output_length);
void build_decoding_table();
void base64_cleanup();
ts_uint ts_compress_string64(char *data, ts_uint data_len, char **compressed);
char *ts_compress(char *data, ts_uint data_len);
#endif