HDF5 е библиотека и формат за съхранение и достъп до структурирани и типизирани данни. Тази библиотека намира приложение в софтуерните продукти за анализи на големи масиви данни - от астрономия и метеорология до банково дело и медицина. HDF5 библиотеката, която е включена в пакетната колеция на CentOS 7 и 8, не е изградена с помощта на някои важни оптимизации. SZIP е библиотека за компресиране без загуба на структурирани и типизирани данни, чието най-важно приложение е да осигурява компресиране на съдържанието в HDF5 контейнери. Целта на този документ е да предложи рецепта за изграждане на серийна версия на HDF5 библиотеката, която поддържа компресия с използване на SZIP и е оптимизирана за скорост на изпълнение, чрез компилаторите от пакета Intel Compilers и/или PGI Compilers.
ВНИМАНИЕ! Използването на SZIP за кодиране (компресиране), включително и използването на библиотеката HDF5 с компилирана с SZIP поддържка, е обект на лицензиране. Образователните и научни организации могат да използват SZIP библиотеката свободно, без да подлежат на лицензиране, както за компресиране така и декомпресиране. Във всеки друг случай (и особено при разпространение на библиотеката като част от пакет на комерсиален софтуерен продукт) за използване на компресиращата част от библиотеката се заплащат лицензни права.
Ако желаете да научите как да изградите серийна версия на HDF5 библиотеката, без поддръжка на SZIP, прочетете документа "Компилиране, инсталиране и използване на серийна версия на HDF5 под CentOS 7 и 8".
Ако желаете да научите как да изградите MPI версия на HDF5 библиотеката, с поддръжка на SZIP, прочетете документа "Компилиране, инсталиране и използване на MPI версия на HDF5 с поддръжка на SZIP под CentOS 7 и 8".
Ако желаете да научите как да изградите MPI версия на HDF5 библиотеката, без поддръжка на SZIP, прочетете документа "Компилиране, инсталиране и използване на MPI версия на HDF5 под CentOS 7 и 8".
Преди да започнете, убедете се, че имате на разположение библиотеката SZIP, компилирана и инсталирана съгласно инструкциите в документа "Компилиране, инсталиране и използване на SZIP под CentOS 7 и 8". Трябва да имате и достъп до изпълнимите файлове на компилаторите, включени в Intel Compilers и/или PGI Compilers (в зависимост от това кой пакет компилатори ще използвате). В случая на Intel Compilers това са icc, icpc и ifort, а при използване на PGI Compilers това са pgcc, pgc++ и pgfortran. Също така, в системата следва да са инсталирани пакетите cmake (виж бележката относно версията на cmake по-долу), zlib-devel, java-11-openjdk, java-11-openjdk-devel и java-11-openjdk-headless:
ВНИМАНИЕ! HDF5 изисква версия на CMake по-висока от 3.15. Следвайте инструкциите в документа "Компилиране и инсталиране на последна актуална версия на CMake под CentOS 7 и 8", ако искате да компилирате последната актуална версия на CMake в случай, че тя не е на разположение!
Изтеглете архива с изходния код на HDF5 библиотеката от страницата на проекта (изберете tar.bz2 или tar.gz формат на архива):
https://www.hdfgroup.org/downloads/hdf5/source-code/
В примерите по-долу се предполага, че е изтеглен файла с архива hdf5-1.10.5.tar.bz2 (по времето, по което вие изпълнявате тези инструкции, е възмжно версията да бъде по-висока от 1.10.5). Създайте директория, в която да извършите компилирането:
$ mkdir ~/build
Разпакетирайте в нея файла с архива:
$ tar xvf hdf5-1.10.5.tar.bz2 -C ~/build
влезте в новосъздадената при разпакетирането директория:
$ cd ~/build/hdf5-1.10.5
там създайте поддиректорията build и влезте в нея:
$ mkdir build
$ cd build
Там стартирайте конфигурирането на компилационния процес чрез cmake3 по начина показан по-долу (отбележете, че директорията, в която ще бъде инсталиран готовия код е стойността на -DCMAKE_INSTALL_PREFIX - може да я смените по ваш избор с друга):
-
ако компилирането се извършва с Intel Compilers:
Първо заредете всички променливи на средата, чрез които се задават пътищата до компилаторите и библиотеките:
$ source /usr/unite/intel/compilers_and_libraries/linux/bin/compilervars.sh intel64
и след това стартирайте конфигурирането:
$ PATH=/usr/unite/cmake-3.16.5-gnu/bin:$PATH JAVA=/usr/lib/jvm/jre-11/bin/java JAVA_HOME=/usr/lib/jvm/jre-11 FC=ifort FCFLAGS="-xHost" CC=icc CFLAGS="-xHost" CXX=icpc CXXFLAGS="-xHost" cmake3 .. -DCMAKE_INSTALL_PREFIX=/usr/unite/hdf5-1.10.5-icc-szip -DHDF5_ENABLE_Z_LIB_SUPPORT=ON -DHDF5_ENABLE_SZIP_SUPPORT=ON -DHDF5_ENABLE_THREADSAFE=OFF -DHDF5_BUILD_CPP_LIB=ON -DHDF5_BUILD_FORTRAN=ON -DHDF5_BUILD_HL_LIB=ON -DSZIP_INCLUDE_DIR=/usr/unite/szip-2.1.1-icc/include -DSZIP_LIBRARY=/usr/unite/szip-2.1.1-icc/lib/libsz.so -DZLIB_DIR=/usr -DSZIP_DIR=/usr/unite/szip-2.1.1-icc -DHDF5_BUILD_JAVA=ON
-
ако компилирането се извършва с PGI Compilers:
$ PATH=/usr/unite/cmake-3.16.5-gnu/bin:/usr/unite/pgi/linux86-64/2019/bin:/usr/unite/pgi/linux86-64/2019/mpi/openmpi-3.1.3/bin:$PATH JAVA=/usr/lib/jvm/jre-11/bin/java JAVA_HOME=/usr/lib/jvm/jre-11 FC=pgfortran FCFLAGS="-fast" CC=pgcc CFLAGS="-fast" CXX=pgc++ CXXFLAGS="-fast" cmake3 .. -DCMAKE_INSTALL_PREFIX=/usr/unite/hdf5-1.10.5-pgi-szip -DHDF5_ENABLE_Z_LIB_SUPPORT=ON -DHDF5_ENABLE_SZIP_SUPPORT=ON -DHDF5_ENABLE_THREADSAFE=OFF -DHDF5_BUILD_CPP_LIB=ON -DHDF5_BUILD_FORTRAN=ON -DHDF5_BUILD_HL_LIB=ON -DSZIP_INCLUDE_DIR=/usr/unite/szip-2.1.1-pgi/include -DSZIP_LIBRARY=/usr/unite/szip-2.1.1-pgi/lib/libsz.so -DZLIB_DIR=/usr -DSZIP_DIR=/usr/unite/szip-2.1.1-pgi -DHDF5_BUILD_JAVA=ON
След като процеса по конфигураця приключи успешно и отворите файла H5pubconf.h (той ще бъде създаден след успешното изпълнение на горния команден ред, който извършва конфигурацията, описанието на която е поставен в този файл), в него задължително трябва да фигурира реда:
#define H5_HAVE_FILTER_SZIP 1
Ако стойността след H5_HAVE_FILTER_SZIP не е 1, то конфигурацията не е успешна (или библиотеката SZIP не е намерена, или използването ѝ не е зададено) и е безпредметно да продължавате с компилацията, преди да установите какво е причинило проблема и да го отстраните.
След като всичко дотук е протекло успешно, може да пристъпите към компилирането на кода:
-
ако компилирането се извършва с Intel Compilers (трябва да сте задали пътищата до Intel компилаторите, както е показано при конфигирурането по-горе):
$ LD_LIBRARY_PATH=/usr/unite/szip-2.1.1-icc/lib:$LD_LIBRARY_PATH make -j6
-
ако компилирането се извършва с PGI Compilers (не е нужно за задавате предварително пътищата до компилаторите):
$ PATH=/usr/unite/pgi/linux86-64/2019/bin:$PATH LD_LIBRARY_PATH=/usr/unite/szip-2.1.1-pgi/lib:$LD_LIBRARY_PATH make -j6
След успешното завършване на компилацията, пристъпете към тестовете на получения продукт (те са начин за проверка дали компилираната HDF5 библиотека е компилирана правилно и функционалността ѝ отговаря на очакванията):
-
ако компилирането се извършва с Intel Compilers (трябва да сте задали пътищата до Intel компилаторите, както е показано при конфигирурането по-горе):
$ LD_LIBRARY_PATH=/usr/unite/szip-2.1.1-pgi/lib:$LD_LIBRARY_PATH make test
-
ако компилирането се извършва с PGI Compilers (не е нужно за задавате предварително пътищата до компилаторите)::
$ PATH=/usr/unite/pgi/linux86-64/2019/bin:$PATH LD_LIBRARY_PATH=/usr/unite/szip-2.1.1-pgi/lib:$LD_LIBRARY_PATH make test
Поради разминаване на изхода от изпълнението на тестовите програми и регулярните изрази за прихващане на резултата от тестовия скрипт, тестът с име "H5REPACK-testh5repack_detect_szip" може да бъде показан като неуспешен (ако само този тест е провален при използване на Intel Compilers):
The following tests FAILED:
930 - H5REPACK-testh5repack_detect_szip (Failed)
В случай на компилиране с PGI Compilers, освен горния и следните два теста могат да бъдат маркирани като провалени:
The following tests FAILED:
66 - H5TEST-swmr (Failed)
122 - H5TEST-shared-swmr (Failed)
За SWMR организацията на достъпа до контейнерите с данни, може да прочетете на страницата на проекта HDF5. На практика обаче, проблем няма (тестовете се провалят поради проблеми с детектирането на някои от използваните флагове за стаертиране на PGI компилаторите - това следва да се вземе предвид при компилиране на код, който е зависим от HDF5, чрез PGI Compilers, където да се направи пак реален предварителен тест - да се използват правилните флагове).
Ако само посочените по-горе тестове са маркирани като провалени, пристъпете към инсталирането:
$ make install
След успешно извършване на инсталацията, може да изведете списък с библиотеките, към които е динамично свързана библиотеката libhdf5.so. Това става по следния начин:
-
ако компилирането се извършва с Intel Compilers:
$ LD_LIBRARY_PATH=/usr/unite/szip-2.1.1-icc/lib:$LD_LIBRARY_PATH ldd /usr/unite/hdf5-1.10.5-icc-szip/lib/libhdf5.so
Трябва да получите изход, който е подобен на:
linux-vdso.so.1 (0x00007ffccab83000)
libm.so.6 => /lib64/libm.so.6 (0x00007fed10a8c000)
libdl.so.2 => /lib64/libdl.so.2 (0x00007fed10888000)
libz.so.1 => /lib64/libz.so.1 (0x00007fed10671000)
libszip-shared.so.2.1 => /usr/unite/szip-2.1.1-icc/lib/libszip-shared.so.2.1 (0x00007fed10450000)
libimf.so => /usr/unite/hdf5-1.10.5-icc-szip/lib/../lib/libimf.so (0x00007fed0feb0000)
libsvml.so => /usr/unite/hdf5-1.10.5-icc-szip/lib/../lib/libsvml.so (0x00007fed0e50d000)
libirng.so => /usr/unite/hdf5-1.10.5-icc-szip/lib/../lib/libirng.so (0x00007fed0e19b000)
libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00007fed0df83000)
libintlc.so.5 => /usr/unite/hdf5-1.10.5-icc-szip/lib/../lib/libintlc.so.5 (0x00007fed0dd11000)
libc.so.6 => /lib64/libc.so.6 (0x00007fed0d94d000)
/lib64/ld-linux-x86-64.so.2 (0x00007fed11454000)
-
ако компилирането се извършва с PGI Compilers:
$ LD_LIBRARY_PATH=/usr/unite/szip-2.1.1-pgi/lib:$LD_LIBRARY_PATH ldd /usr/unite/hdf5-1.10.5-pgi-szip/lib/libhdf5.so
Трябва да получите изход, който е подобен на:
linux-vdso.so.1 (0x00007fff13eaf000)
libm.so.6 => /usr/lib/gcc/x86_64-redhat-linux/8/../../../../lib64/libm.so.6 (0x00007fd95d996000)
libdl.so.2 => /usr/lib/gcc/x86_64-redhat-linux/8/../../../../lib64/libdl.so.2 (0x00007fd95d792000)
libz.so.1 => /usr/lib/gcc/x86_64-redhat-linux/8/../../../../lib64/libz.so.1 (0x00007fd95d57b000)
libszip-shared.so.2.1 => /usr/unite/szip-2.1.1-pgi/lib/libszip-shared.so.2.1 (0x00007fd95d360000)
libpgatm.so => /usr/unite/pgi/linux86-64-llvm/19.10/lib/libpgatm.so (0x00007fd95d157000)
libpgkomp.so => /usr/unite/pgi/linux86-64-llvm/19.10/lib/libpgkomp.so (0x00007fd95cf54000)
libomp.so => /usr/unite/pgi/linux86-64-llvm/19.10/lib/libomp.so (0x00007fd95cc83000)
libpthread.so.0 => /usr/lib/gcc/x86_64-redhat-linux/8/../../../../lib64/libpthread.so.0 (0x00007fd95ca63000)
libpgmath.so => /usr/unite/pgi/linux86-64-llvm/19.10/lib/libpgmath.so (0x00007fd95c64e000)
libpgc.so => /usr/unite/pgi/linux86-64-llvm/19.10/lib/libpgc.so (0x00007fd95c2f5000)
libc.so.6 => /usr/lib/gcc/x86_64-redhat-linux/8/../../../../lib64/libc.so.6 (0x00007fd95bf31000)
libgcc_s.so.1 => /usr/lib/gcc/x86_64-redhat-linux/8/../../../../lib64/libgcc_s.so.1 (0x00007fd95bd19000)
/lib64/ld-linux-x86-64.so.2 (0x00007fd95e3ae000)
Най-важното, за което трябва да проверите в този списък с библиотеки, е наличието на свързани библиотеки от колекцията от Intel Compilers и/или PGI Compilers (виж редовете оцветени в светло синьо). Тези за Intel Compilers са пренесени в инсталационната директория на SZIP от инсталационния скрипт. Връзката към библиотеката на SZIP е оцветена в оранжево, в примерите по-горе.
ВНИМАНИЕ! Ако в bin/ директорията на инсталацията (ако сте следвали горния пример това ще е /usr/unite/hdf5-1.10.5-icc-szip/bin или /usr/unite/hdf5-1.10.5-pgi-szip/bin) не намирате h5fc, ще се наложи да го създадете по следния начин:
-
за инсталацията създадена с Intel Compilers:
$ sudo sed 's/icc/ifort/g' /usr/unite/hdf5-1.10.5-icc-szip/bin/h5cc > /usr/unite/hdf5-1.10.5-icc-szip/bin/h5fc
$ sudo chmod 755 /usr/unite/hdf5-1.10.5-icc-szip/bin/h5fc
-
за инсталацията създадена с PGI Compilers:
$ sudo sed 's/pgcc/pgfortran/g' /usr/unite/hdf5-1.10.5-pgi-szip/bin/h5cc > /usr/unite/hdf5-1.10.5-pgi-szip/bin/h5fc
$ sudo chmod 755 /usr/unite/hdf5-1.10.5-pgi-szip/bin/h5fc
За да може даден код да бъде компилиран спрямо динамичната версия на HDF5 библиотеките (компилирани по процедурата показана по-горе), освен описание на използваните от нея функции в кода, в процеса на конфигурацията или компилацията му трябва да бъдат указани HDF5 компилаторите и посочени пътищата до хедър файловете и библиотеките:
-
за инсталацията създадена с Intel Compilers:
$ CC=h5cc CXX=h5c++ FC=h5fc F77=h5fc F90=h5fc F95=h5fc ./configure ... CGLAGS="-I/usr/unite/szip-2.1.1-icc/include -I/usr/unite/hdf5-1.10.5-icc-szip/include" LFLAGS="-L/usr/unite/szip-2.1.1-icc/lib -L/usr/unite/hdf5-1.10.5-icc-szip/lib -lsz -lhdf5"
или
$ CC=h5cc CXX=h5c++ FC=h5fc F77=h5fc F90=h5fc F95=h5fc make ... CGLAGS="-I/usr/unite/szip-2.1.1-icc/include -I/usr/unite/hdf5-1.10.5-icc-szip/include" LFLAGS="-L/usr/unite/szip-2.1.1-icc/lib -L/usr/unite/hdf5-1.10.5-icc-szip/lib -lsz -lhdf5"
-
за инсталацията създадена с PGI Compilers:
$ CC=h5cc CXX=h5c++ FC=h5fc F77=h5fc F90=h5fc F95=h5fc ./configure ... CGLAGS="-I/usr/unite/szip-2.1.1-pgi/include -I/usr/unite/hdf5-1.10.5-pgi-szip/include" LFLAGS="-L/usr/unite/szip-2.1.1-pgi/lib -L/usr/unite/hdf5-1.10.5-pgi-szip/lib -lsz -lhdf5"
или
$ CC=h5cc CXX=h5c++ FC=h5fc F77=h5fc F90=h5fc F95=h5fc make ... CGLAGS="-I/usr/unite/szip-2.1.1-pgi/include -I/usr/unite/hdf5-1.10.5-pgi-szip/include" LFLAGS="-L/usr/unite/szip-2.1.1-pgi/lib -L/usr/unite/hdf5-1.10.5-pgi-szip/lib -lsz -lhdf5"
След успешна компилация спрямо динамичната версия на библиотеката, изпълнимият код трябва да може да зарежда HDF5 библиотеките при стартиране. За целта, в текущата сесия на bash, в която ще става стартирането, трябва да се зареди пътя до тях:
-
за инсталацията създадена с Intel Compilers:
$ export LD_LIBRARY_PATH=/usr/unite/szip-2.1.1-icc/lib:/usr/unite/hdf5-1.10.5-icc-szip/lib:$LD_LIBRARY_PATH
-
за инсталацията създадена с PGI Compilers:
$ export LD_LIBRARY_PATH=/usr/unite/szip-2.1.1-pgi/lib:/usr/unite/hdf5-1.10.5-pgi-szip/lib:$LD_LIBRARY_PATH
Това зареждане може да бъде направено инцидентно (примера по-горе) или да стане част от постоянните настройки за bash сесията (те са обикновено във файла ~/.bashrc).
ВАЖНО! В състемата, в която ще се изпълнява кода на приложението, към което са динамично свързани HDF5 библиотеките, трябва да са налични и съответните библиотеки от пакета на използвания компилатор (виж примера с извеждането на техния списък по-горе).
Когато се използва статичната версия на HDF5 библиотеките, самия файл с библиотеката се задава в списъка с бинарни обекти, на база на които компилатора създава изпълнимия код, като се включва и пълния път до статичната библиотека libsz.a (това е библиотеката на SZIP). Например:
-
за инсталацията създадена с Intel Compilers:
$ h5cc -o test test.c file1.o file2.o /usr/unite/hdf5-1.10.5-icc-szip/lib/libhdf5.a /usr/unite/szip-2.1.1-icc/lib/libsz.a
-
за инсталацията създадена с PGI Compilers:
$ h5cc -o test test.c file1.o file2.o /usr/unite/hdf5-1.10.5-pgi-szip/lib/libhdf5.a /usr/unite/szip-2.1.1-pgi/lib/libsz.a
