HDF5介绍

HDF 是用于存储和分发科学数据的一种自我描述、多对象文件格式。HDF 是由美国国家超级计算应用中心（NCSA）创建的，以满足不同群体的科学家在不同工程项目领域之需要。HDF 可以表示出科学数据存储和分布的许多必要条件。HDF 被设计为：

（官方介绍： https://support.hdfgroup.org/HDF5/whatishdf5.html）

HDF5 结构

HDF5 文件一般以 .h5 或者 .hdf5 作为后缀名，需要专门的软件才能打开预览文件的内容。

+-- Dataset
|   +-- (Raw) Data Values (eg: a 4 x 5 x 6 matrix)
|   +-- Metadata
|   |   +-- Dataspace (eg: Rank = 3, Dimensions = {4, 5, 6})
|   |   +-- Datatype (eg: Integer)
|   |   +-- Properties (eg: Chuncked, Compressed)
|   |   +-- Attributes (eg: attr1 = 32.4, attr2 = "hello", ...)
从上面的结构中可以看出：
Dataspace 给出原始数据的秩 (Rank) 和维度 (dimension)
Datatype 给出数据类型
Properties 说明该 dataset 的分块储存以及压缩情况
Chunked: Better access time for subsets; extendible
Chunked & Compressed: Improves storage efficiency, transmission speed
Attributes 为该 dataset 的其他自定义属性
整个HDF5文件的结构如下所示：
+-- /
|   +-- group_1
|   |   +-- dataset_1_1
|   |   |   +-- attribute_1_1_1
|   |   |   +-- attribute_1_1_2
|   |   |   +-- ...
|   |   |
|   |   +-- dataset_1_2
|   |   |   +-- attribute_1_2_1
|   |   |   +-- attribute_1_2_2
|   |   |   +-- ...
|   |   |
|   |   +-- ...
|   |
|   +-- group_2
|   |   +-- dataset_2_1
|   |   |   +-- attribute_2_1_1
|   |   |   +-- attribute_2_1_2
|   |   |   +-- ...
|   |   |
|   |   +-- dataset_2_2
|   |   |   +-- attribute_2_2_1
|   |   |   +-- attribute_2_2_2
|   |   |   +-- ...
|   |   |
|   |   +-- ...
|   |
|   +-- ...
Python 读写 HDF5 文件
HDF5的python库h5py调用：

import h5py
import numpy as np
# 保存数据为 HDF5 文件
with h5py.File('../out/compressed_data.h5', 'w') as f:
     # 创建一个数据集，并使用 gzip 压缩
    dset = f.create_dataset('data', data=data, compression='gzip', compression_opts=9)
    # 打印数据
    print(data)
c# 读取 HDF5 文件
https://apollo3zehn.github.io/PureHDF/reading/index.html
using System;
using PureHDF;
class Program
    static void Main(string[] args)
        // 打开 HDF5 文件
        using (var file = Hdf5.OpenFile("compressed_data.h5"))
            // 打开数据集
            using (var dataset = file.OpenDataset("data"))
                // 获取数据集的维度
                var dims = dataset.Dimensions;
                Console.WriteLine($"Data shape: ({string.Join(", ", dims)})");
                // 读取数据
                float[,,,] data = new float[dims[0], dims[1], dims[2], dims[3]];
                dataset.Read(data);
                // 使用数据...
                // 例如，打印第一个元素
                Console.WriteLine($"First element: {data[0, 0, 0, 0]}");