香蕉APP下载数据存储详解
针对于香蕉APP下载数据存储如何定义分区索引等技术指引问题做如下阐述,对数据库的字段定义及数据调取做必要的注解,希望对大家有所帮助。
1.范围
智慧农业气象数据存储规范
本规范规定了智慧农业气象数据存储规范, 包括地面气象数据、土壤数据、农业气象观测数据、农业气象灾害数据、农业气象采集数据、农业气象数值产品、农业气象服务产品和台站信息等数据的表结构、索引、分区方式等内容。
本规范适用于气象结构化数据的存储管理。不论选用传统关系型数据库,还是选用分布式关系型数据库进行存储,都可使用该规范。
2.术语与定义
(1)数据库 meteorologicaldatabase
数据库是按照预定结构组织成的气象信息的集合, 本规范涉及气象、土壤、农业气象、农业气象灾害、农业气象产品和台站
信息六类数据库。
(2)表结构table
表是数据库内部的数据存储机制。表含有一组固定的列。表中的列描述该表所跟踪的实体的属性。
(3)索引index
索引是对数据库表中一列或多列的值进行排序的一种结构。
(4)分区partition
分区是数据库基于性能和可扩展性等因素的考虑将一个大数据表分为独立的若干小表。
3.规范技术说明
对于智慧农业气象数据的存储管理, 不论是选用传统关系型数据库,还是选用分布式关系型数据库, 都需要设计数据存储的三项*基本内容,即表结构、索引和分区。表结构用于定义数据的组成和要素存储类型,索引和分区用于优化数据检索和管理性能。
(1)表结构
表结构定义数据包含的各要素字段, 包括要素名称、 字段编码、数据类型、约束(是否为主键、是否可空)、以及字段的赋
值说明等。其中,字段编码源自 BUFR码,进行了适当扩展。数据类型主要包括NUMBE、RCHAR/VARCHA和R2DATE三种。
要素字段包括用于辅助存储管理的管理型字段(如资料标识、入库时间、更新时间等)和气象要素数据字段(如温、压、湿、风、降水等)。
(2)索引
索引分为两种,即*索引和一般索引。
*索引,是为了避免数据表中存在重复的键值, 一般设计为一个;*索引也具备与一般索引一样的加速检索能力。一般索引,是为了提高应用检索效率,将常用的检索字段设计为索引,可设计为一个或多个。
智慧农业气象数据的*索引,一般由站点、观测时间、层次等时空字段组成。一般索引,则由常用应用场景的检索字段组成。
(3)分区
气象数据具有时空密度高的特点, 因此数据规模较大。为提高存储管理性能,大部分数据表都需要进行分区。一般都按时间范围进行分区,依据数据的规模大小,分区粒度可选择为月、日
和小时。
4.基于站点的资料存储规范
4.1.中国地面气象资料
中国地面气象资料包含地面实况气象资料和预报气象资料两类,其中,实况资料包括气象要素日值实况、小时值实况和气候标准值;预报资料为精细化城镇预报产品。数据表中文名
请发表您的评论
相关产品分类资讯