290 likes | 413 Views
2006 年度数据共享 前兆数据整合. 中国地震台网中心前兆台网部 2008 年 9 月 9 日. 内 容. 一、整合概况 1 、整合原则及相关约定的制定 2 、前兆数据整合入库方案及软件开发 3 、整合后数据服务 二、整合数据量 三、存在的问题. 一、整合概况. 1 、整合原则及相关约定的制定. 数据共享的前兆数据整合是严格按照 “九五”数据库结构 规范来进行的。 在 2006 年度各省局数据共享项目开始之前, 2008 年 1 月国家前兆台网中心制定了 《 地震前兆数字化观测数据共享报送约定(暂行) 》 。. 1 、整合原则及相关约定的制定.
E N D
2006年度数据共享前兆数据整合 中国地震台网中心前兆台网部 2008年9月9日
内 容 • 一、整合概况 • 1、整合原则及相关约定的制定 • 2、前兆数据整合入库方案及软件开发 • 3、整合后数据服务 • 二、整合数据量 • 三、存在的问题
一、整合概况 1、整合原则及相关约定的制定 • 数据共享的前兆数据整合是严格按照“九五”数据库结构规范来进行的。 • 在2006年度各省局数据共享项目开始之前,2008年1月国家前兆台网中心制定了《地震前兆数字化观测数据共享报送约定(暂行)》。
1、整合原则及相关约定的制定 • 该报送约定不仅规定了各省局报送的内容、数据整理的格式和报送的具体要求,同时要求各省局根据国家前兆台网中心提供的补充收集2001-2007年观测数据的台项观测资料目录来进行观测资料的收集,并且要求收集的数据入“九五”数据库存储,并将新增补的数据以数据库备份的方式打包发送。 • 该报送约定规范了省局数据库的整合方式,更是给国家前兆中心将各省局的数据整合入前兆“九五”数据库带来了便利。
2、前兆数据整合入库方案及软件开发 一、整合概况 各省局报送的是新增补台项的观测数据库,若通过手工检查报送来的数据库,对比国家库的相关数据表,再进行入库操作,难度很大而且很容易出错。为此,国家前兆台网中心开会讨论、制定了新增前兆数据的入库、前兆数据质量检查实施方案,并开发了相关软件。
2、前兆数据整合入库方案及软件开发 一、整合概况 • 通过软件: • 首先对比分析省局报送库和国家库,确认报送库的台项对于国家中心是新增台站、新增台项还是补充台项,其中补充台项还须绘制国家库和报送库补充台项的对比曲线,确认是否是同一个台同一个测项。 • 检查要入库的台项数据连续性、观测质量,将满足入库原则的前兆数据入国家库中。 通过以上措施,确保从各省局报送的前兆数据正确无误地入正在运行的国家前兆数据库。
3、整合后数据服务 • 由于采用了主流的“九五”数据库格式进行整合,整合后的数据采用已有的数据共享服务平台: • Mapsis • 地震科学数据共享网站 • 国家前兆台网中心网站 • 提供共享与服务。
二、整合数据量 • 共计26个省局报送了包括2001-2007年台站技术参数数据文件、区域台网前兆数据库基本信息文件、新增补台项的观测数据(含原始数据、预处理数据和观测日志)在内的观测资料(见表1)。 • 经国家中心检查、筛选入库的台站共计155个台站、820个台项,整合的数据量为3.55 GB。 • 新增数据量较多的是云南地震局、山东地震局、湖北地震局、福建地震局、广东地震局、海南地震局、内蒙地震局;新增台项较多的是福建、广东、浙江。
三、存在的问题 • 从前兆数据的报送和报送数据质量的检查来看,完成情况较好的省局有: 天津地震局 安徽地震局 海南地震局 山西地震局 内蒙地震局 江苏地震局 湖北地震局 河南地震局 山东地震局。
三、存在的问题 • 1、部分省局没有根据国家中心提供的增补台站清单来提供数据 • 部分省局没有对国家中心提供的增补台站清单进行确认和反馈,没有根据清单来报送增补的台站和测项,而是把数据库所有台站和测项的数据都一起上报。 • 对国家中心提供的增补台站清单进行确认和反馈的省局共计有13个:辽宁地震局、北京地震局、天津地震局、安徽地震局、山西地震局、内蒙地震局、吉林地震局、江苏地震局、湖北地震局、河南地震局、宁夏地震局、甘肃地震局、山东地震局。
三、存在的问题 • 2、报送资料不全 • 要求报送的数据包括观测数据、台站技术参数文件和数据库信息文件,共计有6个单位报送资料不全,其中没有报送观测数据的单位包括广西、青海和黑龙江。
三、存在的问题 • 3、报送格式不正确 (1)有部分省局台站技术参数文件格式不符合要求。 (2)有个别省局的观测数据报送格式不符合要求: • 前兆文件: • Access数据库格式 • SQL Server数据库格式:数据表不是以测点为单位,而是以测项单位,日期也不是规范的DateTime格式。
三、存在的问题 • 4、其他问题 • 有个别省局数据库只有一个库:原始数据库或预处理数据库,有1个省局没有数据库。有1个省局采用的不是规范的九五数据库格式。多个省局数据库中有些空表。 • 省局报送给国家中心的数据预处理数据有相当一部分都没有进行预处理。观测日志问题。观测质量问题(与向学科报送的数据质量差距较大)
2007年度数据共享区域地震前兆台网数据报送要求2007年度数据共享区域地震前兆台网数据报送要求 中国地震台网中心前兆部 2008年9月9日
一、主要任务 以国家前兆台网观测数据目录为参考依据,整理、报送未经报送的至国家中心的前兆台网观测数据,主要是1980年至2000年12月31日的全国地震前兆台网观测数据。这些数据包括:观测数据、台站技术参数数据、台站基本信息数据等。
二、报送内容 1、省局(或区域)前兆台网中,2009年仍在运行并长期以来,向国家前兆中心报送数据的测项,继续保证定时报送数据,对缺失或有误的数据时段,应予以整理、补齐。 2、整理、报送1980-2000年度观测数据(有些省局台站前兆观测早于或晚于1980年,其开始和结束时间以测项的始测、停测时间为准),部分确已向国家中心报送数据的测项,不再重复报送;
二、报送内容 3、对2001年至今尚在进行模拟观测(或个别中途停测)的测项,未向国家前兆中心补充报送数据,应补齐并至2008年,纳入正常监测运行、并至2009年起,每日向国家中心报送观测数据。 4、对于已经进行“九五”和“十五”改造的模拟测项,报送截止日期到改造前停测日期,该测项的数字化数据不能作为模拟数据报送。
二、报送内容 5、区域前兆台网观测数据目录可参考附件1。 6、若有国家台、区域台或观测质量较好的市县台未列入附表1中,亦应补充进附表1,收集整理报送数据。
三、前兆台站观测数据整理入库要求 补充报送的观测数据需要进行系统整理、入库。观测数据整理包括观测数据格式转化和观测质量的检查。 1.观测数据格式的转化:应确保观测数据的测项物理量及单位与目前规范要求的一致,对非标准化的观测数据应转化为标准化的观测数据。 2.观测质量检查:对一些连续率低、观测质量差的测点数据入本地库保存,不需向国家中心报送,但必须在反馈给国家中心的表中说明。
三、前兆台站观测数据整理入库要求 3、台项信息入库:按照“九五”数据库结构要求,补充报送的台项信息必须入字典表stationinfo、methodinfo和stationmethodinfo中保存。 4、观测数据入库:以测点为单位进行入库。在1980-2007年间若出现更换仪器造成观测物理量发生变化应作为新增测项,不能要在原有测项下继续录入,测点位置发生改变应作为新测点录入。
三、区域地震前兆台网中心数据报送要求 1、台站技术参数数据文件报送 • 台站技术参数数据文件格式参照2008年1月《报送要求严格按照地震前兆数字化观测数据共享报送约定(暂行)》。在2006年度数据共享编写的台站技术参数文件基础上,补充完善,形成一套完整的1980-2007年区域台网台站技术参数文件。1980-2000年台站技术参数文件至少须记录台站仪器的安装事件和停测事件。 • 2009年1月15日前,各区域地震前兆台网中心向国家地震前兆台网中心报送一套完整的本前兆台网台站技术参数数据文件。
2、补充汇集的观测数据报送 • 补充汇集、整理观测数据,须于2009年1月15日前国家地震前兆台网中心补报。报送方法参见《地震前兆数字化观测数据共享报送约定(暂行)》附件二。 • 仍还在观测的补报台项自报送数据库文件形成之日起,开始每天定时报送新增台项的观测数据。各省(自治区、直辖市)地震局须报送包含原有台项和新增项在内的所有台项的前兆观测数据,报送内容、格式、时间及报送方式与原有报送台项的一致,均遵循《前兆观测数据报送约定(试行)》中的规定。
3、区域前兆数据库字典表和数据库信息报送 • 字典表stationinfo、methodinfo和stationmethodinfo中,应随同补充报送的数据表一起打包报送。 • 区域前兆数据库基本信息数据格式参照2008年1月《报送要求严格按照地震前兆数字化观测数据共享报送约定(暂行)》。 • 2009年1月15日前,各区域地震前兆台网中心向国家地震前兆台网中心报送本前兆台网前兆数据库基本信息数据文件。
4、台站基本信息数据报送 以表格的形式报送所有报送资料的台站的基本信息:台站名称、台站代码、测点名称、测点行政位置、构造部位、测点基本描述和观测环境状况描述等信息。
5、报送方式 台站参数技术文件、区域前兆数据库基本信息文件和观测数据的报送通过FTP发送到国家地震前兆台网中心的FTP服务器上。FTP服务器地址、域名、用户名与口令与目前报送数字化观测数据的FTP服务器相同(参见《数字化前兆观测数据报送约定(试行)》)。台站参数技术文件、前兆数据库基本信息文件、观测数据上传路径为/qzdata /qzxx/datashared/,其中xx为区域中心代码,如北京为11,上传文件应放在/qzdata /qz11 /datashared目录下。
四、其他 为了配合在2007年数据共享项目,国家前兆台网中心网站上开辟有数据共享栏目,该栏目将及时报道前兆数据共享的最新动态和要求,公布数据共享项目相关的有关规定、约定和标准,提供数据共享报送格式模版及相关入库软件,此外,还设置了数据共享中热点问题解答等小栏目。国家前兆台网中心网址:http://qzweb.seis.ac.cn/twzx/。