地理数据的特点范例(12篇)

来源:其他

地理数据的特点范文1篇1

[关键词]PDA技术交通工程质量监督管理TTF理论

近年来随着移动通讯和移动计算技术的融合,移动技术已得到广泛的应用,以其轻便小巧、可移动性强、性能稳定等特点,特别适合在特殊环境或特殊情况下应用,因而深受业界青睐。个人数码助理(PersonalDigitalAssistant,PDA)是目前发展迅速的移动智能设备,具有强大的数据管理和处理能力,PDA以其集成了通讯、GPS、红外和蓝牙无线传输等多项实用技术,轻便、小巧、可移动性强、方便携带等特点得到广泛应用。PDA技术充分运用其移动性消除了地域和时间的限制,突破了互联网的局限,使随时随地信息传输成为可能。PDA技术不仅是技术的创新,也是一种管理模式的创新。

任务技术匹配(Task-Technologyfit,TTF)理论解释技术对工作任务的支持能力,理论认为只有当信息技术的功能可以很好地支持工作任务需求时,技术才会被采用,否则不会被采用,“任务特点”和“技术特点”共同影响“任务技术匹配度”,其接下来影响用户对技术的使用和用户的个人绩效。本文基于该理论,主要分析了交通工程质量监督管理工作的任务特点和PDA技术特点,其中工作任务特点主要从工作结构化、工作复杂性、工作发生频率、工作紧急性以及工作移动性衡量,PDA应用系统特点则从技术层面和系统功能层面进行分析。

一、交通工程质量监督管理信息化现状

交通工程建设实行政府监督、业主管理、社会监理、企业自检的质量保证体系,交通工程质监工作是政府交通部门对交通工程建设实施管理的一个重要环节,是不断提高交通工程建设质量的重要保证。交通工程质量监督工作主要涉及对交通工程施工的监督、材料的监督以及对设计的监督,一般分为公路工程和水路工程质量监督。施工和材料的质量监督工作通常在工程现场进行,将现场采集的数据即时录入数据库,更新数据库并与基础数据进行对比分析是提高工程监督管理工作效率和质量的关键。另一方面,交通工程质量监督管理业务覆盖面广,覆盖了企业、专业人员及工程项目等方面的信息,导致系统建设时间跨度大,各业务系统启动时间跨度大,部分业务系统开发及实施周期长。从工作任务特点上,交通工程质量监督工作具有高结构化、高发生频率、较高紧急性和高移动性等特点。

目前我国大部分地区交通工程质量监督管理已实现初步信息化,基本信息系统已经搭建。但信息化管理水平较低,系统不能适应工程监督的工作要求,不能实现数据实地采集实时传输的要求,问题主要表现在:(1)系统不能支持质监部门实时地把监查、检测信息录入到系统,由于系统不方便携带,施工现场采集的文字资料和图片资料只能事后录入系统,使得数据不能保持实时性;(2)由于信息传递比较复杂,当项目信息变更时,信息不能及时更新,从而影响数据的统计分析和管理决策的质量,统计分析功能不能适应业务管理需要;(3)工程现场采集数据和图像不能直接导入系统,需手工录入,给工作人员带来了很多不必要的麻烦;(4)由于上下级单位之间的系统模式没有统一规定,产生了数据资源不能共享或重复录入数据等不便。

二、PDA在交通质监管理中的应用

PDA是近年来发展迅速的便携式智能设备,内置嵌入式操作系统,具有强大的数据管理和处理能力,以其轻便、小巧、可移动性强、方便携带等特点,已得到广泛应用。PDA集中了计算、电话、传真和网络等多种功能,随着计算机技术的发展PDA的功能越来越丰富,PDA技术在各行各业中应用的也越来越广泛。PDA更是一种数据采集的理想载体。它功能强大,几乎具有普通台式计算机的全部功能。

基于交通工程质量监督管理工作需要和PDA技术的特点,对现有“交通工程质量监督管理系统”进行升级续建,将PDA技术引入原有质量管理平台。该系统特点在于:携带轻便,方便高效,可以将现场采集的数据和图片资料直接导入主系统,一方面避免了数据的手工录入,另一方面可以即时查询、更新系统中的数据,有较好的交互性。基于质监工作的特征,该系统主要包括项目信息录入、检查信息录入、监测信息录入、工程评定、查询统计和文档管理的功能模块。

该系统从技术层面上具有较强的连通性,系统由交通部门内部局域网互联,交通部、省级交通工程质监局、地市质监站以及各项目指挥部都有接口。系统使用SQLServer数据库和C/S架构模式,具有较好的可扩展性。从性能上该系统实现了文字和图片信息的实时录入、更新、统计和分析,并且便于携带。系统由于实现了数据资料,尤其是图片资料的直接导入,数据具有高度的准确性。

从功能层面上,项目信息录入主要包括基本信息、业主信息、施工单位信息、设计单位信息、监理单位信息等;检查信息录入主要是对高速公路和国省道项目的检查信息;工程评定是对于工程竣工验收时,根据管理部门的检测、检查的数据信息,做出统计和分析,自动得出工程的评定等级,支持质监决策;文档管理功能是对整个工程项目建设过程中归档与质量有关的文档;查询统计主要包括对总体合格项目率、缺陷出现频率等的统计查询。

三、结论

PDA技术满足了交通质监工作中的高移动性要求,实现了数据的现场采集、录入、更新和即时统计分析功能,可以帮助质监工作人员快捷地处理日常交通工程质量监督管理工作,协助做出工程评定决策。另一方面,该系统可以实现交通行业信息资源纵向共享的目标,使数据资源在上下级单位之间得到共享。因此PDA技术与交通工程质量监督管理工作具有很高的匹配程度。

目前一些省市交通工程监督局已经将该系统投入使用,系统的使用给工作人员带来了方便,促进工作效率的同时提高了质监工作的质量。

参考文献:

[1]Goodhue,D.L.andR.L.Thompson.Tasktechnologyfitandindividualperformance[J].MISQuarterly,1995,19(2):213~236

[2]刘军唐进:交通工程质量监督管理系统的开发与应用[J].交通与运输,2005年第12期

[3]谢立军:公路工程质量监督模式的转变[J].交通世界,2008年第7期

地理数据的特点范文

关键词:声纳Hough变换Sobel算子

中图分类号:TP24文献标识码:A文章编号:1007-3973(2010)06-065-03

1引言

未知环境中移动机器人自主创建地图是移动机器人研究中一个基本且重要的问题,这是移动机器人在未知环境中实现导航、完成复杂任务等的关键。机器人携带的各种传感器的准确度是决定地图精度的一个关键因素,而传感器获得的信息都带有不同程度的不确定性。

2问题的提出

本文创建的地图类型为栅格地图,关键是声纳模型和声纳数据的融合。声纳数据融合主要应用Bayes理论和D-S证据推理,方法的不足是在对原始数据进行融合时,其中存在的一些不确定信息也参与了融合过程。本文提出一种改进方法是,在声纳数据融合之前对数据进行预处理,将其中的噪声去除,提取出有效的可用信息,然后进行数据融合。因此,对于简单的室内环境地图创建,引入了Hough变换提取直线特征,对声纳数据进行预处理,然后利用边缘检测法进行边缘检测,创建了栅格地图。边缘检测中,选取的是Sobel算子,它的优点是方法简单、处理速度快。

3Hough变换及边缘检测原理介绍

3.1Hough变换基本原理

Hough变换的实质是将图像空间内具有一定关系的像元进行聚类,寻找能把这些像元用某一解析形式联系起来的参数空间累积对应点。Hough变换的一个突出的优点就是对图像分割结果的稳定性,对曲线间断和噪声不敏感。

Hough变换是一种投票方案,每一传感器信息不断累积实际测量定特征的证据。投票是在离散参数空间内进行的,即Hough空间,表征了所有可能的特征点。Hough空间中投票数最多的单元对应实际环境中实际存在的特征。通过搜索投票数,可以获得所探测特征的传感器数据。本文正是利用这一点,设定了投票数的阈值,当投票数大于阈值时,保留声纳数据;当投票数小于阈值的时候,表明对应的原始信息在大量的声纳数据中,对此信息的证据量较少,属于不确定信息,予以除去。这样,就可以在一定程度上去除大量的不确定信息,减少数据融合过程的计算量。

3.2边缘检测概念

图像的边缘是图像的最基本特征,包含了图像的重要信息。正确提取边缘既能减少图像处理的信息量,又可以描述物体的形态特征,为进一步的处理(如图像分析、目标识别等)提供基础。

边缘检测算子(edgedetector)是一组用于在亮度函数中定位变化的非常重要的局部图像预处理方法,在数据处理时,借鉴边缘检测的基本原理,对图像中的每个传感器数据考察其领域内灰度变化,利用其变化规律,筛选出有重要特征的数据。最简单的边缘检测方法是对原始图像在所需处理的某领域内构造边缘检测算子,如梯度算子,Sobel,Laplace算子等,其中最常用的是Sobel算子,其优点是方法简单、处理速度快,并且所得的边缘光滑、连续。

3.3Sobel边缘检测算子

如果一个像素落在图像中某一个物体的边界上,那么它的邻域将成为一个灰度级变化的带,对这种变化最有用的两个特征是灰度的变化率和方向,它们分别以梯度向量的幅度和方向来表示。边缘检测算子检查每个像素的邻域并对灰度变化率进行量化,通常也包括方向的确定,有若干种方法可以使用,其中大多数是基于方向导数求卷积的方法。

Sobel算子是一种一阶微分算子。它利用像素邻近区域的梯度值来计算一个像素的梯度,然后根据一定的阈值来取舍,得到图像中的边缘。对图像中的每个像素,用式(3-1)计算梯度大小:

选取阈值T,如果,则点为阶跃型边缘点。

方向敏感度是边缘检测算子的一项重要性能指标,它反映了算子利用边缘方向检测边缘的能力。Abdou对各个边缘检测算子进行了定量比较,分析了它们由于边缘方向改变而导致误判边缘的性能。结果表明,Sobel算子具有非常优异的性能。

4基于声纳的移动机器人地图创建

4.1传感器数据预处理

本文中使用Hough变换对声纳数据进行预处理,首先将声纳原始数据在全局坐标系中的坐标经过Hough变换到Hough空间下,并对Hough曲线所经过的各点进行投票。对所有声纳数据实施变换,并累计投票数,当投票数达到设定的阈值,选择这个声纳数据进行D-S证据推理,融合声纳数据。以一个声纳数据为例,这里,声纳原始数据是指将距离信息转化为全局坐标中的坐标。

是的最大值,是的步长,votearray是投票矩阵,统计Hough空间中各点的投票数。这是对一个声纳数据的Hough变换并进行累计投票的过程。

对声纳的所有原始数据完成Hough变换并进行投票后,设定选择阈值为m,当投票数大于等于m时,对这个原始数据进行D-S证据推理,阈值的选择与数据量和投票数的最大值和最小值有关,可以根据投票数的最大值和最小值作为参考,通过不断实验,确定一个最佳阈值。

4.2数据融合和边缘检测进行地图创建

声纳原始数据经过Hough变换提取直线特征进行预处理,然后采用Sobel算子进行边缘检测,提取出数据的边缘信息。经过这一系列的处理,大大消除了一部分不可靠数据,并将原始信息中含有重要特征的数据保留下来且使其作用更加明显,这为数据融合减轻了很大一部分工作量。然后使用D-S证据理论进行信息融合,并引用自适应RCF因子,进一步消除镜面反射,这样不仅提高了数据融合的效率,同时也提高了地图创建的质量。

5实验结果及分析

本文使用Pioneer3在固定的室内环境中进行实验。Pioneer3配置有8个声纳,低速运行,每10cm停下测量一次数据,这样我们进行实验测得了多个数据样本。图1为实验所使用的机器人图片。

机器人运行环境如图2所示,浅色线代表环境结构,黑色线代表机器人的运动轨迹。图3到图6为对数据样本1进行的实验,图3为根据机器人声纳的测量数据描绘出来的声纳测量点,这是声纳原始数据点的分布图。图4为Hough空间中的Hough图像,图像中颜色较深的点表示声纳数据经Hough变换后通过同一点的曲线数目越多,这些曲线在原图像空间中对应的点越可能是处在同一条直线上;相反,颜色较浅部分,表示通过的曲线较少,对应的原图像空间坐标中的数据不具有相同特征。在图中标出了四个箭头,表示颜色最深的四个点,分别对应环境中参数不同的四条直线特征信息。图5为经过Hough变换提取直线特征后的有效声纳点的分布图。图6为采用Sobel算子提取边缘后的有效数据点的分布图。由于测量本身存在误差,本文中没有精确求出直线的参数,而是利用投票方案将可能具有同一特征的数据信息提取出来,达到提取特征,精简数据量的目的。从图中可以看出,原始数据中的不确定信息大大减少了,地图质量得到很好的改善。

图7和图8为对另一组原始传感器数据样本进行的实验,图7为传感器原始数据点的分布图,图8为经过Hough变换和Sobel算子处理后的图像。不确定信息已大大削弱,仅保留了具有明显特征的有效数据信息,环境地图质量得到改善。

本文的实验是在只具有直线特征的环境下进行的,通过实际环境实验,在中的声纳模型基础上引入Hough变换提取直线特征,而后利用Sobel算子进行边缘检测,对声纳数据进行预处理,提取出可靠信息,并运用D-S证据理论对声纳数据进行融合,在室内环境下得到的地图在一定程度上得到改进。

在具有不规则结构的复杂环境下需要进一步提取出形状特征,如直拐角,锐角,钝角和圆柱体。在未来的工作中,可以将Hough变换用于提取圆的特征,便于提取实际环境中的圆柱体,从而进一步改善环境地图质量。

6结束语

室内环境地图创建,用Hough变换提取直线特征,利用Sobel算子进行边缘检测,对室内环境的原始声纳数据进行处理,并进行了实际环境实验,初步建立了室内环境地图。使用Hough变换提取直线特征,Sobel算子边缘检测,大大降低了声纳数据的不确定性,结合D-S证据理论,并引入自适应RCF因子,在声纳模型的基础上对声纳数据进行融合,进一步削弱了镜面反射的影响,建立了环境的栅格地图,且具有良好的效果。

注释:

FangFang,MaXuDong,DaiXianZhong.AMulti-sensorFusionSLAMApproachforMobileRobots[C].ProceedingsoftheIEEEInternationalConferenceonMechatronics&Automation,NigaraFalls,Canada,July,pp1837-1841,2005.

XinMa,RuiGuo,WeiDongChen.ImprovedtechniquesforgridmappingwithHoughTransformformobilerobot[C].The13thInternationalConferenceonadvancedRobotics(ICAR/2007),Jeju,Korea,p355-359,August,2007.

何巍.飞机自主着陆中的图形图像识别算法研究[D].北京:北京航空航天大学,硕士学位论文,2004,37-40.

地理数据的特点范文篇3

关键词:云计算;数据特定特征;特征挖掘技术;提取精度

中图分类号:TN911?34;G420文献标识码:A文章编号:1004?373X(2017)13?0178?03

Abstract:Fortheimprecisedataspecificinformationextractionintheprocessoftraditionalcloudcomputing,aspecificcharacteristicminingmethodofmassivedataincloudcomputingenvironmentispresented.Thematrixnodedifferencemodelisusedtoarrangethedataorderly,andavoidtheimpreciseextractiondatacausedbydataconfusionofthetraditionalmethod.Thehugeclouddatamakesthedatapositioningimprecise.Inordertoeliminatetheaboveproblem,themultidimensionaldatapositioningcalculationisadoptedtosolvetheproblemofimprecisepositioningeffectively,andextractthedatainformationsuccessfully.Inordertoverifytheeffectivenessofthemassivedataspecificcharacteristicminingmethodincloudcomputingenvironment,thecontrastsimulationexperimentwasdesigned.Theexperimentalresultsfullyprovethatthemethodcanimprovetheaccuracyofthedataextractioneffectively.

Keywords:cloudcomputing;dataspecificcharacteristic;featureminingtechnology;extractionaccuracy

0引言

随着科技的快速发展,数据信息时代逐渐向着云时代变迁,数据的运算存储已经由传统的硬盘存储逐渐发展成为云端计算存储[1]。通过云端的计算存储已经在很大程度上摒弃了原有的算法规则,能够更大程度的进行数据统计和数据运算[2]。在使用云端计算的环境下,存储在云端的海量数据都是通过数据定位以及数据分析进行计算的,使用适当的调度方法可以在很大程度上进行数据的特征提取。所以,有效的数据调度可以充分提高数据的特征提取能力,但是传统的云端计算过程由于数据存储量过于繁杂,并且在进行数据定位的过程中需要进行数据识别。传统的方法是使用数据的属性进行标识识别,但是为了数据的存储方便一般会进行适当的数据压缩和数据转换,数据进行调用过程中十分的繁琐,并且数据的调用过程是一个识别提取的过程,这种方式极大地影响了数据特征提取的速度以及准确性[3?4]。在进行数据特征提取的过程中还存在一些数据节点,这些节点极大程度上限制了提取的精度[4?5]。综上所述,本文设计了一种云计算环境下的海量数据特定特征挖掘方法,该方法能够有效解决上述问题[6]。

1运用矩阵节点差分计算方法进行数据特定特

征挖掘

使用矩阵节点差分计算可以提高数据提取的精准度,在计算之前需要进行数据的方位确定以及数据的预处理[7?8]。

式中:为单位下数据信息量;为数据的信息坐标;为提取条件下的属性条件;为实际的傩灾涤颉

当限制节点传输信息至时,传输单位需要经过个节点才能进行属性提取。关系式为:

保证数据的正确性和快速性是通过区域的划分得到的,划分前需要预设参数,通过设定能够对选择精度进行控制,避免误差的产生。

式中:为离散参数;为整合参数域;为区域值;表示提取深度;代表数据衡量值。

进行数据的特征提取过程中,使用矩阵节点差分方法,因此需要进行数据的预处理[9],预处理之后才可以使用,首先是数据编续:

经过序号的排列以后,方便数据在大量数据中进行准确提取,但是排序之后的数据不能直接使用,需要一定的调用计算,方便在提取过程中属性的搭配:

式中:表示单位时间数据能够调用的属性;表示实际区域范围内数据的识别码;是实际计算中的属性参数;表示计算常量。

通过上述计算便可以进行矩阵节点差分方程的计算,建立如下矩阵:

通过化简的公式可以看出数据与实际调用的关系,把公式进行加权处理就可以得到关系公式,这样可以更加精确的在海量数据中完成特征提取。

限定好实用的属性参数及属性目标,进行加权计算:

本文运用矩阵节点差分计算方法进行数据特定特征挖掘,在计算前进行数据的预处理保证了数据的有效性,提高了结果的精准度,最后用条件进行限定保证在大量的数据中能够进行精准的计算。

2实验验证

为了验证本文设计的云计算环境下的海量数据特定特征挖掘方法的有效性,设计了对比仿真实验。选定某网络数据公司大型云端数据库进行数据特征提取,首先使用传统的方法进行云端数据提取,然后使用本文设计的云算环境下的海量数据特定特征挖掘方法进行数据的特征提取。

2.1参数设置

为了保证实验的有效性,同时进行实验,设置调配参数为65.8;数据坐标分别为150,100;为了保证数据提取的速度,设置为68.5;设置分别为55,60,100。

2.2数据对比分析

实验对比结果如图1,图2,表1所示。

通过图1可以看出本文设计的方法能够在更短的时间内得到结果,同时所用的时间是传统方法的一半左右。

通过图2的误差对比结果可以看出,本文设计的云计算环境下的海量数据特定特征挖掘方法能够有效地降低误差,保证在海量数据下的特征提取。

表1的实验结果能够充分证明,本文设计的云计算环境下的海量数据特定特征挖掘方法能够有效地提高数据特征百分比,同时能够在更短的时间内进行更多的特征提取。

3结语

本文设计的云计算环境下的海量数据特定特征挖掘方法能够有效地解决数据特征提取过程中提取不精确的问题,同时所需要的时间更短,得到的结果不需要进行修正,能够更好地完成对海量数据的特征提取。本文的研究能够为云端数据提取提供良好的理论依据。

参考文献

[1]廉文武,傅凌玲,黄潮.云计算环境下数据弱关联挖掘模型的仿真[J].计算机仿真,2015,32(4):359?362.

[2]卢小宾,王涛.Google三大云计算技术对海量数据分析流程的技术改进优化研究[J].图书情报工作,2015,59(3):6?11.

[3]何清,庄福振,曾立,等.PDMiner:基于云计算的并行分布式数据挖掘工具平台[J].中国科学:信息科学,2014,44(7):871?885.

[4]刘辉.云计算环境下海量激光点云数据的高密度存储器逻辑结构设计[J].激光杂志,2016,37(9):91?95.

[5]白红伟,马志伟,朱永利.基于云计算的绝缘子状态监测数据的处理[J].电瓷避雷器,2011(4):19?22.

[6]钱维扬,王俊义,仇洪冰.基于Hadoop的数据挖掘技术在测光红移上的研究[J].电子技术应用,2016,42(9):111?114.

[7]刘海龙,宿宏毅.利用Hadoop云计算平台进行海量数据聚类分析[J].舰船科学技术,2016(14):148?150.

地理数据的特点范文篇4

关键词:激光扫描仪监控量测信息化

目前我国的隧道变形监测方法一般采用手工作业模式,监测量需多名监测人员同时作业,由于监测项目多、线路长、测点多、观测频繁和数据量大,使得监测数据处理、分析和资料管理等工作滞后,不能及时快速地反馈监测信息,指导隧道信息化施工,严重的影响了隧道等地下工程的监测工作开展和技术的发展。随着隧道及地下工程修建技术不断提高,信息化施工已成为地下工程发展的必然趋势,三维激光扫描技术可以实时、准确、全方位获取隧道空间变形数据,进行隧道施工变形分析和反分析,对隧道施工进行风险预警预报,指导隧道信息化施工,也必将成为隧道监控量测的主要发展方向。

1点云数据的获取

隧道工程为一狭长结构,施工安全步距一般为几米至几十米,三维激光扫描仪的点云扫描密度是随着扫描距离的增加而下降的,所以在隧道有限的管状空间内,为了保证有充足的点云数据用于提取隧道的形变信息,通常每个测站所获取的点云数据中有效范围只有几十米,这是隧道特殊结构下不可避免的特殊问题。采用三维激光扫描技术进行隧道监控量测时需通过分站式扫描才能采集全部数据。为了使监测数据连续可靠,扫描数据必须有一定的重合度,即保证点云数据拼接过程中每两个测站间的公共部分,监测时需根据隧道断面尺寸大小,每隔一定距离设置一个测站,在两站间的衔接部分设置用于不同测站数据拼按的控制点,为了保障数据的拼接质量一般在每两个测站间的隧道内壁上均匀布设5~6个(不少于3个)反光靶(球),在地面上布设3~4个反光靶(球),三维扫描仪监测数据分别在以各站站点为原点的独立坐标系中,以此分析隧道变形时需要对各测点数据进行拼按,在数据拼按时将第一站作为基准站,其后每一站分别与相邻的前一站作拼按,前后测站间首尾相连。

2点云数据拼接方法与分析

隧道监测区段的数据采集过程中需对隧道进行分站式扫描,监测时既要保证扫描数据的精度,也要有足够的控制点和扫描数据的重合度才能保证点云数据的拼接精度,保证点云数据的拼接质量和拼接精度是掌握隧道等地下工程变形和施工安全的前提,所以要尽量提高点云数据的质量,减小拼接误差。

点云数据拼按是按照一定的数学法则,求取相邻测站所在独立坐标系统之间的转换参数,通过刚体变换、平移的旋转等数学方法,将所有测站点的点云数据几何信息统一到同一个三维空间坐标系下,转换过程不能对点云数据进行任何扭曲和缩放,以保证点云数据的几何信息无缝连接,不产生任何变形。

点云数据拼按主要采用以下方法:(1)基于控制点三维坐标的点云拼接,该方法采用全站仪和GPS等测量拼接区域的控制点的三维坐标,然后各控制点坐标对各测站的点云数据进行拼按,方法简单,拼接精度依赖于控制点测量精度;(2)基于测量表面贴附标记点的方法,该方法在要扫描的目标区域的内部或周围两站或多站公共扫描目标区域放置三个以上的标靶,扫描并获取扫描区域的三维点云数据,计算两组相邻区域点云数据间的拼按变换参数,拼按精度受标记点数量和位置影响;(3)基于特征点云的混合拼按,该方法要求扫描实体时要有一定的重合度,拼接精度主要依赖于拼按算法,可分为基于点信息的拼接算法、基于几何特征信息的拼按算法、动态拼接算法和基于影像的拼按算法等。

3混合拼接方法主要如下几种

3.1基于点信息的迭代拼接方法

基于点信息的迭代拼接方法(ICP)是提出最早也是最为经典的点云拼按方法,经过20多年的发展已成为点云配准中的主流算法,是点云配准研究的开创性工作,也是后续基于迭代的配准算法的理论基础和框架,该算法是由Besl和Chen分别提出的,Besl使用参数是点点距离,而Chen使用参数是点面距离,其原理都是基于最小二乘法算法的最优匹配方法,重复进行配准,确定最优刚体变换参数,迭代计算至误差收敛。

3.2基于几何特征信息的预处理拼接方法

所谓基于几何特征的拼按,就是根据三维实体几何形状特征进行拼接,分为整体拼按、曲面特征拼接和点信息特征拼接等算法,整体拼接算法通常用于预拼接,通常与ICP算法一起来完成拼按整个过程,首先以点云数据中的特征点几何信息进行粗略拼按,再进行迭代处理,拼接效率较高。根据曲率特征拼接的算法最能准确反映出三维实体的表面几何特征信息,拼接过程简单,整体精度较高;利三维实体的特征点信息或特征线信息进行拼按的方法是曲面特征拼按方法的补充,一般适用于小范围的点云数据拼接,且需要有某些先验知识。

基于几何特征信息的预处理拼接算法的总体思路是相同的,根据拼按时所选择实体的几何特征拼接方法分为如下几种:①曲面法向矢量法,其主要特征是对要拼按的两组点云数据,计算出测点及其邻域点每个点的曲面法向矢量,按法向矢量方向进行拼按。②曲面曲率法,其主要特征是根据点云数据计算出各个测点的曲率,根据测点的曲率大小将相同的点集合进行配准。③几何哈希方法,其主要特征是首先将每个点对的法向映射为三维空间变换,把点对法向一的集按照数学法则进行拼接,再进行点云数据迭代运算进行拼按。④ICP算法迭代法,其主要特征是找出几何特征信息,采用ICP算法进行预拼接,并以算计结果为基础,把上次拼接点对集合再运用ICP算法进行二次拼按,经过多次迭代计算,实现点云数据的精确拼接。

3.3多条件动态拼接方法

动态拼接是指对运动和形变的采样点,在不同的帧之间根据运动学原理完成插值拼接。在该拼接模式下对三维实体的数据获取采用的是旋转式扫描法,其特征是扫描仪固定在站点,三维物体沿着中轴线旋转,扫描方式得到多帧组成的点云数据,通过相邻帧之间相互关系,由旋转速度计算得出每一帧的旋转夹角来进行拼接,是特殊条件下的一种拼接方法。

2004年NiloyJ,Mitra提出了一种新的动态拼接算法,对采样线的点进行光顺,其中整体的误差最小,并得到了比较好的效果。

3.4基于影像的拼接方法

在点云数据拼按时借助于数字图像处理技术,利用计算机数字融合技术和逆向工程理论在立体像对上自动搜索同名像点,并进行同名点自动识别,根据拼按的基元分为基于灰度的拼接算法和基于几何特征的拼按算法二种,其中:基于灰度拼接算法技术较为成熟,拼接精度较高,主要特征信息为图像灰度特征,强调光强和对比度,对其他信息顾及较少,拼接结果容易出现错误,影响成果鉴定的使用;基于几何特征的拼接算法通常利用Harris算法进行角点检测,然后利用归一化相关法进行匹配,从而得到匹配点对,可有效地提高了图像拼接的精度和速度。

4点云数据拼接方法存在问题与改进

目前国内外点云数据拼接方法均基于ICP算法,第一步先确定对应点集,然后根据对应点集确定点云间对应的坐标变换矩阵,再进行迭代计算直至满足精度要求为止。该方法中确定对应点集是决定算法的关键问题,也决定的了收敛的速度和拼接的精度,无论对应点集是点到点的距离还是点到面的距离,要计算过程中都容易产生对点错误,影响点云拼按的质量和速度。

1998年dorai等提出了用候选对应点到点距离约束来减小对应点对的方法,2002年sharp等人又提出了利用被测物体表面的特征不变量来确定对应点对的方法,结合点对之间的共线约束和临近性约束来排除错误对应点,从而提高了对应点的正确性,使点云拼接质量得到大大的提高。

5结语

三维激光扫描测量产生误差的原因主要有仪器本身的误差、扫描目标的误差和外界环境条件误差等,数据处理误差主要焦距在数据拼接过程中的拼接算法上,改进测量方法和测量条件,采用先进的拼接算法是提高点云数据拼按质量的关键问题。

地理数据的特点范文篇5

一、数理统计与统计学的主要特点

(一)数理统计的主要特点

数理统计就是通过对随机现象有限次的观测或试验所得数据进行归纳,找出这有限数据的内在数量规律性,并据此对整体相应现象的数量规律性做出推断或判断的一门学科。概括起来有如下几方面的特点:一是随机性,就是说数理统计的研究对象应当具有随机性,确定性现象不是数理统计所要研究的内容。二是有限性,就是说数理统计据以研究的随机现象数量表现的次数是有限的。三是数量性,即数理统计以研究随机现象的数量规律性为主,而对随机现象质的研究为次。四是采用的研究方法主要为归纳法。最后,数理统计通过对小样本的研究以达到对整体的推断都具有一定的概率可靠性。用样本推断总体误差的存在是客观的,但是数理统计不仅重在研究误差的大小,还指出误差发生的可能性的大小。

从数理统计的学科特征来看,数理统计是应用数学中最重要、最活跃的学科之一。由此可见!数理统计从学科划分来说,应属于数学学科,但是其重在应用!而不是纯数学理论或方法的研究,故其采用的方法也就重在归纳法,而不是数学的演绎法。

综上所述,数理统计的主要特点可以用一句话概括为、数理统计是一门对随机现象进行有限次的观测或试验的结果进行数量研究,并依之对总体的数量规律性做出具有一定可靠性推断的应用数学学科。(二)统计学的主要特点

统计学是一门收集、整理和分析统计数据的方法论科学,其目的在于探索数据的内在数量规律性,以达到对客观事物的科学认识。

统计学从其研究的范围来说有三大领域:数据的收集$数据的整理和数据的分析。首先,这三大领域随着统计学的不断发展,已很难分辨出哪个领域更重要些。也许有很多人认为数据的分析要相对重要些。在对1900年和1910年美国两次农业普查资料进行分析时,列宁曾指出:“全部问题,任务的全部困难在于,如何综合这些资料,才能确切地从政治上经济上说明不同种类或类型的农户的整个情况。”这足见数据整理的重要性。近年来困扰我国统计研究的并不是数据的分析方法,而是缺少充分真实有效的统计数据,造成无法用数据去检验或证实相应的经济理论、经济模型和经济政策。数据收集的重要性可见一斑。其次,统计学是一门方法论科学。长期以来,人们一直认为在这众多的方法中,统计研究的基本方法是大量观察法、统计指标法、统计分组法和模型推断法。特别是大量观察法更成为统计学最重要的基本特征方法之一,也可以说这是统计学与数理统计的根本区别之一,否则,统计学也就真的成了现代西方数理统计学了。随着统计学由早期的纯粹描述统计不断拓展为描述统计与推断统计并重,直至有的学者认为现代统计学应该以推断统计为主,描述统计为辅,暂且不论这种观点是否有不妥之处,但可足见推断统计学已在现代社会生活中起到举足轻重的作用。事实上,推断统计已成为现代统计学的基本特征之一。再次,统计学从其成为一门科学的那一天起,就把对现象数量方面的研究作为自己的基本特征,但是,同时强调要以对现象的定性认识为基础。

(三)数理统计与统计学的比较

通过上述对数理统计与统计学特点的分析,可以把数理统计与统计学的主要异同归纳为如下几方面:

1.从其研究目的来看,两者都重在揭示总体现象的数量规律性,而统计学更声称要以对总体现象的定性认识为基础。

2.从其研究的途径来看,数理统计希望通过对总体部分个体的数量特征的研究,以达到对总体相应数量特征的认识;而统计学既希望通过对构成总体的全部个体的数量特征的研究(如果可能$或值得的话),以达到对总体相应数量特征的认识,同时也希望能通过对构成总体的部分个体的数量特征的研究,以达到对总体相应数量特征的认识。

3.从其研究的手段来看,数理统计主要依赖于小样本特征值统计分布的数学原理来推断总体的相应特征值;而统计学或者说推断统计学主要依赖于大样本特征值统计分布的数学原理来推断总体的相应特征值。

4.从其研究的主要范围来看,数理统计侧重于对样本数据的定量分析;而统计学不仅重视样本数据的定量分析,而且重视对所获得的总体全部数据的定量分析,同时,重视数据收集方法、数据整理方法的研究。

5.从其利用样本数据对总体进行推断的数理机理而言,概率论是其共同的基础。特别是作为统计学基本方法之一的大量观察法,其数理基础正是概率论中的大数定律;统计学中用大样本可以方便地推断出总体特征的数理基础正是概率论中的中心极限定理,而无论是大数定律还是中心极限定理也都是数理统计的根基。

6.数理统计尽管强调应用性,但是它本身还是一门数学学科,重在应用方法的数理基础的研究;统计学更侧重于对解决社会、经济等现实问题数量分析方法的研究与应用,而方法本身的数理基础的科学性研究,则由相应的理论统计学去研究,事实上,推断统计方法的数理基础的科学性研究,正是数理统计的研究范畴之一。

从上述数理统计与统计学的特点及其比较,可以清楚地看到,随着现代统计学的发展及其在社会政治经济生活中发挥作用越来越大的趋势,数理统计研究问题的理念及其方法已对统计学的发展产生重要的革命性影响,但是,数理统计与统计学毕竟是两门差异较大的学科,不可能简单地加以“统一”。

二、数理统计在统计学中的地位

数理统计与统计学是两门不同的学科,不可相互取代,也不可能像多年来有些学者提出的那样,要建立所谓的大统计,或者说融合统计学,其实质就是要把数理统计与统计学融合起来。但是其融合的直接后果就是现在某些高校所使用的统计学教材中,既有统计学的内容,也有数理统计的成分,不伦不类,细读之,其实就是数理统计的内容与统计学内容的简单拼接。这不能不说是近年来,中国统计学、统计学教材、统计教学的一大悲哀:迷失了自我,盲目地要“与西方接轨”。笔者认为要想理顺数理统计与统计学的关系,就必须对数理统计在统计学中的地位加以深入的研究。

(一)数理统计在统计思想发展中的地位

统计作为一项社会实践活动,已有几千年的历史。“统而计之”,就是人们对统计的朴素认识。随着社会生产力的不断进步,当代的统计已不圄于“统而计之”的范畴。

1.统计作为人们认识社会的最有力的武器之一,已广泛应用于社会、政治、经济、科技等众多领域,而每一个领域有其复杂多样性,若采用简单地“统”,即全面调查几乎是不可能的,但是全面地了解每一个领域的基本情况及不同领域之间的数量联系的规律性,又为现代社会管理所必需。数理统计研究问题的思路和方法,自然而然地为统计学所利用,即数理统计为现代统计学的发展点燃了解决复杂现实问题的科学思想火花——为用总体的部分去说明总体奠定了数理基础。

2.20世纪30年代以来,随着政府要有效地干预国民经济理念的形成,政府以社会经济生活直接参与者的身份出现,基于对全局数据的掌握,大大地推动了统计思想的发展,不仅投入了大量的资金对统计这支“武器”进行开发,更重要的是从立法的角度对统计行为进行规范。在当今许多国家的统计法规中,都明确地规定抽样调查在统计调查中的重要地位。比如,在我国1996年5月经修改后颁布并实施的《中华人民共和国统计法》第二章第十条就明确规定:“统计调查应当以周期性普查为基础,以经常性抽样调查为主体,以必要的统计报表、重点调查、综合分析等为补充,收集、整理基本统计资料”。而抽样调查的基本原理就基于数理统计的推断原理。可见,数理统计的推断理念在统计实践中的地位已用法律的形式确定下来。

3.作为社会经济活动主体的企业单位,在世界经济全球化、区域经济一体化的发展背景下,不仅没有足够的资金、技术支持从事某一方面的全面调查,有时也没有必要通过全面调查以获得生产经营方面的全面数据资料,而抽样调查就足以提供相应可靠的数据作为企业生产经营决策的依据。这也说明数理统计有着微观的现实需要,为微观经济管理活动开辟了无限广阔的前景。在微观统计应用中有着坚实的思想根基。

4.统计的理念,已不仅仅在于用历史数据描述历史的发展特征,而当代更强调通过对历史数据的收集、整理和分析,去预测未来,而这种预测的基础同样基于数理统计的原理。即从历史的时序数据中找出数据的内在数量规律性,以把握未来的走向,即数理统计的分析原理在时间序列数据预测中的作用,同样功不可没。

(二)数理统计在统计方法中的地位

随着数理统计解决现实问题的理念在统计思想中地位的确立,数理统计在统计方法中的重要地位也相应地得以确立。

1.大数定律为数理统计应用于统计学搭起了连接的纽带。大量观察法是现代统计学的基本方法之一,而大数定律又是大量观察法的基础。统计学若没有大量观察法的支撑,则统计分析中的基本指标——平均数与相对数,则失去其应有的作用和意义,可见数理统计在统计方法中的基础地位不容置疑。

2.中心极限定理为数理统计在统计学中的应用铺平了道路。用样本推断总体的关键在于掌握样本特征值的抽样分布,而中心极限定理表明+只要样本容量足够地大,得自未知总体的样本特征值就近似服从正态分布。从而,只要采用大量观察法获得足够多的随机样本数据,几乎就可以把数理统计的全部处理问题的方法应用于统计学,这从另一个方面也间接地开辟了统计学的方法领域,其在现代推断统计学方法论中居于主导地位。

3.数理统计中样本抽样分布的理论,为现代统计学中的方差分析、正交设计等方法的应用同样提供了方法上的理论保证。特别是正交设计在现实工农业生产中的作用,及其对经济的贡献已引起国外学者的高度关注。据日本某些专家估计:“(日本)经济发展中至少有10%的功劳归于正交设计。”这足见数理统计的方法在统计方法中应用的现实意义。

(三)数理统计在统计内容中的地位

统计学是一门关于如何收集、整理和分析统计数据的一门方法论科学。不管数理统计对统计思想的发展有多大的影响,也不管数理统计在统计方法中居于何种地位,数理统计在统计学中的地位还是主要体现在统计分析中的地位。数理统计对数据的收集方法与整理方法的实际影响要比其对统计数据分析方法的影响小得多。也就是说,统计学作为一门方法论科学,其研究领域要比数理统计宽广得多。试图用数理统计取代统计学的观点显然是不正确的,同样试图用大统计学取代数理统计的观点也不正确,毕竟数理统计作为一门数学学科有其自身的不可替代的特点。因此,数理统计在统计内容中的地位,也只能主要体现在统计分析方面。

1.统计数据收集方法的研究仍然是现代统计学的主要内容之一。正如前所述,在我国现阶段如何获得大量真实有效的统计数据,是我们所面临的迫切任务之一。不真实、不全面的统计数据,使国家的宏观管理"经济理论’经济模型和经济政策的统计检验,以及企业的生产经营预测、决策,都不能有效地进行。可见,“统计数据的质量是统计全部工作的生命”的观点的正确性。而数理统计在统计数据收集方面的影响仅体现在统计数据调查方式方法方面,即抽样调查如何组织实施的方式方法,在统计数据收集方法中得以突出和强调。

2.相同的原始统计数据,采用不同的整理方法所获得的整理资料可以完全不同,并由此对其采用相同的方法进行分析所得的结论,可能完全相反。这足以说明统计整理的重要性。但是数理统计在统计整理方面却难以发挥有效的作用,毕竟,数理统计研究的依据是小样本,而统计学研究的依据的是大样本。假如统计学不是以大样本或总体的全部个体为研究依据,统计学也许就真的沦为数理统计了。

3.数理统计对统计数据分析方法的影响是显著的。不仅体现在对大样本总体参数估计、非参数估计、相关与回归分析、总体分布型态的判断、一个总体参数与两个总体参数的假设检验、方差分析和正交设计等许多内容上,而且体现在描述统计学中最基本指标:平均数、相对数的计算原理等方面。也许真不可想象,若在现代统计方法的内容体系中缺少了数理统计的关于大样本的分析方法原理,将是怎样一种景象。

三、统计学传播理念的转变

对数理统计与统计学的特点作了比较研究,以及对数理统计在统计学中的地位作了分析之后,让我们再回到统计学知识传播的现实实践中来,可以更清楚地看到我们现在正在做什么、在哪些方面还需要改进、今后该怎样把工作做得更好。

(一)统计学知识传播理念的转变主要体现在如下三个方面:

1.统计是什么。这是对统计的最基本的认识,可以通过加强对统计知识的宣传达到。在现代统计工作中,尽管“统而计之”仍有非常重要的现实意义,但是在我们的统计学教学与其它途径的统计知识的传播中,绝不能仅限于此。不仅要让不同阶层的人,认识到统计对现实社会生活的巨大认识作用,而且要让他们了解统计在国家宏观管理、企业经营预测、决策,以及对经济理论#经济模型、经济政策检验中的重要性,从而使各个阶层的人民群众自觉地参与和配合各级统计机构所开展的统计调查活动,以保证统计数据的真实完整。这就要求我国必须加强统计知识普及教育及统计法规的宣传教育!开辟多途径多手段的统计知识传播途径。这是统计学传播的基础理念。

2.统计为什么,即让统计活动的直接参与者懂得为什么要这样做。显然,这是对统计学传播的较高层次要求。知道为什么要这样做!即要知道统计的原理,这并不需要所有的公民都知晓。事实上,只能是具有一定知识基础的人才可能真正理解,且其途径主要是通过高等学校的统计教学活动。由此就对高校的统计学教学理念提出了挑战:统计学课堂上应向学生教授什么。笔者从事高校统计学教学多年,认为高校统计学课堂上应向学生解释统计方法的原理。高校统计学教学课堂不应过分地强调对统计知识的宣传和如何具体地从事统计活动,而应强调重视统计方法机理教学的传播理念,但这在我国现实的高校统计学教学中并没有真正地形成。

3.怎么做统计,这是统计方法具体应用的问题。可以说当前我国高校统计学教学实质上就是教会学生如何做实际统计工作。如何收集、整理数据,如何用公式去计算某些指标等。显然,这样的工作中学生就可以胜任。而真正为什么要那样组织实施数据的调查、整理,为什么要那样计算。不仅老师介绍的不够!而且教材编写的深度也不够。

由此可见,统计知识的传播理念应大致界定在三个层面上:一是统计基本常识的传播。二是如何开展具体的统计活动。三是为什么那样开展统计活动可以达到预期的目的。不同层面的传播对象是有差别的。知道统计是什么、怎么做统计,相对于懂得为什么要那样做统计,其要求是相当低的。也许只要会记数、会写字的居委会大妈,就可以从事数据的收集工作,而会套用公式的一个中学生就可以计算服从X*2分布的统计量的样本数值。而知道为什么要这样做,没有相应的数理统计知识是万万不行的。另一方面,随着计算机的普及及统计数据处理软件的开发,利用计算机对数据进行分析已变得异常简单,甚至一个孩童都可以教会使用统计处理软件,在这种情况下。是否让学生懂得统计为什么就变得不重要了呢?正相反,在统计学的高校课堂上让学生懂得为什么就更重要了。

四、我国统计学教材改革的方向

从对统计学传播理念的不同层次的要求,及数理统计在统计学中的地位和学生的知识结构来看,改革现行高校统计学教材内容体系及教学理念势在必行。

1.去除现行统计学教材中与数理统计相重复的内容,加强关于大样本的数理统计内容,即增加大样本统计分布的数理基础的内容。

2.强调大数定律及中心极限定理内容的教学。尽管这两个定理是纯数理统计的问题,但由于其在数理统计的教学中,教师通常重视不够,因为小样本问题才是数理统计研究的主要问题,因此,可能一带而过,而它们恰恰是联系数理统计与统计学的重要纽带。因此,在统计学教材中必须增加并突出其内容。

地理数据的特点范文1篇6

关键词:计算机网络;故障排除;计算机应用

随着科学技术的发展,计算机应用的普及,我们的生活发生了翻天覆地的变化。计算机网络已成为我们社会结构的一个基本组成部分。人们通过计算机网络远程办公、网上购物、与异地的朋友交流聊天、使用电子邮件收发信件等等;网络对于今天的公司或企业也已经是必不可少的,如公司内部资源的共享、视频会议、网上交易、公司业务的管理等等。

1.计算机网络的概念

所谓的计算机网络,就是一组自治计算机互连的集合。自治是指每个计算机都有自主权,不受别人控制;互连则是指使用通信介质进行计算机连接,并达到相互通信的目的。通俗地说,计算机网络就是把分布在不同地理区域的独立式计算机以及专门的外部设备利用通信线路互连成一个规模大、功能强的网络系统,从而使众多的计算机可以方便地互相传递信息,共享信息资源。

2.计算机网络故障及故障的排除

在排除比较复杂网络的故障时,我们常常要从多种角度来测试和分析故障的现象,准确确定故障点。网络故障极为普遍,网络故障的种类也多种多样,要在网络出现故障时及时对出现故障的网络进行维护,以最快的速度恢复网络的正常运行,掌握一套行之有效的网络维护理论、方法和技术是关键。就网络中常见故障进行分类,并对各种常见网络故障提出相应的解决方法。

2.1物理层及其故障排除

物理层(PhysicalLayer)是OSI参考模型的最底层或称为第一层。它并不是指物理设备或物理媒体,而是有关物理设备通过物理媒体进行互连的描述和规定。物理层协议定义了接口的4个基本功能特性,即:机械特性:说明了接口所用接线器的形状和尺寸、引线数目和排列等;电气特性:说明在接口电缆的哪根线上出现的电压应在什么范围,即什么样的电压表示I或O;功能特性:说明某根线上出现的某一电平的电压表示何种意义;规程特性:说明对不同功能的各种可能事件的出现顺序。

物理层以比特流的方式传送来自数据链路层的数据,而不去理会数据的含义或格式。同样,它接收数据后直接传给数据链路层。也就是说,物理层只能"看见O和I",它没有一种机制用于确定自己所处理的比特流的具体意义,而只与数据通信的机械或电气特性有关。比如说:传输介质是铜质电缆、光纤还是卫星,使用什么样的物理信号来表示数字"O"和"I",如何建立和终止通信连接:物理接口(插头和插座)有多少针以及各针的用处等。

2.2数据链路层及其故障排除

数据链路层(DataLinkLayer)是OSI参考模型的第二层。它的传输单位是帧,通常帧由地址段、数据段、控制段、校验段等字段组成。数据链路层的主要作用就是通过数据链路层的协议在物理链路上实现可靠的数据传输。数据链路层的主要功能包括以下几点:数据链路的建立、维持和释放。当网络中的设备要进行通信时,通信双方必须先建立一条数据链路,同时,在传输过程中要维持数据链路,而在通信结束后要示范数据链路;数据链路层还负责对信息流量的控制。为了确保正常的收发数据,防止发送方数据过快,流量太大,导致接收方的缓存溢出,网络出现拥塞,就必须及时控制发送方发送数据的速率。数据链路层能够有效的进行差错控制。在数据链路层的传输单位"帧"传输时可以采用前向纠错和后向纠错这两种差错控制方法来实施对帧的差错控制。数据链路层采用了透明传输的方法将帧中的数据和控制信息分开而不对数据的内容进行处理。

数据链路层负责在网络层与物理层之间进行信息转输,它规定了介质如何接入和共享、站点如何进行标识、如何根据物理层接收的二进制数据建立帧。数据链路层的设备有网卡、网桥和交换机、封装的不一致是导致数据链路层故障的最常见原因,当链路带宽被过度使用往往容易引起间歇性的链接失败或网络性能下降。数据链路层常见的故障主要体现在网卡故障、交换机故障、ARP故障、VLAN故障等。

2.3网络层及网络层故障

网络层利用了数据链路层的功能,通过一个或数个通信网(数据网、电话网等)在计算机和其他终端等系统之间实现透明数据转移。网络层向上一层(传输层)提供了开放系统间端点到端点(End-to-End)之间的网络连接的建立、保持和释放。网络层提供不同网络系统间传输所需的规范,负责实现数据的分段打包与重组以及差错报告,更重要的是它负责选择信息通过网络的最佳路径。

路由器是一种典型的网络层设备。它负责在两个局域网的网络层之间按帧转输数据,转发帧时需要改变帧中的地址。一般说来,异种网络互联与多个子网互联都应采用路由器来完成。路由器的主要工作就是为经过路由器的每一个数据帧寻找一条最佳传输路径,并将该数据有效地传送到目的地站点。为了完成这项工作,在路由器中保存着各种转输路径的相关数据-路由器供路由选择时使用。地址错误和子网掩码错误是引起网络层故障最常见的原因;因特网中的地址重复是网络故障地另一个可能原因;路由协议是网络层的一部分,也是网络层故障排除重点关注的内容。

排除网络层故障的基本方法是:沿着从源到目的地的路径查看路由器上的路由表,同时检查那些路由器接口的IP地址。通常,如果路由没有在路由表中出现,就应该通过检查来弄清楚是否已经输入了适当的静态、动态路由,然后,手工配置丢失的路由或排除动态路由协议选择过程的故障以使路由表更新。

2.4应用层及其故障排除

应用层是OSI的最高层(第七层),专门用于应用程序的。应用层负责对软件提供接口以使程序能使用网络服务。这里的网络服务包括文件传输、文件管理、电子邮件的消息处理等。应用层直接为用户的应用进程提供服务,确定进程之间的通讯性质以满足用户需要。其协议很多,如HTTP、SMTP、FTP等在应用层检查网络故障,应重点注意计算机浏览器是否设置正确,是否启用了安全策略,

是否安装了杀毒软件并更新最新病毒库、操作系统是否打上最新补丁等等。另外,针对单独软件则具体情况具体分析。

能够正确地维护网络,并确保出现故障之后能够迅速、准确地定位问题并排除故障,对网络维护人员和网络管理人员来说是个挑战,这不但要求他们对网络协议和技术有着深入的理解,更重要的是要建立一个系统化的故障排除思想并合理应用于实践中,将一个复杂的问题隔离、分解或缩减排错范围,从而及时修复网络故障。

参考文献:

[1]施晓秋,计算机网络技术,北京:高等教育出版社,2006

地理数据的特点范文篇7

[关键词]岩土工程勘察数字化技术实施

[中图分类号]P231.5[文献码]B[文章编号]1000-405X(2013)-12-97-1

1传统的岩土工程方法存在的问题

1.1过于地质化的勘察资料

长期以来,勘察专业间分工较细(测量、水文地质、钻探、原位测试、物探、土工试验等),专业间以及现场与室内间难免出现配合偏差,同时岩土工程新技术和新方法相对较少,也没有建立合理的应用体系,在专业设置方面也过于细则化。造成不同勘察人员出来的勘察报告可能有较大的差别。加之设计人员大多不熟悉勘察,仅从勘察报告中获取相应的信息和数据,造成设计人员不能够很好的理解岩土工程信息,导致勘察与设计工作难以实现连接与转化。从而导致勘察与设计工作中人力和财力的浪费,甚至出现设计不合理情况。

1.2数字化地图和数字化系统的贯通性不足

地形图在设计系统中处于基础地位,是设计系统的底图。但数字化地图在技术研究层面还没达到一定的高度,造成其与CAD设计软件之间不能够实现很好的匹配,妨碍对接工作的实现。

1.3勘察信息的数字化水平较低

勘察部门向设计部门提供信息时,按传统的做法提交设计图纸、表格以及相应的文字报告。这种方式的缺点在于,针对信息内容,采用了过多的定性描述,同时报告也含有勘察人员的主观认识和判断,因此设计人员难以准确理解相关勘察信息,在处理和利用勘察信息的过程中遇到很多困难。

2数字化勘察技术概述

数字化岩土工程勘察从狭义角度,即通过一定的手段将工程项目的所有信息进行组合,并借助计算机辅助信息的流程,实现勘测设计的数字化,该数字化是以现代化CAD技术取代传统的手工方式。采用手段主要是运用计算机技术,如数据库技术、计算机技术、网络通信技术以及CAD技术,并通过计算机运行获得相应信息。数字化岩土工程勘察是一套具有现代意义的工程勘察设计体系,其特点表现在高效益、高柔性、智能化等。在数据采集信息化、勘察资料处理以及硬件系统网络化等方面,能够与多个专业和多个工种之间实现很好的结合。通过数字化的技术体系,将工程所需要的图纸、图像以及表格、数据、报告等,通过数字化的形式予以贮存,便于各个专业使用。

3岩土工程勘察数字化技术与实施

3.1岩土工程数字化建模方法

岩土工程地质建模的方法类型较多,其中较有代表性的是表面模型法,也是传统的建模方法,其主要是利用工程地质体的外表面,使人们能够较为正确的掌握均质地质体的一种方法。虽然年代较为久远,但目前为止,这种方法的采用仍然受到人们的广泛欢迎。这种建模方法所使用的数据来源于一些处于离散状态的测点资料。

主要包括两种数据类型,一是集合特征数据,二是属性特征数据。得到这些数据之后,利用其对地质体界面结果进行解释。对地质体的空间属性确定是依靠一系列属性相似的点,将这些点以一定的规则相互连接,当构成了网状曲面片后,空间属性便确定,在勘察过程中,要展示表面的方法有很多,较为常见的有数学模型法、图示模型法。笔者在本文中主要对图示模型法进行讨论。图示模型法中的类型很多,如边界表示法、规则格网法、等值线法以及不规则格网法。为了阐述岩土工程勘察数字化技术的相关问题,笔者对不规则格网法进行重点介绍。不规则格网法使得区域之间形成一种划分格局,这种划分格局,通过有限的几个点,使得每个格局都成三角面网络。在区域中,三角面的顶点、边上、以及三角形内有很多任意点,假如任意点并未落在顶点上,则表明的是该点的数字属性值的计算途径是线性插值。此时,在三维空间实现了一个模型,该模型是分段线性,即TIN,虽然在区域内是处于连续状态,但不可微。在记录过程中,对三角形、边以及节点进行记录。针对三角形的记录,则包含了其指向三边的指针。在对边进行记录时,所包括的内容有四个指针字段,其中两个都是指向相邻三角形,另外两个则是指向顶点。针对每个节点,其坐标值字段包含了三个,存储的对象分别是XYZ坐标。采用该拓扑网络结构的优点在于通过特定的三角形,对其顶点以及相邻三角形进行查询,且查询所用的时间都是固定的。其计算的效率较高,尤其是针对地形坡面线采用直线计算方法时。为了减少特殊运算的时间,可以在原定的结构基础上,增加一些变化因素。

3.2数字化岩土工程勘察实施

数据化岩土工程勘探的数据主要包括两个方面,一是地理信息方面,二是空间数据处理。这些数据的获取来源范围较为广泛。主要表现在两个方面,一是基础数据地理数据的获得。这些数据的获得来源有自然区划图、地形地貌图。针对自然区划图,该图制作的目的是为了对特定区域内的地理区划、河流、道路以及居民区、山川等进行具体描绘。针对地形、地貌图,顾名思义,即是对特定区域的自然地形或者地势的状况描述。同时,针对岩土工程勘察数据可以对一些区域工程地质勘探资料进行收集,同时对这些数据进行筛选以及处理等,其中各勘探点要注意收集包括地理、环境以及土的物理力学等信息。综上所述,数字化岩土勘探工程数据库系统的建立,笔者认为可以按照如下顺序进行,通过数字化系统建立岩土工程勘察数据库的概念分析,并对岩土工程勘察数据库管理工作给予重视。此外,实现数据库的建立,收集岩土工程一体化系统中的数据,这些数据包括用户输入的原始数据,中间数据以及最终数据,根据这些数据建立相应的模型,如等值线模型、三维面模型以及剖面模型等等。用户借助这些模型能够获得所需要的各种材料,从而处理并利用相关的信息。

参考文献

[1]马莉.浅谈岩土工程勘察中存在的若干问题[J].山西建筑.2009(04).

地理数据的特点范文篇8

我国于2010年推出的《数字城市地理信息公共平台地名/地址编码规则》,为地名地址数据的标准化和共享提供了系统、科学的体系[1-3]。依据规范,地名数据可分为3种形式:地名、地址和POI(pointofinterest,兴趣点)[4]。地名是人们对各个地理实体赋予的专有名称,属于面状空间形态,空间指代性较模糊;地址是对地理实置的具体结构化描述,属于点状空间形态,空间指代性较具体;POI是人们对感兴趣点位的信息描述,一般为地名或地址+实体名称的形式。根据宁海县的实际情况进行补充和完善,本系统将地址要素分为9大类15小类,如表1所示。

2系统设计及实现

2.1系统总体设计

区别于传统的地名地址管理系统,本系统是一个融合测绘、规划、民政、公安、工商等部门资源,包括地理信息技术和分布式数据库技术的综合性工程,涉及地名地址、空间数据、GIS、网络分布式信息处理系统和大型数据库等复杂要素。系统设计在满足计算机软件工程的基本要求和原则外,还需要实现以下目标:1)地名地址分类标准化。2)民政、公安、工商、测绘等部门地名地址资源的整合。3)系统应结合目前主流的二维和三维开发平台,实现地名地址要素与二维地理实体(房屋面)、三维地理实体(建筑模型)的一体化。4)系统应保证各类数据成果的安全高效存储和管理,并方便地名地址数据的入库、查询、分析统计。按照上述要求,为充分发挥GIS的服务功能,系统采用C/S模式进行开发。二维基础地理平台使用组件式GIS软件——ArcGISEngine,ArcGISEngine封装了大部分ArcGIS底层功能模块和方法,具备强大的地理分析应用功能[5]。三维基础地理平台使用目前与ArcGIS结合最好的Skyline公司的TerraExplorer软件,TerraExplorer能够实现三维影像的交互式体验,并实现对ArcGIS数据格式的良好支持。系统按照架构分为硬件基础层、数据层、应用层和交互层,如图1所示。

2.2系统功能设计

地名地址管理系统集地名地址、二维系统和三维系统为一体,系统主要分为地名地址数据入库与编辑、POI数据入库与编辑、数据分析和系统管理4大组成部分。地名地址/POI数据入库与编辑功能主要包括要素的新建、编辑、查询和批量入库,要素与三维建筑模型数据的关联等;数据分析主要包括图面和属性查询、数据审核、数据导出和书签管理功能;系统管理主要包括用户管理和角色管理,用以实现不同人员的系统操作权限,从而保障系统的安全性,明确各部分的责任人。系统的功能结构如图2所示。

2.3数据管理

地名地址管理系统的数据种类多样,主要包括二维影像地图集、二维基础地理底图、三维地形文件、建筑模型、地名地址数据、POI数据等。按照数据的结构,可分为文件系统和数据库系统。文件系统主要存储二、三维基础地理要素。二维影像地图和基础地理底图采用瓦片切图的形式,利用ArcGISServer。三维地形文件由航摄影像和DEM叠合而成,通过TerraGate;三维矢量建筑模型和三维场景文件由IIS。数据库系统采用ArcSDEforSQLServer数据库,实现了关系数据库和空间数据库的一体化管理,主要存储地名地址数据、POI数据、模型点位数据、用户数据等。

3系统关键技术

3.1基于条件随机场的地名地址要素识别

地名地址数据管理中,如何整合已有的大量不同数据源和数据格式的地名地址数据是有待解决的一个重要问题。本系统通过地名地址分类标准化体系,实现了基于条件随机场的地名地址要素识别。条件随机场是由Lafferty在研究序列化数据标注的过程中提出的,它是对最大熵模型的改进,具备最大熵模型的一切优点,是近年来应用在自然语言处理和图像处理等研究领域的一种新的数学模型工具[6]。条件随机场模型建立的关键是参数估计和特征选取。参数估计是从训练数据中训练模型,求解每一个特征的权重参数,即权重向量λ={λ1,λ2,…,λn}的过程;特征的选取是筛选出具有表征意义的特征,关键在于根据具体任务抽象出合适的特征模板集。本系统中,为了能够应用基于字的标注方法来识别中文地名要素,使用4词位标注集来表示地址要素类别。根据中文地名的平均词长特征和于江德的语料测试,下文对识别性能的贡献比上文的贡献要高出6个百分点以上[7],系统选择非对称的地名要素上下文窗口,上文的宽度为3,下文的宽度为5,如图3所示。基于中文字符特性,在选取特征时主要考虑单个字符的信息,从而抽象出3类特征:原子特征、复合特征和词位转移特征。经实验,在20万条训练语料规模下,基于条件随机场的地名地址要素识别对各项分类字段的成功率达到84.39%以上,大大提高了地名地址分类的准确性,降低了人工成本。

3.2数据入库

地名地址管理系统的核心是数据的入库管理,按照数据的来源,可分为新建数据入库和已有数据入库两种方式。1)新建数据入库。新建数据入库是指在系统内通过新增地名地址/POI要素入库的方法。按照系统设计原则,新建数据须严格执行规范要求,依次进行位置信息匹配、完整性检查、重复性检查、邻接关系检查和管理员审核,审核通过后才能入库。2)批量数据入库。批量数据入库与新建数据入库流程相同,首先执行数据的完整性检查,然后进行数据的各项拓扑关系检查,最后由管理人员审核入库。

3.3二三维联动

二三维联动不仅包括二维与三维视图显示区域相一致,还表现在两个场景属性数据、分析结果的一致性[8]。二维和三维显示区域联动是基于两者统一的坐标系实现的。三维联动二维可通过TerraExplorer的ScreenToTerrain方法获取中心点坐标和四至,再由ArcGISEngine的Extent属性实现三维到二维的联动。二维联动三维较复杂,可通过建立二维比例尺和三维视点高度的转换系数,再利用二分法实现坐标转换。三维地名地址/POI图层采用流方式加载,与二维图层采用同一套数据,确保了二三维属性数据的一致性。同时,系统在查询和分析等操作时也要保证显示效果的一致性。系统的三维界面如图4所示。

4结语

地理数据的特点范文篇9

关键词:摄影测量;空中三角测量;航空影像

1引言

智能空中三角测量与传统空中三角测量的区别主要在于提高软件的智能化和自动化程度。系统的智能化提高体现在能够通过数据处理流程的改变、提高影像匹配中自动粗差剔除能力、对空三区域自动分区自由网平差、自动识别弱区,减少空三的人工干预,对于计算机无法进行全自动的环节,则能够通过自动统计弱区信息指导作业员进行半自动作业(即"机人交互"式作业),让作业员在进行空三时能够在计算机的引导下做到有的放矢。智能空中三角测量的计算量是巨大的,为了提高智能空中三角测量的效率,需要在智能空中三角测量应用并行处理机制,提高智能空中三角测量系统的处理效率,特别是对于没有直接几何定位数据的影像尤为重要,大量的影像处理计算消耗了大量的系统资源,多片影像匹配计算也是占据系统计算资源的重要方面。虽然当今计算机性价比在不停地提升,但摄影测量中计算量也随着自动化程度的提高和数据量的增加而增加,要求计算机的处理性能不断提升。因此仅仅利用单一的计算机进行摄影测量的数据处理,已不能满足当今摄影测量的要求,需要充分利用网络技术和大数据量存储共享技术,分布式计算技术,将大量的摄影测量计算任务同时分解到不同的独立计算单元上,以缩短整个智能空中三角测量系统数据处理时间。因此研究智能空中三角测量系统的任务分解,将原数据处理流程中按顺序处理的过程,分解成多个相对独立、不相关的子处理过程,由系统中的独立计算单元独立同时处理完成,实现智能空中三角测量并行处理机制,从而提高智能空中三角测量系统的效率。

2智能空中三角测量的系统组成

智能空中三角测量系统由四部分组成,即数据预处理、自动像点量测与"机人"交互编辑、自动控制点点位布设与量测以及光束法区域网平差。

2.1数据预处理

数据预处理包括影像数据的预处理和几何数据预处理两个方面,影像数据的预处理包括影像畸变改正、影像增强CWamis变换)、影像旋转以及金字塔影像生成等方面。几何数据预处理即空三区域中影像拓扑关系建立,包括区域航带影像列表等空三加密区域基本信息的建立,摄影区域相机参数的建立,影像间初始关系的建立。

2.2自动像点量测与"`机人"交互编辑

自动像点量测是智能空三中的关键部分,包括影像匹配与转点、自动粗差剔除、弱区分析、空三区域的自动分区以及"机人"交互编辑等功能组成。

2.3自动控制点点位布设与量测

自动控制点位的设计与自动量测是利用自动影像匹配技术对影像进行影像匹配,获取影像间的连接点,并通过区域网构建影像间的相互关系,根据可靠性理论和区域网平差分析区域中的最弱区以确立控制点位。主要包括以下方面的内容:

(1)对各分区进行自动点位预设;

(2)对自动预设的像控点区域进行影像特征分析,提取特征点,采用适合像控点要求的特征点提取方法,提取如房屋角点、道路交叉口等人工明显地物点及自然点状特征、线状特征交点等,选择控制点。

(3)利用多片特征影像匹配方法进行控制点像点的自动量测。

2.4光束法区域网平差

高精度自动空中三角测量解算完成以下功能:病态法方程系数矩阵的求解,不同类观测量的自动定权,附加系统误差参数的引入与自适应解算。

3智能空中三角测量数据处理

3.1智能空中三角测量的总体数据处理流程

根据智能空中三角测量的功能组成构成了总体数据流程的四部分,其顺序为数据预处理、自动像点量测与"机人"交互编辑、自动控制点点位布设与量测以及光束法区域网平差,流程图如图1所示:

图1智能空中三角测量系统总体流程图

从图1可以看出四个部分数据处理流程是一个数据流串行结构,即只有完成前一处理流程后方可进行下一步的数据处理,前一阶段的数据处理是下一阶段数据处理的保障。而传统的自动空中三角测量的流程相比,增加了"机人"交互和自动控制点点位布设和自动量测处理流程,突出了计算机的智能化功能。

3.2数据预处理流程

数据预处理包括影像数据的预处理和几何数据预处理两个部分,分别得到预处理影像数据和区域影像列表和初始拓扑关系。

(1)基于导航数据、GPS/IMU等辅助数据的拓扑分析,建立空二区域的影像列表与初始拓扑关系。

(2)基于GPU和CPU协同的快速SIFT算子的快速无序影像的自动整理,建立影像列表和初始影像间的拓扑关系。

(3)人工分别建立航带影像列表,航带间影像的对应关系则通过量测航带间种子点的方法确定,最后按固定的影像重叠度或固定基线长度的方法,可以区域中影像间的初始关系。

3.3自动像点量测与"机人"交互编辑

自动像点量测包括以下几个步骤:

(1)基于分层金字塔的由粗到细的分频道相关策略进行两两影像的影像匹配,目标点是基准影像按格网提取的特征点和上一模型的匹配点,逐级匹配后按最小二乘高精度影像匹配获得目标点的同名像点,这样就究成了影像匹配和转点。

(2)误匹配点自动别除分为模型内的基于共面条件的RANSAC算法剔除不满足共面条件的误匹配点。

(3)自动标准点位选点的目的有两个,一是为了减少自动量测点的数量,便于提高量测点的质量。二是为了分析像片连接条件和状态。

3.4自动控制点点位布设与量测

自动控制点点位的布设是为了减轻外内业人员的劳动强度,提出的一种室内控制点布设方案,可以在影像上自动布设控制点,并自动量测控制点的像点坐标,以降低二次判读和观测误差。

(1)根据自动像点观测值和自动分区信息进行分区自由M平差,建立影像间的叠置分析数据结构。

(2)按周边布点方案。

(3)利用明显特征点提取方法,在控制点位的粗略位置区域内搜索明显特征点,并采用多片影像匹配技术进行控制点的像点量测,获得控制点在其它相邻影像上的同名像点坐标。

(4)以基本片的控制点的像点坐标为中心,输出控制点影像至移动设备,指定外业人员测量控制点的地面坐标。

4结语

智能空中三角测量是最终实现全自动空中三角测量的必由之路,基本实现了计算机智能化的处理,但离摄影测量工作者期待的全自动化还有些距离,因此对空中三角测量的研究仍是从事摄影测量研究者任重而道远的艰巨任务。

参考文献:

[1]李学友.GPS/IMU辅助航空摄影测量原理、方法及实践[D].中国人民信息工程大学,2005.

地理数据的特点范文篇10

关键词学科馆员科研数据角色分析

分类号G251.6

TheRoleAnalysisofSubjectLibrarianintheResearchDataManagement

MuXiangyang,HongYue

AbstractThedefinitionofthescientificresearchdatamanagementanditsmainlinksweredeeplydiscussedbythispaper.Italsosummarizesthemaincharacteristicsoftheresearchdatamanagement,andanalyzestherelationshipbetweenthemanagementandsubjectlibrarians.Takingthewholelifecycleoftheresearchdataasthemainline,eachpartoftheworkcontentsandwaysoflibrarianweredeeplydiscussed.Thepapertriestoprovidesomereferenceforsubjectlibrariansintheiractualwork.

KeywordsSubjectlibrarian.Researchdata.Roleanalysis.

E-science环境使得原有的科研范式发生了悄悄的改变,以数据密集型为基础进行科学发现的第四范式将会越来越受到重视。大数据时代的到来提供了足够的技术手段,使得科研工作能够更好地管理以及利用数据。数据管理已经成为图书馆非常重要的服务内容,而承担这部分工作的将主要是学科馆员。早在2008年,国内外一些专家学者便提出了学科馆员2.0概念[1]。学科馆员2.0主要体现为服务的主动性,科研活动整个流程的参与性以及与专职科研人员更好的协作等。美国研究图书馆协会(ARL)在ASpecialIssueonLiaisonLibrarianRoles上全面探讨了学科馆员的未来发展方向[2]。在新的服务内容面前,学科馆员的角色需要重新定位。

科研数据管理涉及到众多学科,从数据流的角度来看不同学科的科研数据管理具有不同的特征,这些特征决定了学科馆员的数据管理服务应该包含不同的管理及工作模式。因而有必要对数据管理的整个数据流所包含的不同环节,以及学科馆员在各个环节中的参与方式进行深入研究。

1科研数据管理的定义

科研数据是指数字形式的研究数据,包括在研究过程中产生并存储于计算机上的任何数据[3]。从存储形式上,包括文本型、数值型以及多媒体型等。科研数据具有如下一些特征:(1)科研数据是科研过程中形成的第一手资料,具有客观性以及档案文件价值,比如,遥感勘测数据、实验数据等都具有这样的特征,有的科研数据稍纵即逝如果不对其进行有效保存将造成极大损失;(2)科研数据作为第一手科研资料具有可重复利用的特点,从而有助于科学质疑公开以及节约研究成本等;(3)科研数据能够更好地支持大数据分析,通过深度数据挖掘更好地支持学术创新;(4)科研数据本身具有建构性特点,也就是说科研数据在整体上属于一个自组织的有机体系,它们以建构性特质体现人类知识的整体性。正是科研数据具有如上一些特点,其重要价值已经引起学界充分关注。图书馆作为信息与知识服务机构,也已经将数据管理作为自身的一项重要服务内容。比如澳大利亚莫纳什大学,在科研数据管理方面一直是澳大利亚国家数据服务的领导者[4]。

科研数据管理可以被看作是围绕着科研数据整个生命周期的管理活动,围绕各个环节会产生不同的服务方式。澳大利亚国家数据服务网(ANDS)认为,科研数据管理包括以下八个过程:创建、存储、描述、鉴别、注册、发现、获取、开发[5],每个阶段都会涉及相应的服务形式。科研数据管理对于图书馆来说是一种科研过程参与性以及融入性都很高的服务方式,学科馆员在科研数据管理中将扮演十分重要的角色。科研数据管理也对学科馆员的个人知识结构以及综合素质等提出了更高的要求,如何在科研数据管理服务过程中更好地发挥学科馆员的创造性价值,如何与学科馆员个人的发展相结合起来等问题都需要进行深入的研究。从科研数据整个生命周期体现的信息流环节入手,在每个环节探讨学科馆员的参与方式,可以使学科馆员在数据管理中扮演的角色更加具体,也可以使学科馆员在科研活动中的分工更加明确。

2科研数据数据流

科研数据构成了一类特殊的建构性信息资源,具有信息资源生命周期的基本结构,但是也有区别于其他信息资源生命周期的特征。由于学科性质的差异,不同学科其科研数据在信息流上也体现出细微的差别,这些差别要求学科馆员必须了解自己所服务学科的特点。比如社科类科研数据无论从资源的获取上,以及资源的鉴别上都区别于自然科学类科研数据,因而决定了不同学科的学科馆员在服务角色上的差异,有些学科其学科馆员的科研参与性将更强,而有的学科其学科馆员的参与性则相对较弱。因而有必要从科研数据的信息流不同环节入手,有分别地探讨学科馆员的参与方式。科研数据整个信息流过程如图1所示。

图1科研数据的信息流

(1)科研数据的采集。是指通过相应的技术手段获得数据的过程。比如直接采集科研过程中形成的数据,或直接从观测仪器中获取相应数据等。科研数据也可以来源于非数字资源的数字化等过程。学科、环境、技术手段等方面的差异,也使数据采集的方法以及手段上存在很大不同。

(2)科研数据的鉴别。科研数据因为具有档案价值,而且能够被不同研究反复使用,所以其学术权威性必须得到充分保证。对其存储之前,必须要进行科学地鉴别,以保证科研数据资源集的客观性以及内在统一性。

(3)揭示与描述。经过鉴别的科研数据要被充分揭示,从而获取科研数据资源的内在特征,在此基础上,通过相应的元数据进行描述。经过这一环节,科研数据便可以保存到相应的存储设备上。

(4)存储。经过揭示与描述处理后,便可以将科研数据存储起来供用户使用。由于科研数据具有可重复操作的特征,因而应该选用相应的数据存储格式以保证数据的可重用性及易用性。另外,数据的存储还应该注意与其他相关数据格式间的关系,以便于对整个数据集进行大数据分析等。

(5)利用。科研数据的利用,主要是指从整个数据集中检索出数据供用户使用的过程。另外,也包括图书馆自身的研究工作对科研数据的使用等。

(6)剔除。科研数据作为一种信息资源,同样会涉及到信息老化问题。比如随着技术的进步对于同一现象的观测数据越来越精确,那么更精确的数据将取代原有的数据从而造成了老化资源的剔除等。

3科研数据管理与学科馆员

3.1科研数据管理的特征

科研数据管理是一项非常复杂的管理活动,它涉及到科研数据从产生到最后被剔除的整个过程。从上文的科研数据信息流来看,其具体环节跟一般的图书馆信息流也存在很大不同,比如对科研数据进行鉴别这一环节是其他信息流所不具备的。另外,科研数据学科性质上的差异,也造成了管理方法、手段以及服务形式上的差异。科研数据管理所具有的特征可以总结为如下几点:

(1)科研数据管理要求馆员具有更多的参与性以及相应的学科背景知识。科研数据管理要求馆员能够具有相应的学科背景,从而以自身完备的知识结构更深入地参与到相关的科研工作之中。学科馆员将会成为科研工作的重要力量,他们可以无缝地参与到科研数据信息流的整个过程,并具有不可替代的重要地位。

(2)科研数据管理具体方法、手段受到学科性质的影响。学科性质决定了其科研数据上的差异。无论从科研数据的采集上还是管理方法以及数据的老化规律上,理工类科研数据都明显不同于社会科学类科研数据,因而科研数据的具体管理模式受到学科性质的影响。

(3)科研数据管理是跨界管理、动态管理以及嵌入管理的结合。科研数据管理并不属于传统图书馆的服务范畴,另外它还涉及到不同组织之间的深入合作,它是一种跨界服务。学科馆员应该更好地嵌入到科研团队以及用户之中,它也是一种嵌入式服务。另外,科研数据管理是一个连续的过程,服务还呈现连续性与动态性等特征。

(4)科研数据管理需要维护数据宏观层面的内在统一性以及客观性等。科研数据作为一种具有档案价值的信息资源,其价值及学术权威性来源于数据的客观性及可重用性等特征,而作为学术质疑的最后评判,科研数据应该保证其自身的内在统一性及客观性。这需要学科馆员具有相关的知识背景以及敏锐的眼光,能够对科研数据进行科学鉴定。

3.2学科馆员与科研数据管理之间的关系

从上述几点特征上看,科研数据管理与学科馆员之间具有十分自然而紧密的关系。学科馆员无疑将成为科研数据管理的主要力量。科研数据信息流整个过程所包含的诸多环节,学科馆员都可以参与其中,在某些环节学科馆员将成为最主要的角色。凭借图书馆拥有的资源优势,学科馆员完全可以提供深度知识产品,创新服务方式,提升服务的水平。学科馆员与科研数据管理之间的关系具体包括如下几点:(1)科研数据管理拓展了学科馆员的服务边界,使学科馆员从单纯的服务型向服务与科研相结合的类型转变,从而更好地促进学科馆员的个人发展。(2)科研数据管理的具体模式会因学科性质不同而不同,所以必须要求管理人员具有相应的学科知识背景。学科馆员应专注于所服务的具体学科,在知识结构上要能够满足科研数据管理的要求。(3)科研数据管理能够使学科馆员的知识结构得到进一步完善和发展,对科研过程的深入参与使得学科馆员能够将工作与个人发展更好地结合在一起,并为其提供更好的智力创新机会。(4)除参与到科研数据管理信息流的整个过程,学科馆员还可以提供大量的辅助,比如通过技术支持、活动组织以及相关内容培训等保证科研数据管理的顺利展开。

科研数据管理是一项非常复杂的任务,涉及到众多的服务形式。以科研数据信息流为主线,从学科馆员的视角出发,能够更好地定位学科馆员的角色,也能够更好地将科研数据管理与学科馆员的个人成长结合起来。

4学科馆员在数据管理中的具体角色

科研数据信息流所包含的各个环节涉及到不同的管理工作,学科馆员可以不同程度地参与到具体的科研工作之中,从而可以进行不同程度的创造性劳动。每个环节涉及到的工作内容不同,有必要针对不同的信息流环节进行讨论,明确学科馆员在不同环节中的具体角色。

4.1学科馆员在科研数据采集中的角色

科研数据的采集是指从信息源直接获取数据的过程,数据的获取主要包括三个方面:(1)通过实验或者仪器进行观察而得到的科研数据;(2)通过已有文献的分析、调查问卷等方式获得的数据;(3)主要对已有非数字化数据资源的数字化。学科性质的差异决定了数据获取方式上的差异,第一种通过实验或仪器观测获取科研数据的方式主要存在于理工学科。这种科研数据获取方式中,由于专业性较强以及设备操作需要专门的知识等原因,学科馆员的参与性相对较低,其主要工作在于跟科研人员建立良好的沟通渠道,及时准确地将科研数据保存起来,分担科研人员存储数据的工作。第二种方式主要存在于社会以及人文学科之中,相对于第一种方式来说,学科馆员在这些学科的数据采集工作中参与性相对较强,可直接参与到相关数据的获取工作。比如,采集某一历史阶段特定社会群体的相关数据,制定数据采集计划后,学科馆员完全可以与相关科研人员协同起来,分头进行数据采集任务。由于历史类数据主要通过相关历史文献等渠道获取,学科馆员便可以利用图书馆的资源优势进行相关的文献分析,从而得到所需的研究数据。学科馆员也可以参与问卷调查等数据获取工作。数据获取以后,学科馆员还应该负责数据的格式转换、汇总等操作,将分散的数据集中起来统一存储。第三种方式也是学科馆员进行数据采集的重要方式,将图书馆馆藏的非数字化数据转换为数字化存储,是充分挖掘馆藏资源的重要手段,可以将这部分转化后的数据直接提供给用户使用。

4.2学科馆员在科研数据鉴定中的角色

科研数据从采集到存储的过程必须要经过鉴定,这是由这种资源的固有特点决定的,因为科研数据是客观实在的定量反映,具有极强的客观性,从而也决定了其数据集在宏观层面的逻辑统一性。现实中的科研数据是良莠不齐的,如果不对其进行严格的质量控制将会造成资源自身逻辑上的矛盾。因而在科研数据资源进入存储之前,需要具有相关数据管理经验的人员对其进行必要的鉴定。学科馆员既具有相关学科的知识基础,又具有数据管理的工作经验,科研数据的鉴定自然成为了学科馆员的一项非常重要的任务。数据鉴定也对学科馆员提出了更高的要求,学科馆员需要从宏观层面了解科研数据资源的整体情况,需要具有敏锐的职业眼光对科研数据的真伪以及优劣进行判断。在E-science时代,学科馆员的跨学科优势将更为重要,在嵌入科研的过程中学科馆员的分工也更加明确、深入。

4.3学科馆员在科研数据揭示与描述中的角色

对经过鉴定的科研数据进行保存,还需要揭示与描述这一环节。所谓科研数据的揭示是指对科研数据进行充分的分析,从而获取其内容特征。然后,通过与之相适应的元数据进行描述。对于传统文献资源的内容揭示,馆员可以进行直接的阅读与分析,但科研数据的特点使得其内容揭示更加困难,客观上要求学科馆员能够熟练掌握相应学科的数据分析软件,并结合自己的工作经验相对间接地获取资源特征,并根据这些特征对资源进行元数据描述。科研数据的元数据描述既要考虑资源本身的特征,还要考虑标准之间的统一问题。学科馆员要比较全面地跟踪整个科研数据的生命周期,以准确揭示资源特征,并合理地对资源进行元数据描述。

4.4学科馆员在科研数据存储中的角色

科研数据存储给学科馆员带来了大量的工作内容,这些任务主要包括如下几方面:第一,科研数据存储格式的转换。科研数据的存储与其他资源不同,不仅要注重对数据本身的保存,还要注重数据的可重用性,这就要求对采集来的数据进行一定的格式转换,使那些不能够被直接利用的数据转变为能够被相关软件直接处理的数据。第二,科研数据的逻辑存储结构设计。科研数据是唯一的,也就是说它绝对不会像图书类文献那样存在众多副本。同一学科的不同科研数据,代表了这个学科在不同方向上取得的定量描述结果,这些科研数据具有一定的内在逻辑性。为了方便用户使用,完全可以利用其内在的逻辑性对科研数据进行存储,比如某一学科的科研数据的树形逻辑存储结构等。第三,科研数据的长期保存。从资源建设的角度来说,科研数据的长期保存不仅旨在满足当代人的科研需求,还能够向未来的研究工作提供客观的、全面的以及可供其直接使用的数据。科研数据的长期保存除了赋予资源以相应的档案价值外,还赋予了资源可用性价值,对于未来的科学研究来说,这部分资源将具有十分重要的意义。重要科研数据的保存工作可能成为学科馆员的一项主要工作职责。

4.5学科馆员在科研数据利用中的角色

在科研数据的利用过程中,学科馆员主要提供科研数据的检索服务,即为相应的科研人员快速地检索出可供其直接使用的科研数据。学科馆员也可以对科研过程进行跟踪,从而主动为科研人员提供所需数据。比如科研项目开始之前,主动为其搜集相关的历史科研数据供其参考,在科研过程中还可以适时地将新产生的科研数据搜集起来,并对其进行处理以及存储,作为新的资源。

学科馆员掌握着最全面的科研数据,相对于专职科研人员来说在这方面具有得天独厚的优势。这种优势可以使得学科馆员的工作从辅的转变为主动性的,也就是说学科馆员可以从事基于科研数据的独立的科学研究工作。比如,学科馆员利用相关工具对某一学科的科研数据进行大数据分析,从而得出重要的科研结果等。从这一点上看,科研数据对于学科馆员来说,提供的是全新的机遇,它给学科馆员实现个人价值提供了前所未有的空间。

4.6学科馆员在科研数据剔除中的角色

科研数据有着自身的生命周期,当其使用价值不复存在,或者已经被更精确的科研数据所取代时,那么它就完成了科研数据管理的整个生命周期。不过考虑到科研数据的内在逻辑一致性,其剔除工作并非那么容易。旧数据的剔除意味着新数据的引入,这一点不同于传统的信息资源,因为对于科研数据来说没有新的替代资源,旧的数据一般并不具有退出科研舞台的必要,而新旧数据的转换往往会涉及到整个资源存储逻辑的调整。也就是说,必须通过学科馆员这样有相关工作经验的人进行替换、调整等操作,才能维持资源整体的内在一致性。

以上以科研数据的生命周期为主线,探讨了学科馆员在其不同环节中的具体角色。可以看出科研数据作为一种重要的信息资源,其管理活动既需要相应的知识背景,又需要图书馆相关服务的工作经验,这一点使得学科馆员与科研数据管理之间具有十分自然的联系,科研数据管理将会成为最能体现学科馆员个人价值的工作之一。科研数据管理虽然在宏观上包括上述相同的环节,但是在每个具体的环节之中科研数据的管理活动会因学科性质的不同而产生极大的差异。这种差异越大就越体现学科馆员工作的独特性与重要性,同时也为学科馆员提供了极为广阔的创新空间。

5学科馆员知识结构要求及个人发展

可以看出,科研数据管理以全新的工作内容与方式,给学科馆员原有的更倾向于辅以及机械性的工作赋予了更多的建构性特征。对于学科馆员来说,科研数据管理意味着某种契机以及创新空间,学科馆员可以根据自己的兴趣爱好、知识结构,通过科研数据管理嵌入到相应的创造性工作之中,这种嵌入性工作将具有更为明确的定位,在这里学科馆员因为跨领域的知识结构而具有不可替代的重要地位。比如,学科馆员因为其得天独厚的资源优势,而对某一领域进行大数据分析,从而得出重要的科研成果等,这样的工作使学科馆员具有独立从事某一领域研究的机会。从某些方面来说,对于学科馆员的个人发展来说,这一转变是本质性的。

在传统观念中,学科馆员的工作是服务性的,属于一种高尚的利他主义行为。很多学科馆员在工作中放弃了自身学习及专业知识提升的机会。科研数据管理为学科馆员提供了一种新的契机,学科馆员可以将个人的兴趣爱好与本职工作很好地结合在一起,从而有机会进行个人专业知识方面的发展,这对于学科馆员个人的全面发展来说是极为重要的。科研数据管理将利己的个人发展与利他的服务行为合理地融合在一起,从而赋予学科馆员的个人全面发展以最自然的尊重,与此同时也提升了学科馆员的服务水平,因为学科馆员在科研数据管理方面提供的服务是以专业背景知识为基础的,学科馆员相应的学科知识基础更为扎实,那么他所能提供的服务也将更具价值。通过科研数据管理,学科馆员的自我发展与其提供的科研数据方面的服务自然地交织在一起,科研数据管理成了学科馆员最自然的工作内容,而同时也提供了个人发展与服务完美衔接的舞台,学科馆员的工作将更具建构性和创造性,这无疑有助于提高科研数据相关服务的质量。

地理数据的特点范文篇11

一、坐标图的判读

坐标图是采用数字坐标形式来表示多项地理要素之间相互关系的数字信息的图像。坐标图的种类很多,如曲线图、柱状图、折线图、散点统计图等。坐标图判读有其共性:1坐标图上的点、线(曲线、折线)、柱等既表示地理事物的数量,又反映地理事物的变化趋势。在解题时既需要定量认识,又需要定性分析。2解读坐标图时,如与相关地理图像对照使用,可以更深刻地揭示地理事物的形成原因,更深刻地认识图像所蕴涵的地理规律。3因为地理要素是相互联系、相互渗透、相互影响的,所以要重视对图像内容的综合分析。坐标图判读常见误区:1多幅坐标图进行比较时,忽略坐标轴的比例尺大小;2能够把握定性分析,而忽略定量(特别是关键值)分析;3多个要素的复合坐标图的数据读取容易张冠李戴;4对于单一地理要素统计图,只注意到其极值及总体变化,而往往忽略其阶段性差异。

二、结构图的判读

结构图是某些地理事物局部与整体比例关系的一种形象直观的地理图像展示,常见的有扇形结构图、饼状结构图、矩状结构图等,其地理内涵十分丰富。在判读结构图时应灵活运用归纳、对比、推理、综合分析等方法,具体方法如下:1归纳总结地理事物的结构特征:仔细读图,认识结构图的组成要素,认识各要素的比率及比率大小关系,进而归纳总结出地理事物的结构特征。2对地理事物结构特征进行综合分析评价,并提出相应对策。3采用对比法对地理事物的特征进行对比分析:(1)纵向对比,即同一地理事物在不同时间的结构特征进行对比,认识其发展变化;(2)横向对比,即不同地理事物结构特征的差异。三角形坐标轴图判读许多学生比较困难,三角形坐标轴图用来表示有三个变量的地理事物的百分比结构。判读时应注意的事项有:(1)图中数据为相对数据,即“比重”或“比例”,而非绝对数据;(2)图中每个点都能够读取三个变量,各构成要素所占比重的总和必然是100%;(3)此类图的构成要素只有三个;(4)三个要素在数轴上比例由低到高的延伸方向一致。

三、其他统计图的判读

统计图有多种,除了前面介绍的坐标图、结构图外,还有各种变式图、复合图,但其判读上需注意的事项及其步骤基本上都是一样的。尤其要重视以下几个环节:一读图名,总体感知;二读图例,对比差异;三读坐标,明确方向;四读数据,重视变化;五读整体特征或变化趋势,对信息进行初步加工。复合统计图就是把含有多种地理要素的统计图叠加在一幅图上,可以是同一类型的统计图的重叠,也可以是不同类型的统计图的叠加,甚至是多种地理要素内容叠加在同一幅图中。针对复合统计图,一定要“分而治之”,即将其分解为单一的统计图,并注意分析各地理要素之间的关系。变式统计图就是将已知形式的统计图的内容用另一种形式的统计图表达,对考生综合能力要求很高。对此,应在掌握各种常见统计图的基础上,根据图中提供的信息,力争将其转化为熟悉的图。

四、表格资料的判读

相对数据与绝对数据学生容易混淆。理数据是对重要地理事物的定量表述,主要有绝对数据、相对数据等。绝对数据是指明或者表示地理事物的数量或数量范围的数据,它们在研究地理问题时占有非常重要的地位。如东西半球的划分经度,南北回归线的纬度等。相对数据指比例数据、顺序数据等,强调各地理事物之间的相互关系,如能源消费构成中的比重。“不同类型的地理数据之间的转换”是考纲说明中明确规定要求掌握的技能。相对数据与绝对数据一定要借助该地理事物的基数才能相互转换。利用相对数据、绝对数据这一差异可以设置迷惑性大的选项,解题时应加以注意。例1(2011东北三省四市第二次统一考试)下列图表为我国四个省区2010年能源消费情况,据此完成(1)~(2)题。

(1)下列叙述正确的是()

A.①省区以水电、核电为主,其中核电消费量在四省区中最多。

B.②省区以煤炭为主,且煤炭消费量居四省区首位。

C.③省区水电核电消费量在四省区中最少,能源结构不均衡D.④省区石油消费量在四省区中最少,能源结构较为均衡(2)今后四省区能源消费构成变化的趋势是()A.①②两省区发挥本省水能资源的优势,大力发展水电、核电。

地理数据的特点范文

[关键词]计算机系统结构;存储系统;地震资料处理系统

doi:10.3969/j.issn.1673-0194.2014.02.063

[中图分类号]TP391;P315.63[文献标识码]A[文章编号]1673-0194(2014)02-0124-02

0引言

新疆油田勘探开发研究院自2004年引入大规模PC集群地震资料处理系统,一直关注存储系统架构与地震资料处理的数据访存特点匹配,以期提高系统生产效率。应用面向对象的并行共享存储系统,在一定程度上解决了资料处理系统中相对低效的数据访存和节点高效计算能力的匹配矛盾,与CPU技术的快速进步和万兆以太网以及Infiniband网络的发展相比,处理集群中存储系统的性能依旧相对滞后。存储技术处在发展变革前沿,结合地震资料处理系统中数据应用特征和生产组织方式,有针对性地选用存储新技术,构建适用性良好的存储系统,提高以逆时偏移技术为代表的新成像方法的系统应用效率,有助于满足复杂地质条件下地震资料成像品质需求。

1存储技术发展

固态盘技术和云存储技术的发展代表了存储技术的发展趋势,并称为下一代存储技术。

1.1固态盘技术简介

固态盘(Solid-StateDriver)是指利用电子部件取代传统磁盘磁介质进行数据存储的电子设备。固态盘内部没有旋转马达,不存在转速提升或下降的启动时间,与传统磁介质硬盘相比,在IOPS性能、时延、平均无故障时间(MTBF)、节能等方面有明显优势。

目前固态盘的推广应用受限于性价比和性能老化两大因素。固态盘的I/O性价比已优于高端光纤存储盘阵,但在容量性价比方面仍存在较大差距。在频繁随机大小数据写入的应用场景下,由于写操作特性,固态盘在使用一段时间后会出现性能陡降,需要对固态盘进行初始化或更换,性能老化影响了固态盘的便捷应用。尽管存在诸多争议,活跃的技术创新一直在加速推动固态盘的普及应用,大容量PCIe固态盘缓存在服务器的应用以及利用后端存储固态盘为服务器提供高效缓存的应用,都在推动固态盘向基础架构的各个层面渗透,固态盘改变了以磁介质硬盘为基础的存储架构体系。

1.2云存储技术简介

云存储是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量不同类型的存储设备集合协同,对外提供数据存储和业务访问的云计算系统。国际存储网络产业协会(SNIA)提出的云数据管理接口(CDMI)定义了云存储管理基础架构,保障接入不同云存储接口的通用性。云存储需要多种技术协同实现动态按要求提供服务,主要有统一存储、自动分级存储、存储虚拟化、分布式文件系统、Scale-out横向扩展、固态盘缓存、压缩/重复数据删除等技术。

云存储面临大数据高并发混合负载服务请求的压力,在满足高并发的同时,需要满足海量数据存储,这放大了存储性能和存储容量均衡性要求。自动分级存储技术和固态盘缓存技术是目前解决云存储性能、容量和性价比三者矛盾的热点技术。自动分级存储技术根据数据使用特点将数据在不同磁盘类型和RAID级别间进行迁移,可以均衡存储在性能和空间的平衡。但是数据迁移策略通常是数据应用长期累积的经验值,而业务应用多变又使经验值难以固化,造成自动迁移实施复杂度较高。相比自动分级存储技术,利用服务器上的固态盘作为大容量磁盘阵列缓存,可以降低对存储系统IOPS性能的要求,提高数据读取性能,但是需要与应用系统相适应的缓存算法支持。

云存储各项技术的推进改变着存储体系架构,固态盘存储介质的突破固然对存储体系产生较大影响,但分布式文件系统、缓存算法和软件内核优化等软件因素对存储体系架构将产生更大影响。

2地震资料处理系统数据特点分析

进入处理系统的初始数据在数据特征上表现为紧耦合的结构化块数据。依据目前典型的野外数据采集方式,对于单个三维区块资料处理作业,进入系统的初始数据通常为5TB大小,完成各类典型处理步骤,大约需要6倍于初始数据的存储空间。在研究复杂地质构造时,随着采集密度的进一步提高,未来用于盆地整体解剖与研究的单个三维区块初始数据将达到100TB以上。处理系统需要较大的存储空间以支持一个完整的资料处理作业周期。

从地震数据处理角度看,要完成的作业任务分为常规批处理和叠前偏移成像两个典型阶段。常规批处理阶段要求在限定时间内用相对较少的计算资源,按序分步完成资料常规处理中各环节的数据分析与计算,特点是作业前后结果相互衔接,单作业处理数据量小,作业运行周期不长,但总体作业数量多,人机交互多,I/O访问频繁。叠前偏移成像处理阶段要求在前期各类准备工作完成后,用尽可能短的时间(天)完成工作区域的整体成像计算,特点是处理数据量大,一般在5TB以上,单个作业对计算资源需求大。

依据数据组织方式不同,不同处理系统有不同的数据交换方式。例如Geovation地震资料处理系统利用自身优化的数据管理模式DDAM(DistributedDatasetAccessManager)将道集数据从存储系统集中分发到计算节点后开展计算工作,作业结果由DDAM管理发送到指定存储设备上,需要的存储访存能力是集中分段的。EPOS处理系统是由各计算节点直接读取存储系统的道集数据进行计算,需要的存储访存能力是连续的,直到作业完成。与Geovation系统相比,EPOS系统始终存在较为频繁的计算节点与存储系统之间的数据交换。

对于叠前偏移成像作业而言,在作业开始时,Geovation系统和EPOS系统都需要将道集数据从存储系统分发到数量众多的计算节点,存在大数据并发请求;在作业运行过程中,分布并行的各计算节点在本地节点的硬盘、缓存、内存之间进行数据交换的同时,也存在计算节点与存储系统之间相对开始阶段较少的数据交换;在作业收尾阶段,分布并行的各计算节点发送计算结果到作业管理节点进行汇总,存在并发数据请求。

当处理作业的计算耗时与数据存取耗时比例相当或低于数据存取耗时,存储系统的访存带宽、IOPS是影响作业速度的主要因素。对于在集群节点上计算耗时远大于数据存取耗时的密集计算处理作业而言,存储系统的访存带宽、IOPS对作业速度意义不大。

处理作业的计算耗时和数据存取耗时与众多因素相关。计算方法的软件实现架构是主要因素之一,涉及数据的组织方式和访问方式,例如数据在计算节点的内存、缓存、本地硬盘的交换,数据在计算节点与存储系统之间的交换。数据复用和缓存命中率等与系统硬件架构和数据自身特征相关的系统优化也是重要因素之一。处理作业的计算耗时与数据存取耗时的比例是应用系统在各种条件下的综合表象。

3地震资料处理系统中存储技术应用需求分析

3.1访存带宽评估

地震资料处理系统是按照作业序列以紧耦合的结构化大块数据体为对象进行密集计算的高性能计算系统。与传统数据中心环境里注重随机访问性能IOPS不同,地震资料处理系统对大数据块访存的带宽性能较为敏感。在构建存储系统时,对新技术的选用应以提高数据访存带宽能力为主,权衡容量、性能、性价比等因素,构建访存带宽适宜的存储系统。

评估存储访存带宽对地震资料处理系统性能影响时,应充分考虑处理作业计算耗时与数据存取耗时比例。以典型作业测试为基准,结合系统总体运行的作业类型和作业数量,进行系统应用性价比评估。在进行典型作业测试时,必须定义统一的测试条件以保障测试结果的可比性。统一的测试条件应该包括对系统软硬件环境和作业负载特征的规范描述。硬件环境描述时,与数据传输相关的系统参数都应包含在内,例如互联网络类型和参数,计算节点的主板、CPU、内存、硬盘等的型号和相关接口等参数。软件环境描述应包括操作系统和应用软件的详细信息。作业负载特征应包括作业序列、作业参数、数据体大小等与作业运行紧密相关的参数描述。被测试的存储系统应详细描述产品规格型号、系统微码、软件等信息。

处理作业计算耗时与数据存取耗时比例是应用系统在各种条件下的综合表象。大粒度因素如计算方法的软件实现架构,小粒度因素如数据复用和缓存命中率,都在不同程度相互交叠的影响处理作业计算耗时与数据存取耗时比例。以典型作业测试为基准,结合系统总体运行的作业类型和作业数量,可以进行统计意义上的系统处理作业计算耗时与数据存取耗时比例估算,进而较为客观地评价系统生产应用的性价比。

3.2存储技术应用需求

除了对能够提高数据访存带宽能力的存储新技术的关注以外,固态盘应用也应是大规模PC集群地震资料处理系统的关注点。在资料处理过程中,PC集群上传统磁介质硬盘的高故障率常常导致作业失败,影响处理生产周期;采用传统磁介质硬盘构建处理系统Scratch,其IO速度和可靠性都较差。固态盘平均无故障时间(MTBF)和低功耗的优异性能为解决大规模PC集群系统稳定性差和能耗高的弊端提供了新途径。随着固态盘容量性价比的提高和性能老化弊端的改善,在大规模PC集群地震资料处理系统的计算节点上部署固态盘,不失为提高系统稳定性和降低能耗之策。

另外,随着采集密度的提高,未来用于盆地整体解剖与研究的单个三维区块初始数据将突破100TB,对存储系统的容量和性能要求进一步提高。保障统一命名空间下存储系统容量和性能的双向弹性扩展,是对资料处理系统存储系统架构的基本要求;在满足资料处理系统海量数据存储和处理作业效率要求的同时,保障存储系统良好的性价比,需要均衡存储系统在性能和空间的平衡。Scale-out横向扩展技术和自动分级存储技术也因此成为处理系统存储技术应用的关注点。

你会喜欢下面的文章?

    年级写人的作文范例(整理5篇)

    - 阅0

    年级写人的作文篇1我最熟悉的人当然是我的弟弟啦,我的弟弟是个瓜子脸,乌黑的眉毛下有一双水汪汪的大眼睛。他还有一张会说的嘴,如果你和他斗嘴,他肯定斗得你无话可说。我弟弟特.....

    党员酒驾检讨书范例(精选3篇)

    - 阅0

    2020年党员酒驾检讨书范例篇1尊敬的交警同志:关于我酒后驾驶的行为,几天来,我认真反思,深刻自剖,为自己的行为感到了深深地愧疚和不安,在此,我谨向各位做出深刻检讨,并将我几天来的.....

    应收账款信用管理体系范例(12篇)

    - 阅0

    应收账款信用管理体系范文篇1【论文摘要】近年来由于落后的系统程序不适应日益复杂的和情况,极大地阻碍了应收账款管理目标的实现。而ERP系统与企业的信用管理制度相结合,则.....

    廉洁从政情况汇报范例(3篇)

    - 阅0

    廉洁从政情况汇报范文二、有符合青少年认知规律的廉洁教辅资料和辅导教师。三、有适应师生需要的丰富多彩廉政文化活动。四、有固定的廉政文化传播渠道和阵地。五、有完整.....

    幼儿园教职工培训计划范文(精选5篇)

    - 阅1

    幼儿园教职工培训计划篇1一、培训目标和培训重点坚持以师德建设为中心,以促进教师专业发展为目标,以《指南》....