-
摘要:
针对同一距离不同目标的激光雷达全波形回波数据聚类准确率低的问题，在分析
K 均值聚类算法原理的基础上，提出了一种基于阈值的K 均值聚类算法。首先，利用强度信息对距离信息进行标定，使用强度信息作为特征进行聚类以区分同距离的不同目标。然后，利用阈值限定聚类中心间的最小距离，提高聚类准确率。最后，搭建了扫描验证平台进行平移和旋转成像，对算法有效性进行验证。通过不同颜色目标和模拟道路回波数据聚类实验表明，在不同阈值的情况下，提出的基于阈值的K 均值聚类算法的聚类准确率均在90%以上，相比于无阈值的K 均值聚类算法准确率提升10%以上，能够有效进行目标聚类和模拟道路提取。Abstract:For this question of low clustering accuracy problem in LiDAR full-waveform echo data with different targets at the same distance, a threshold-based
K -means clustering algorithm was proposed based on the analysis ofK -means clustering algorithm. Firstly, The distance information was calibrated using the intensity information, and the intensity information was used as a feature to distinguish different targets at the same distance by clustering. Secondly, the threshold was used to define the minimum distance between clustering centers to improve the clustering accuracy. Finally, the scanning verification platform was built for translation and rotation imaging to verify the effectiveness of the algorithm. The clustering experiments of different color targets and simulated road echo data show that the clustering accuracy rate of threshold-basedK -means clustering algorithm is above 90% under different thresholds, and increases more than 10% compared with the threshold-freeK -means clustering algorithm, which can effectively perform target clustering and simulation road extraction.-
Key words:
- LiDAR /
- full waveform /
- threshold /
- K-means algorithm /
- classification accuracy
-
对于全球导航卫星系统(Global Navigation Satellite System，GNSS)的单频用户，电离层延迟是最大的定位误差源。为保证航空用户的安全，星基增强系统(Satellite Based Augmentation System，SBAS)为单频用户提供网格点电离层改正数和改正误差[1]。由于观测值不充分、电离层结构复杂、异常事件难以预测等原因，电离层异常是影响SBAS完好性的最大风险项[2]。电离层在不同区域具有不同的结构特点。其中，中国国土范围跨越中低纬地区，与全球平均电离层水平相比，中国电离层变化更为复杂。文献[3]研究了中国区域SBAS电离层网格校正技术，针对中国南部区域的异常特性，提出了南北分区的研究思路。文献[4-7]分析了中国电离层异常现象的产生原因与影响，其中包括赤道异常、电离层暴、电离层闪烁等典型电离层异常现象。为保证SBAS完好性，需要针对中国区域复杂的电离层分布特性，开展中国区域的电离层异常研究工作。
目前，美国利用广域增强系统(Wide Area Augmentation System，WAAS)分布在美国本土、阿拉斯加、夏威夷岛和墨西哥的多个参考站收集的高精度观测数据进行电离层异常事件的提取和分析，以建立适用于SBAS的电离层异常模型和处理方法[8-11]。由于WAAS同一站配备3套接收机，数据质量得到了保障，电离层延迟值提取较为准确。研究国内电离层特性，可使用可靠性较高的连续运行参考站(Continuously Operating Reference Stations，CORS)的实测数据，但其数据质量无法达到WAAS站的水平。袁运斌等[12-13]研究了中国区域电离层延迟精确建模方法，使用CORS数据拟合电离层延迟值时，由于模型的平滑作用，拟合延迟值对接收机野值并不敏感；但进行完好性研究时，由于接收机野值具备和电离层异常相似的“异常”特性，会严重干扰电离层异常事件的提取。因此，在电离层异常研究中，需要对各个参考站的数据进行筛查以排除非电离层因素(例如卫星故障或接收机故障等)导致的数据异常，以保证电离层异常建模准确有效。
针对上述问题，本文定义由于非电离层因素导致的数据异常为“野值”，并提出一种基于电离层垂直延迟时间梯度的野值检测方法。
1. 电离层延迟数据提取
电离层垂直延迟数据是电离层异常研究的基础。本文采用数据质量较为可靠的GPS卫星L1和L2频点的双频码和载波相位观测值进行电离层延迟值的解算。L1和L2双频码伪距和载波相位伪距观测方程可表示为[14]
(1) 式中：r为接收机到卫星的真实距离；c为光速；δtu为接收机钟差；δts为卫星钟差；T为对流层延迟；I为L1频率信号上的电离层延迟。由于电离层延迟与信号频率的平方成反比，因此可通过给I乘上一个比例因子得到L2频率信号上的电离层延迟γI。下标1表示L1频率信号，下标2表示L2频率信号。f1和f2为信号频率；λ1和λ2为波长；d1r和d2r为接收机硬件延迟；d1s和d2s为卫星硬件延迟；ερ1和ερ2为码噪声；N1和N2为载波测量值的整周模糊度；εϕ1和εϕ2为载波相位噪声; ρ1和ρ2为码伪距观测值；ϕ1和ϕ2为载波相位观测值。式(1)中双频码伪距值相减再除以常数项可得到L1的电离层延迟码观测值Iρ1；双频载波伪距值相减再除以常数项可得到L1的电离层延迟载波观测值Iϕ1：
(2) 其中：延迟观测值Iρ1和Iϕ1可作为延迟真实值I的估计，但其中还包含噪声以及码间偏差(Differential Code Biases，DCB)项的干扰，DCB也称为内频偏差，是由于卫星和接收机的硬件电路对不同频率的信号产生的硬件延迟不同导致的[15]。双频码伪距计算得到的电离层延迟值噪声大；载波相位伪距噪声小，却有整周模糊度的问题。因此可利用载波相位平滑码伪距，得到低噪声的电离层延迟观测值，而平滑之前还需要进行周跳探测以确保载波相位观测值的连续性。参考Bernese软件的后处理方法进行周跳探测以及平滑[16]，并建立区域垂直总电子含量(Vertical Total Electron Content，VTEC)球谐模型以估计卫星和接收机的DCB值，最后得到准确的电离层垂直延迟数据[17]。
欧洲定轨中心(Center for Orbit Determination in Europe，CODE)是国际上权威的GNSS分析机构，以其发布的全球电离层图(Global Ionosphere Maps，GIM)产品内插得到的延迟值作为参考，与处理得到的电离层垂直延迟值结果进行一致性比对，结果如图 1所示。结果表明，相比于单频定位普遍采用的Klobuchar模型值，本文处理得到的双频观测值更接近CODE电离层产品，证明了该方法可用于中国区域电离层延迟数据的提取。
通过分析结果发现，电离层垂直延迟双频观测值有时会出现跳变、梯度增大、剧烈抖动等异常现象。由式(2)可看出，除电离层因素引起真实延迟值I异常会导致电离层延迟观测值异常外，卫星故障、接收机故障、接收机受到干扰引起噪声增大等非电离层因素也会导致延迟观测值出现异常，这种异常会干扰对电离层真实特性的研究和分析，因此视其为“野值”，需要剔除。
卫星端异常(例如星历故障、星钟故障等)会导致不同参考站的同一颗卫星的观测值发生异常变化；接收机端异常(例如接收机故障、受到电磁干扰等)会导致单个参考站的观测值发生异常变化。由于卫星发生故障的概率非常小，且卫星端具备自主完好性监测能力，目前处理的数据还未出现卫星端异常的事件。因此实际数据中“野值”产生的原因主要是接收机异常，可通过剔除参考站数据的方法进行处理。
2. 野值检测方法
以利用上述方法处理得到的电离层垂直延迟数据作为基础，进行野值检测，剔除由非电离层因素导致的异常数据，并筛选出由电离层因素导致的异常数据。根据电离层活动的物理特性，可对电离层延迟异常值进行初步的识别。电离层异常导致的数据异常一般具有空间相关性和时间相关性，即在一定范围内，多于一个站或一颗星的电离层垂直延迟值在相同时间段内发生趋势相近的异常变化。而非电离层因素引起的数据野值，往往表现为不同卫星在不同时间段的电离层延迟值的跳变。
本文选取每个站每颗卫星的电离层垂直延迟值序列进行差分处理，得到电离层垂直延迟时间梯度(单位：mm/s)。电离层异常或者接收机异常都会导致时间梯度增大。通过对中国大陆构造环境监测网络(简称中国陆态网)200多个站的数据进行处理分析，计算得到每个站所有卫星的电离层垂直延迟时间梯度。以2016年3月26日(磁静期)为例，所有站的所有历元的时间梯度概率分布如图 2所示(样本数为4 896 618)。结果表明90%以上的时间梯度值都集中在(-0.5, 0.5) mm/s的区间内，仅存在少部分由于电离层异常或非电离层异常因素而增大的时间梯度值，最大异常梯度甚至超过20 mm/s。
图 2 2016年3月26日电离层垂直延迟时间梯度概率分布Figure 2. Ionosphere vertical delay time gradient probability distribution on March 26, 2016利用CODE电离层产品计算出的电离层垂直延迟时间梯度最大值为1~2 mm/s，可认为实际电离层延迟正常梯度在其范围之内。由于接收机热噪声以及预处理时弧段划分等原因，CORS数据解算出的双频延迟值时间梯度会产生2~3 mm/s的干扰。因此可认为约5 mm/s以内的时间梯度都为正常值。根据对数据量的不同要求可调整检测门限以满足不同的场景。电离层异常研究中需采用尽可能密集的穿透点延迟数据以捕捉中国区域小时空尺度下的异常事件，因此不能剔除过多的数据。考虑到研究中国区域电离层异常特性的数据需求，以及野值对电离层异常检测的影响，本文选择了10 mm/s作为门限对数据进行筛选。根据电离层异常和非电离层异常的不同特性，以实际经验数据为基础，提出一种野值检测和剔除的方法，其流程如图 3所示。首先，计算单站单星的电离层垂直延迟时间梯度序列并进行遍历，若时间梯度绝对值超过10 mm/s，则判定其为异常值(野值或是电离层异常)。然后，根据该点附近2 h间隔内是否有其他历元的时间梯度绝对值超过5 mm/s来区分电离层异常或是野值。若单个站的野值个数小于2，则剔除该站该星的异常数据，否则剔除该站所有数据。最后，利用剔除站的单双频定位结果进行复核，验证其为野值。
对不同检测结果的参考站数据进行具体分析，可发现由于不同异常因素而导致的不同时间梯度特性。图 4~图 7分别是4个站所有卫星的电离层垂直延迟时间梯度值随时间变化。
图 4 2016年3月26日HLAR站电离层垂直延迟时间梯度Figure 4. Ionospheric vertical delay time gradient at HLAR station on March 26, 2016
图 5 2016年3月26日QHTR站电离层垂直延迟时间梯度Figure 5. Ionospheric vertical delay time gradient at QHTR station on March 26, 2016
图 6 2016年3月26日QION站电离层垂直延迟时间梯度Figure 6. Ionospheric vertical delay time gradient at QION station on March 26, 2016
图 7 2015年3月17日HAQS站电离层垂直延迟时间梯度Figure 7. Ionospheric vertical delay time gradient at HAQS station on March 17, 2015图 4是2016年3月26日(磁静期)位于中国北部的HLAR站的电离层垂直延迟时间梯度。该站所有数据在野值检测中都被判定为正常值。由于不受到电离层暴和赤道异常等因素的影响，HLAR站所在区域电离层活动很平静，延迟值变化均匀且缓慢，因此时间梯度大部分都很小，个别不连续的点是由于观测值平滑时弧段划分引起的。
图 5是2016年3月26日QHTR站的电离层垂直延迟时间梯度。该站在野值检测中数据出现多个野值，被判定为剔除站。由图 5可见，该站时间梯度的极端异常值可超过±20 mm/s，而且异常值不连续。通过对该站周边站的电离层延迟值进行一致性比对，证明该异常不具有空间相关性，因此判定其产生异常的原因是该站接收机故障或受到干扰。
图 6是2016年3月26日位于海南的QION站的电离层垂直延迟时间梯度。野值检测中，该站出现了电离层异常。由图 6可以看出，13~16 h有几颗卫星的延迟值发生了异常变化，时间梯度出现了连续异常值，且波动较大。对北纬20°附近的多个站进行分析，都发现了相似的异常现象，其发生时间与区域都与电离层等离子体泡现象相吻合[18]。因此判断该站电离层异常的原因是电离层等离子体泡。
图 7是2015年3月17日(磁暴期)HAQS站的电离层垂直延迟时间梯度。野值检测中，该站也出现了电离层异常。该天的地磁指数Kp最大值为7，全球区域发生了强磁暴，因此中国区域有很大可能性发生了电离层暴。由图 7可看出，在GPS时5~10 h(当地时间13~18 h，日间)，电离层最活跃也是延迟值变化最快的时段，多颗卫星的电离层垂直延迟值时间梯度连续增大。对比附近站的数据，发现该异常具有空间相关性。与图 6的电离层异常相比，图 7所示时间梯度变化更为缓慢，延迟值变化具有单调性，判定其电离层异常原因为赤道异常引起的电子密度增强或电离层暴引起的风暴增强密度(Storm Enhanced Density，SED)。
无论是哪种原因引起的电离层异常，其时间梯度异常都具有连续性的特点。而由于非电离层原因导致的数据野值，则不具有连续性的特点。基于这一特点，提出了以上区分野值和电离层异常的检测方法。为证明检测结果的正确性，用单站的定位误差结果进行复核。
3. 定位误差验证
野值检测的难点之一是判别异常值产生原因是否为电离层因素。一般认为，双频观测值可消除电离层异常对定位结果的影响。因此，可利用单双频定位误差结果来验证异常产生的原因。电离层异常会引起单频定位结果异常，而不影响双频定位结果；非电离层因素的“野值”则会引起单双频定位结果都出现异常。
RTKLIB是GNSS标准/精密定位开源程序包，由日本东京海洋大学开发，可支持多种GNSS定位模式[19]。本文利用RTKLIB的后处理单点定位模式对观测数据进行单双频定位解算。单频定位采用广播模型进行电离层改正。
对单双频定位结果进行对比，可验证异常产生的原因。图 8~图 10分别是2016年3月26日YNMZ站GPS时1~1.25 h(以下未作说明均为GPS时)，YNMZ站14~14.25 h，QHTR站1~1.25 h 3个方向的单双频定位误差结果。野值检测结果表明，QHTR站由于数据出现较多野值而被剔除；YNMZ站在13~16 h发生了电离层异常。对比图 8未发生异常时段的单双频定位结果，图 9的双频定位结果正常，而单频定位出现较大误差，证明了YNMZ站该时段由于电离层异常引起数据异常的结论。而图 10的单双频定位结果都出现了较大误差，可说明QHTR站由于非电离层因素引发了异常。通过比较单双频定位误差结果，验证了野值检测结果的合理性。
图 8 2016年3月26日YNMZ站1~1.25 h单双频定位误差结果Figure 8. Results of single- and dual-frequency positioning error between 1 h and 1.25 h at YNMZ station on March 26, 2016
图 9 2016年3月26日YNMZ站14~14.25 h单双频定位误差结果Figure 9. Results of single- and dual-frequency positioning error between 14 h and 14.25 h at YNMZ station on March 26, 2016
图 10 2016年3月26日QHTR站1~1.25 h单双频定位误差结果Figure 10. Results of single- and dual-frequency positioning error between 1 h and 1.25 h at QHTR station on March 26, 20164. 野值检测结果
采用上述方法对2016年不同月份的12天电离层垂直延迟数据进行野值检测，并统计剔除站数，如表 1所示。结果显示，在中国陆态网200多个站中，野值检测所剔除的参考站数目在3~10个，对电离层延迟值数据分布的影响在可接受范围内。
表 1 野值剔除结果Table 1. Outlier elimination results日期 剔除站数 2016-01-08 8 2016-01-17 5 2016-02-22 3 2016-02-28 5 2016-03-06 9 2016-03-13 9 2016-03-26 9 2016-04-09 5 2016-06-18 10 2016-10-13 10 2016-12-16 6 2016-12-25 3 在12天中剔除次数超过2次的参考站如图 11所示。对于某些站，多天的野值检测结果呈现一致性。例如，GSTS站在每天的野值检测中都被判别为剔除站，可能由于其接收机长期故障或者是受到干扰，在后续电离层异常建模研究中，将不采用此站的数据。
5. 结论
1) 野值检测方法可根据电离层异常和野值的不同时空相关特性有效检测出野值，并将其剔除，以保证电离层异常数据的可靠性。
2) 利用电离层垂直延迟时间梯度不仅可以筛选野值，还可以区分不同类型的电离层异常现象(电离层等离子体泡或电子密度增强)，后续研究电离层异常时可借鉴该方法。
3) 利用单双频定位误差结果可判别异常值产生的原因是否是电离层因素，也可验证野值检测结果的正确性。
4) 在中国陆态网200多个站中，野值检测所剔除的参考站数目在3~10个，对电离层延迟值数据分布的影响在可接受范围内。
本文野值检测方法将用于中国区域电离层异常研究数据预处理阶段，以保障电离层延迟值数据的真实可靠性。为适应不同接收机以及不同数据要求的场景，仍需适当调整野值检测门限参数。
致谢: 感谢“中国大陆构造环境监测网络”(简称中国陆态网)提供的数据支持。 -
图 1 基于阈值的K均值聚类算法流程图
Figure 1. Flowchart of threshold-based K-means clustering algorithm
-
[1] XU W, CHEN Q, GU G H.Research on laser ranging system based on time delay estimation[C]//Symposium on Photonics & Optoelectronics.Piscataway, NJ: IEEE Press, 2011: 1-3. [2] 王金虎, 李传荣, 周梅.机载全波形激光雷达数据处理及其应用[J].国外电子测量技术, 2012, 31(6):71-75. doi: 10.3969/j.issn.1002-8978.2012.06.020WANG J H, LI C R, ZHOU M.Data processing and application of airborne full waveform LiDAR[J].Journal of Foreign Electronic Measurement Technology, 2012, 31(6):71-75(in Chinese). doi: 10.3969/j.issn.1002-8978.2012.06.020 [3] WARDG J.Measuring and modeling anisotropic reflection[J].ACM SIGGRAPH Computer Graphics, 1992, 26(2):265-272. doi: 10.1145/142920.134078 [4] MILIARESIS G, KOKKAS N.Segmentation and object-based classification for the extraction of the building class from LIDAR DEMs[J].Computers & Geosciences, 2007, 33:1076-1087. [5] SANDEEP G, HOLGER W, BARBARA K.Comparative analysis of clustering-based approaches for 3-D single tree detection using airborne fullwave LiDAR data[J].Remote Sensing, 2010, 2(4):968-989. doi: 10.3390/rs2040968 [6] SAMPATH A, SHAN J.Segmentation and reconstruction of polyhedral building roofs from aerial LiDAR point clouds[J].IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(3):1554-1567. doi: 10.1109/TGRS.2009.2030180 [7] 龚亮, 张永生, 李正国, 等.基于强度信息聚类的机载LiDAR点云道路提取[J].测绘通报, 2011(9):15-17.GONG L, ZHANG Y S, LI Z G, et al.Airborne LiDAR point cloud road extraction based on intensity information clustering[J].Journal of Bulletin of Surveying and Mapping, 2011(9):15-17(in Chinese). [8] KONG D, XU L J, LI X L, et al.K-plane-based classification of airborne LiDAR data for accurate building roof measurement[J].IEEE Transactions on Instrumentation & Measurement, 2014, 63(5):1200-1214. [9] DÍAZ-VILARIÑO L, GONZÁLEZ-JORGE H, BUENO M, et al.Automatic classification of urban pavements using mobile LiDAR data and roughness descriptors[J].Construction and Building Materials, 2015, 102(1):208-215. [10] KASHANI A G, GRAETTINGER A J.Cluster-based roof covering damage detection in ground-based LiDAR data[J].Automation in Construction, 2015, 58:19-27. doi: 10.1016/j.autcon.2015.07.007 [11] CHEN J, ZHU H, LI X.Automatic extraction of discontinuity orientation from rock mass surface 3D point cloud[J].Computers & Geosciences, 2016, 95:18-31. [12] CHUYEN N, MICHAEL S, PHILIPPE T, et al. Unsupervised clustering method for complexity reduction of terrestrial LiDAR data in marshes[J].Remote Sensing, 2018, 10(1):133-154. doi: 10.3390/rs10010133 [13] RENATO C D S, MAURICIO G, VILMA M T.Classification of LiDAR data over building roofs using k means and principal component analysis[J].Boletim de Ciênccas Geodésicas, 2018, 24(1):69-84. doi: 10.1590/s1982-21702018000100006 [14] NIMA E, CRAIG G, CARLOS F D J.Classification of airborne multispectral LiDAR point clouds for land cover mapping[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(6):2068-2078. doi: 10.1109/JSTARS.2018.2835483 [15] LI X, LIANG Y, XU L.Bidirectional reflectance distribution function based surface modeling of non-Lambertian using intensity data of light detection and ranging[J].Journal of the Optical Society of America A, 2014, 31(9):2055. doi: 10.1364/JOSAA.31.002055 期刊类型引用(3)
1. 何金花，李伟伟. 北斗三代SBAS在抗干扰天线下的实现及验证. 现代导航. 2024(05): 324-329 . 
百度学术2. 张振军. 基于数据筛选的无人机测绘数据异常检测. 西华大学学报(自然科学版). 2022(04): 66-71 . 百度学术3. 冯乔. 基于超球面支持向量机的传感器网络数据异常检测分析. 微型电脑应用. 2020(10): 174-176 . 百度学术其他类型引用(2)
-
下载:
下载:
百度学术
点击查看大图
计量
- 文章访问数: 856
- HTML全文浏览量: 155
- PDF下载量: 200
- 被引次数: 5
