【金猿案例展】向明智控——煤矿综采数据分析系统示范项目

2024-11-21 17:35:02 - 数据猿

浪潮KaiwuDB案例

本次项目案例由浪潮KaiwuDB投递并参与“数据猿年度金猿策划活动——2024大数据产业年度创新服务企业榜单/奖项”评选。

煤矿智能化建设是推进能源革命综合改革的重要抓手，也是传统煤炭行业实现高质量发展的必然选择。提升矿企数字化能力建设，充分整合矿山企业各系统全生命周期数据，挖掘数据背后的价值，将辅助矿企领导战略管控与决策，形成数据驱动的闭环迭代生态，让矿山运营透明可视、资源调度快速有序、生产安全高效协同，提升矿山运作效率和整体产能。

与此同时，伴随着物联网技术的应用普及，大规模时序数据井喷式涌现。数据库作为企业信息系统的核心，向下调动系统资源，向上支撑应用软件，承载着物联网企业大规模数据采集、存储和计算分析的需求。某种程度上讲，数据库系统的智能化水平决定了企业数字基础设施的能力。推进数据库技术与智能化技术融合发展，是煤矿企业数字能力升级的必由之路。

时间周期：

项目开始时间：2024年5月

项目完结时间：双方联合研发的“基于KaiwuDB的煤矿综采数据分析系统”目前在终端用户山西某煤业集团矿山项目中落地应用中，项目暂未完结。

应用场景

向明智控煤矿综采地面分控中心集煤矿综采工作面设备状态监测、远程控制、数据存储、数据备份、数据发布、应用展示、统计分析、系统融合及信息共享等功能于一体，实现对工作面人员、设备、环境、生产等相关联数据的远程监控，以及对工作面装备的一键启停、远程干预。通过对设备开机率、自动化率、推进量、出煤量、顶板压力等数据的智能分析，自动生成图形、图表、报表。

分控中心可以对外提供规范化数据接口应用服务，能够和煤矿其他系统数据无缝对接，从而实现煤矿各大子系统的信息共享和联动服务。煤矿综采数据分析系统是综采地面分控中心的重要组成部分，平台包含历史数据、统计数据、报表、主题分析、异常分析、操作记录等功能，一个系统可支持多个工作面的数据信息，可在工作面之间进行切换。

向明智控经历了从单一数据库产品到多元化数据库混合应用的转变。2020年以前，早期系统对于数据主要是轻量级存储需求，因而主要采用国外SQLite本地数据库，应用于综采监控系统。随着业务的发展和数据量的增长，在2020年至2023年期间开始采用国外开源MySQL关系型数据库，应用于综采监控系统和数据分析系统。

为了应对工业领域大规模的时序特征数据和更复杂的业务场景，公司2022年在MySQL基础上增加了国外开源InfluxDB时序数据库，形成了关系型数据库和时序数据库混搭的数据库系统（InfluxDB专门用于处理时间序列数据），混搭的数据库系统主要用于实时数据采集、系统监控和多维度数据统计和分析。

2023年以后，由于煤矿行业的特殊性，为确保数据安全和合规可控、同时为有效提升数据处理效率、降低运营成本，在实施路径上，向明智控从非核心业务系统，逐步到核心业务系统选择国产化数据库，并期望融合多模、统一框架、AI管理自治等新技术，以提升数据库的处理效率和安全性和智能化水平。

面临挑战

1.海量时序数据存储难。综采系统中的多种设备由数千个传感器组成感知系统，在生产过程中产生大量强时间序列特征的数据。传统数据库难以高效可靠地存储海量时序数据，包括历史数据及以“秒”为单位产生的数据；同时，数据库需要支持在云边端体系下实现高效、准确、实时的数据同步；

2.多模态数据管理难。除时序数据外，系统还会使用到大量的数据表元数据、设备关系数据等。传统的数据库部署方案对异构形态数据采用分而治之的策略，在数据管理和数据使用上都极为复杂，且成本较高；需要支持多种异构数据源，需要具备批量数据迁移、实时数据集成和数据库实时同步等能力；

3.大量数据即席查询难。矿山作业过程中，矿山设备、环境、人员、灾备等需要实时感知预警，对响应时效有着极高的要求，数据的毫秒级响应是实现安全生产的必要需求。需要针对日、周、月、季度，压力分析&数值变化等主要场景，提供高性能毫秒级数据查询分析，以帮助矿企决策者及时获取当日设备运行状态，保障矿采作业安全；

4.批量数据计算分析难。需要数据库赋能综采场景下的预测分析，深度挖掘海量历史数据，结合趋势分析助力矿山安全。数据分析系统需为矿企决策者提供多维度数据统计报表和多主题数据分析服务，尤其针对时序数据的批量操作，是分析型数据库所必须的功能；

5.数据库管理难度大。矿山场景中，数据库易用性和可用性至关重要。系统原来采用的开源数据库缺少易用性良好的数据库管理工具，尤其在面对混合架构的数据库系统时，操作难度问题尤为突出，造成极大的开发、运维人力成本。希望以多模数据库实现同时对时序、关系型等多种数据库的替换，一库多用。希望支持单机、分布式多种部署模式，支持边端轻量化部署等；

6.缺乏数据统一共享与分发。由于井下、井上&集团、矿山企业、下属公司多层级的关系，需要数据融合互通，防范信息独岛，实现数据融合、分类建设、分级管控等要求。

数据处理

方案基于真实综采工作面数据采集设计：

以“日、周、月”采样查询和多个code联合查询等多个维度，选取11个测试场景下的查询性能情况对比；

时间跨度85天，累计40亿行数据，采集code包含前柱压力、护帮板压力、后柱压力、俯仰角、翻滚角、推移行程、采高、支架动作、定位、支架状态、护帮状态、碰撞预警、补压开关状态等十余项；

月处理原始数据量200G左右。

基于KaiwuDB数据库的数据实时监控与分析部署方案，边云同步效率实现25万行/秒传输，秒级、毫秒级数据查询响应，30倍数据压缩比。

应用技术与实施过程

以KaiwuDB为数据底座，向上搭建矿企智能综采数据分析平台，集煤矿综采工作面设备状态监测、远程控制、数据存储、数据备份、数据发布、应用展示、统计分析、系统融合及信息共享等功能于一体。

煤矿综采自动化数据分析：

针对煤矿综采井上和井下海量数据查询缓慢、井下条件对稳定性要求高，以及井上井下数据交互等问题，基于KaiwuDB的综采智能化数据分析可实现云边端部署数据自动高效同步。主要支撑的功能有：

1.历史数据：对各设备存储下来的数据进行图形化的展示及数据聚合及分析；

2. 统计数据：对数据进行不同维度的分析聚合，形成以“日、周、月”为统计方式的统计图表；

3. 报表：不同模块的历史数据表格，用户可查询及导出各设备的历史数据表格；

4. 主题分析：针对专项主题进行分析，部分主题分析包含预测及结论分析，且均支持导出分析报告，分析报告包含图表、结论预测及原始数据表格；

5. 异常分析：针对各种异常数据对比进行专项分析，预测部分异常情况，异常分析且均支持导出分析报告，分析报告包含图表、结论预测及原始数据表格；

6. 操作记录：操作记录下目前可以查看远控记录，记录对各设备的操作。

电液控故障诊断：

目前，电气控制和液压控制系统进行故障检测和诊断的过程涉及到对设备运行状态的分析，以及对潜在问题的识别和定位，依托KaiwuDB数据库强大的运算能力对实时采集数据进行高性能分析，结合历史数据分析和高效诊断技术进行提前预警，全方面评估系统安全状态。

装备全生命周期管理：

基于KaiwuDB数据库的综采自动化平台拥有工作面全部的感知能力，构建综采智能化管理平台，实现对人员安全，生产经营，装备全生命周期的科学管理。

智能化数据报表展示：

智能决策层面，KaiwuDB智能内核引擎可自动发现数据中的规律和模式，并根据这些规律和模式进行预测决策，从而帮助企业快速定位风险、捕捉机会，提升服务质量和效率，实现降本增效的整体目标。基于KaiwuDB数据库和向明智控的综采自动化产品体系涵盖生产决策类：综采工艺管控系统和工作面调直测量系统；经营决策类：综采App和经营看板等对工作面智能化开采进程提供辅助决策。

商业变化

以分布式多模数据库KaiwuDB作为数据底座，向上搭建煤矿综采自动化数据分析平台，支撑采煤工作面数据信息实时展示、异常数据对比专项分析、综采专项主题进行分析、多种时间维度的数据分析聚合、历史数据聚合分析等多个关键业务场景的数据应用需求：

1. KaiwuDB以重点技术“就地计算”为依托，针对矿山场景下数据采集实际情况，重新设计数据窄表方案，大幅提升数据读写性能，达到百万行/秒的数据写入能力；

2. 在综采液压支架压力分析场景中，按“分、小时、天、月”不同压力变化场景下，查询性能提升30%-70%，在关键业务场景中的数据查询、加载和展示时间从几十秒级降低至秒级；

3. KaiwuDB充分发挥多模架构优势，实现原有时序数据库和关系型数据库的整体替换，发挥海量时序数据的超高压缩能力，综合存储成本降低30%以上。

4.数据库整体运营成本下降50%，并在读写混合负载进行压力测试下实现100%的可靠性和稳定性。

该方案实现海量监测数据的高性能读写和多源异构数据的汇聚整合，打通矿企采、选、冶、产、供、销全流程数据汇聚管理；实时分析挖掘数据价值，依据原煤产量计划分析及盈亏临界点分析达成生产精益运营管理，依据气体检测预警分析及安全生产动态诊断提供安全隐患预测。通过信息的互联互通，实现电力情况精准监测，安全风险快速感知，生产监管的研判从静态分析到动态感知的整体转变。