VaR值计算性能提升千倍-某头部外资银行使用DolphinDB实例分享

2023-04-11 11:11:39 - 中宏网官微

VaR值是银行风险控制中最基础的风险度量指标之一,可以用来度量在一定时间区间内,某个投资组合或资产价值可能出现的最大亏损,帮助投资者了解自己的风险承受能力,制定风险控制策略,降低投资风险。

提升VaR值计算的性能对银行机构有重要的意义,不仅能够帮助机构提高风险控制能力,同时还可以实现对资本分配和决策的优化。

某头部银行机构的原有系统,处理IRSVaR业务的每日平均时长高达40分钟,随着数据量的不断增加和业务优化,该银行急需对原有系统进行改造升级。经过多轮对比测试,他们最终选择了DB-Engines时序数据库榜单上国内排名第一的DolphinDB,实现对系统和业务的全面升级。

IRSVaR业务性能提升千倍

在计算VaR值的过程中,需要用到大量的历史数据,这些数据往往可能分散在不同的系统或数据库中;同时,VaR计算需要对多维度、大规模的数据进行数值计算,因此对多数据源的采集处理能力和复杂计算能力是提升VaR值计算性能的关键。

VaR值计算性能提升千倍-某头部外资银行使用DolphinDB实例分享

通过DolphinDB语法对IRSVaR任务进行改造,该任务通过上游交易系统日终文件交换获取当日IRS交易明细、中债估值、曲线等相关业务数据,生成金融市场数据集市内部模型数据,并根据下游RiskMatrix所需要的VaR报表计算逻辑生成供数文件。根据当前生产运行情况统计,该计算任务的每日平均处理时长由原来的40分钟降至3.5秒,提升近千倍。

VaR值计算性能提升千倍-某头部外资银行使用DolphinDB实例分享

逐笔数据处理延时由300-500毫秒降至10毫秒以下

除了对IRSVaR业务的改造升级,DolphinDB还帮助用户大幅降低了逐笔数据处理的延时。该银行业务需要根据外汇交易中心数据接口技术规范,通过API形式获取CMDS利率互换实时逐笔行情及成交数据并落库。根据当前生产运行情况监测,该接口逐笔数据处理延迟约300-500毫秒。

VaR值计算性能提升千倍-某头部外资银行使用DolphinDB实例分享

经过DolphinDB改造升级后,在TPS1000笔的实时流数据吞吐量压力下,整体延时少于10毫秒,CPU使用率低于20%,内存使用率低于60%,实时流处理队列没有堆积。

VaR值计算性能提升千倍-某头部外资银行使用DolphinDB实例分享

用DolphinDB实现底层替换

在对上述两项业务改造升级的过程中,DolphinDB在存储、查询方面展现出的领先性能和强大的计算和流数据实时分析能力,让该头部外资银行看到了更多的可能性。为了实现更多业务面的提升和降本增效,该银行决定选择DolphinDB从底层对原有的Oracle进行替换。

VaR值计算性能提升千倍-某头部外资银行使用DolphinDB实例分享

1.对原有系统的生态兼容

无论是常用数据类型、语法、函数,或是客户端等,DolphinDB对Oracle的生态系统都具备非常好的支持。其中,对常用数据类型和语法的覆盖率均达到98%以上,常用函数兼容性高达96%以上。相较于Oracle,DolphinDB的语法不存在明显差异,常用语法不需要进行改造即可使用。

此外,DolphinDB支持多种语言的API和多种应用插件,对各种报表软件与其他类型数据库都具有良好支持。

2.保证现存数据的顺利迁移和迭代

Oracle现存数亿级别关键市场数据,针对这些现有数据的平迁与新业务数据迭代,该银行在第三方服务商Tracade团队的帮助下,完成了全量数据迁移。通过业务测试数据的对比,数据结构兼容性为100%,数据一致性为100%。

在这个过程中,依托DolphinDB灵活的数据分区控制、高覆盖的数据类型和语法兼容性,数据查询速度得到了提升,性能优化了5倍左右。

VaR值计算性能提升千倍-某头部外资银行使用DolphinDB实例分享

VaR值计算性能提升千倍-某头部外资银行使用DolphinDB实例分享

3.对现有SmartBI、Birt报表平台的兼容

DolphinDB完美兼容了SmartBI、Birt报表平台,实现了2000多张报表的平迁,并通过API支持了银行业务系统的调用。

以SmartBI报表平台为例,该平台原本通过Oralce数据库生成银行业务所需报表,而替换成DolphinDB后,仅通过切换数据源,即可保障相关系统业务报表的正常使用,实现报表的批量平迁。

VaR值计算性能提升千倍-某头部外资银行使用DolphinDB实例分享

总结

本案例中,该银行面临日益增长的数据量和不断升级的数据安全要求,并且需要支撑低延时的报表分析业务,因而传统老牌数据库Oracle已逐渐难以满足需求。在Tracade的帮助下,该银行用国产自研产品DolphinDB替换了Oracle。

作为一个基于数据库管理系统,支持数据分析、流数据处理的低延时平台,DolphinDB不仅帮助用户快速实现了全量数据的平迁和迭代,还显著提升了原有业务的效率:

·IRSVaR业务的每日平均处理时长由40分钟降至3.5秒,提升近千倍。

·CMDS实时数据接口延时由300-500毫秒降至10毫秒以下

·整体报表查询速度提升近5倍

可以说,该银行从Oracle到DolphinDB的实践,不仅是一次成功的国产替换,更是从存储、查询到实时流数据处理性能的全方位升级。

今日热搜