金融信创优秀解决方案专栏|存算分离数据湖解决方案
2024-05-24 10:23:00  来源:江南时报网  
1
听新闻

  近日,由中国人民银行领导、中国金融电子化集团牵头组织的金融信创生态实验室正式发布第三期金融信创优秀解决方案。实验室于2023年8月启动方案征集作,经资格初审、专家中评、专家答辩终评、综合复议等多轮筛选,最终确定发布名单。兴业数金6项获奖,本期专题分享存算分离数据湖解决方案。

  一、方案分类

  技术平台类

  二、方案简介

  存算分离数据湖平台,基于大数据开源技术自主研发,并结合我行云原生底座,实现了部分开源大数据组件信创与上云。平台已初步落地试点湖仓一体架构,具有存算分离、计算云化、联邦查询等先进技术能力,使我行大数据数据湖领域云化与信创等作已经走向同业技术领先位置,具有重要的里程碑意义。

  三、解决痛点和难点

  自从“大数据元年”至今,经过多年发展的大数据已步入“深水区”,并面临如下的核心挑战。

  1、存算发展的诉求:存算融合架构水平扩展时导致资源利用存在浪费,硬件选型困难,无法实现真正弹性等问题。

  2、数据开发和运维成本高:离线计算与实时计算的场景同时存在,传统数据架构在开发和运维时的成本高,效率差。

  3、弹性算力与资源利用:容器技术蓬勃发展,提供弹性算力与资源隔离能力,但大数据集群暂无这样的能力,无法最大化提升集群资源利用率。

  4、融合计算的挑战:业务发展与安全的要求导致多云多集群部署、异构数据源、SQL引擎不统一等问题需解决。

  5、自主可控要求:在当前的国际国内环境下,监管部门对国家信创战略和技术自主可控性要求日渐提高。

  四、应用成果

  平台上线后极大地提升了我行数据中台能力,丰富了我行应用用数生态,在“五大程”中大风控数据项目的客户智能风控等业务场景进行了有效实践。

标签:分类技术;计算;架构
责编:杨春源 王婉娟