巨杉数据库 - 多模数据湖场景
伴随着移动互联网飞速发展，金融银行业的应用场景不断丰富，手机银行、移动营业厅、网上银行、远程银行、开放银行、流程银行等业务渠道为金融银行业带来了海量的数据增长，数据类型也更加多样化。特别是非结构化数据呈爆发式增长，使得在数据业务场景日益复杂的同时，更对数据存储管理架构提出新的要求。作为可即时使用、高性能的一站式数据存储系统，多模数据湖成为了众多企业实现全量数据统一管理的新方向。
以SequoiaDB分布式文档型数据库为底座，可提供S3对象数据引擎接口和兼容JSON、SQL接口，实现基于文档型数据模型的非结构化数据，半结构化数据与结构化数据的统一管理，并基于此实现多模数据湖的构建。多模数据湖为存储、管理海量非结构化数据，提供了处理应用程序编程接口（API）、标签管理及检索等能力，有效帮助企业实现对非结构化数据的统一存储和管理，轻松应对非结构化数据治理与需要超大容量、弹性扩展的内容管理应用等场景。
技术特性
引擎级多模支持半结构化、非结构化、结构化数据的统一存储，提供S3对象数据引擎接口和兼容JSON、SQL接口，帮助企业降低业务系统的开发难度，提升团队开发效率。非结构化数据管理支持热、温、冷数据分层管理和多租户分域管理，支持服务器差异化部署，实现成本与性能兼顾。服务管理层提供多项内容管理特性，支持数据生命周期管理、权限管理、对象版本控制、历史版本回溯等，进一步提升数据安全性。高性能、低成本保障企业内容数据全量在线，支持多策略分区管理及分域缓存，采用资源池化的存储引擎层，提升海量数据管理效率及处理性能，大幅降低硬件及运维成本，TCO只为传统ECM方案的1/3。
场景架构
某全国股份制银行应用案例
案例背景
现有架构：该全国股份制银行一开始有两套影像平台，一套EMC Documentum（承载信贷、后督）、另一套是IBM Filenet（承载柜面）。
业务发展情况：远程银行已经成为未来的发展方向，该银行线下业务线上替代率位于业界前列。远程银行业务的推广需要一个强大的数据后台来保证非结构化音视频文件的实时读取。
呈现的问题：该银行影像平台运行了将近10年，承载了数十个业务系统的影像数据管理，数据量已经远远超过了上述传统方案的设计容量上限。传统IOE模式的影像平台已经无法满足要求，具体包括以下几点：
十亿级别数据记录的访问和检索效率。即使数据管理上采用分表处理，仍需要处理亿级记录。
百TB级数据的存储成本。数百TB的存储空间，高端存储的硬件成本过高。
应用可以支持集群部署，但数据库和存储部分不支持分布式，带来单点瓶颈。
文件数据量太大，无法采用常规的文件备份方案。
以时间为条件进行数据生命周期管理，离线数据部分使用磁带进行存储。一旦对离线数据发生访问，响应时间超过10分钟。
构建思路
基于以上问题于及业务预期，在对未来10年数据量进行了估算后，行方针对影像平台技术架构改造提出了如下技术需求：
百亿级别的数据记录唯一标识快速检索能力。数据管理上，单表至少能处理亿级记录检索。
PB级的存储空间管理能力。
以普通硬盘为存储介质的低成本方案。
非结构化数据的多副本灾备。以多副本的方式保存系统中的数据，提高数据安全性。
海量非结构化数据的异地灾备。支持跨数据中心的数据灾备能力。
支持同城双活的分布式架构。
数据库，存储等模块都支持分布式架构。可以在线不间断业务的横向扩展。
支持数据生命周期管理。
稳定的获得产品技术支持和定制开发。
兼容传统的架构，便于现有生产数据的无缝迁移。
构建成果
SequoiaDB稳定运行7年，累计接入业务系统超过50个，日均业务量每天超过100w笔，日均下载量每天超过200GB，日均上传量每天超过100GB，系统整体运行平稳。
通过分布式技术，银行后台数据平台具备了海量非结构化数据的实时服务能力，增强了系统平行扩展的能力，增强了系统稳定性，为远程银行业务提供实时的音视频访问能力，同时也探索了分布式技术在该场景下的最佳实践，在过程中创造性的解决了很多技术问题。
如您需要了解更多实践案例，寻求商务合作与支持，请在表单中留下您的相关需求或通过以下方式直接与我们联系。服务电话：400-8038-339商务与技术支持：sales_support@sequoiadb.com}

在信创数据库领域的丰富技术积累和领先的行业实践能力，入选2023信创数据库企业排行榜，这是对巨杉数据库在分布式数据库领域自研道路的充分肯定。近期，由中科院旗下的互联网周刊、德本咨询和eNet研究院共同发布了《2023信创数据库企业排行榜》。在经过全面多维的严格评估后，巨杉数据库凭借其在信创数据库领域的丰富技术积累和领先的行业实践能力，入选2023信创数据库企业排行榜，这是对巨杉数据库在分布式数据库领域自研道路的充分肯定。数据库作为最核心的三大关键基础软件之一，对于中国信息产业生态的构建与发展始终发挥着至关重要的作用，是国家突破关键核心技术“卡脖子”的重要一环。因此，唯有产业体系自主可控和安全可靠，才能将发展的主动权牢牢掌握在自己手中。在信创技术和产品上，巨杉数据库秉持自主研发与持续创新的理念，自成立以来坚持以客户需求为中心，不断推动分布式文档型数据库的升级与优化，积极应对客户在数字化转型中所面临的各种挑战和难题。巨杉数据库基于分布式数据库技术，提供文档型JSON数据处理能力，专注于构建半结构化和非结构化数据底座技术；更基于文档型JSON半结构化数据格式的灵活性，提供兼容结构化数据查询及非结构化对象数据处理，形成Multi-Model多模数据处理能力，为客户提供稳定高效安全的数据库解决方案，满足客户复杂多元的场景需求。与传统信息技术产业相比，信创产业更加强调生态体系的建构。因此，信创数据库需要上下游合作伙伴的通力合作。目前，巨杉数据库产品已与超百家上下游主流企业的200+款软硬件产品完成适配认证，并联合信创产业链上下游，以自主创新和高效性能的国产数据库为依托，共同建构合作共赢的生态体系，为数字中国建设提供坚实的技术支持。
未来，巨杉数据库将继续加大研发创新力度，进一步加强对文档型JSON数据的处理能力以及多模式应用能力。与信创生态伙伴紧密合作，致力于构建以数据库为核心的全场景一站式数据管理与服务，为各行业提供智能高效、安全可靠的数据库解决方案，助力信创产业和数字经济的高质量发展。
}

今年上半年，Gartner发布2021年度数据管理领域的成熟度模型报告—Hype Cycle，湖仓一体（Lakehouse）作为近两年的新兴技术热点，成为了首次进入成熟度模型的五个新军之一，备受业界关注。本篇文章，我们将介绍什么是湖仓一体，湖仓一体架构的特点和技术优势。湖仓一体，其含义是指将数据湖的语义灵活性与数据仓库的生产优化和交付相结合。它是一个融合的基础设施环境，支持从原始数据到精炼数据的整个过程，并最终提供优化后的数据以供消费。湖仓一体将使业务从简化的交付流程、数据的快速访问中受益，同时满足了用户对于性能和易用性的更高要求，降低了大数据分析的技术复杂度和成本，同时满足了用户对性能和易用性的更高要求。通过构建整合的数据管理平台，服务于各种各样的职能角色，包括专业的数据科学家、数据工程师和业务分析师等，甚至包括通过数据看板来使用数据的临时用户。湖仓一体本质上为数据科学的创新提供了定义明确、可落地的发展途径。湖仓一体作为企业未来数据平台的重要基础架构，需要一种强有力的分布式数据库支撑其海量、多模、多态的数据。巨杉数据库SequoiaDB基于100%自研的分布式数据库内核，提供了湖仓一体万亿级数据服务平台，适用于历史数据平台、全量数据平台、实时数据中台等需要将海量多模数据用于对客服务的场景。巨杉数据库基于湖仓一体的架构特性，构建数据基础设施平台，整合结构化、半结构化、非结构化数据的统一存储与管理，为面向全量数据业务提供：SQL、NoSQL、Object等多种接口。此外，通过特有的跨引擎事务能力，可以有效简化多团队开发流程中对不同引擎、不同结构的数据管理，打通ACID事务支持，提升业务开发、数据处理、运维管理能力，释放全量数据价值，提升企业数据处理的“人效”及“能效”。基于SequoiaDB分布式数据库的湖仓一体平台，除了具备多模能力，兼容多种数据引擎以外，还提供包括流式计算、高性能列存分析引擎等能力，适用于需构建融合数据平台及在保持事务一致性的基础上，进行高性能实时分析的场景。通过SequoiaDB可打破数据湖与数据仓库割裂的体系，为上层应用提供一数一源的数据基础设施，助力客户实现提升数据管理水平、降低成本、提升运营效率、提升用户体验等目标。目前，巨杉数据库已经在超过100家金融银行客户规模化上线使用，覆盖国有银行、股份制银行、省级农信、城商行、保险、证券等金融客户，已经正式生产上线的系统中最大运行集群，数据量达1.2万亿行，容量达3PB，规模超过400台服务器，积累了丰富的最佳实践及案例，帮助客户构建起数据平台最佳底座。数据湖和数据仓库，原本是大数据技术条件下构建分布式系统的两种数据架构设计取向。而融合后的湖仓一体，为业界和用户展现了一种湖与仓互相补充、协同工作的架构。未来，巨杉数据库将不断优化湖仓一体数据服务平台，探索和尝试更多湖仓一体解决方案，帮助企业释放全量数据价值。了解更多内容可关注微信公众号：巨杉数据库砍柴网85.1万获赞 13.1万粉丝国内知名新锐科技媒体砍柴网官方百家号}