Tagged: Distributed Database

[转]数据库连接池的大小与性能 0

[转]数据库连接池的大小与性能

1. 一、前言 基本上来说,大部分项目都需要跟数据库做交互,那么,数据库连接池的大小设置成多大合适呢? 一些开发老鸟可能还会告诉你:没关系,尽量设置的大些,比如设置成 200,这样数据库性能会高些,吞吐量也会大些! 你也许会点头称是,真的是这样吗?看完这篇文章,也许会颠覆你的认知哦!

[转]分库分表无限扩容 0

[转]分库分表无限扩容

1. 正常情况下的服务演化之路 让我们从最初开始。 1-1. 1、单体应用 每个创业公司基本都是从类似 SSM 和 SSH 这种架构起来的,没什么好讲的,基本每个程序员都经历过。 1-2. 2、RPC 应用 当业务越来越大,我们需要对服务进行水平扩容,扩容很简单,只要保证服务是无状态的就可以了,如下图: 当业务又越来越大,我们的服务关系错综复杂,同时,有很多服务访问都是不需要连接 DB 的,只需要连接缓存即可,那么就可以做成分离的,减少 DB 宝贵的连接。如下图: 我相信大部分公司都是在这个阶段。Dubbo 就是为了解决这个问题而生的。 1-3. 3、分库分表 如果你的公司产品很受欢迎,业务继续高速发展,数据越来越多,SQL 操作越来越慢,那么数据库就会成为瓶颈,那么你肯定会想到分库分表,不论通过 ID hash 或者 range 的方式都可以。如下图: 这下应该没问题了吧。任凭你用户再多,并发再高,我只要无限扩容数据库,无限扩容应用,就可以了。 这也是本文的标题,分库分表就能解决无限扩容吗? 实际上,像上面的架构,并不能解决。 其实,这个问题和...

[转]跨库分页的几种常见方案 0

[转]跨库分页的几种常见方案

为什么需要研究跨库分页? 互联网很多业务都有分页拉取数据的需求,例如: (1)微信消息过多时,拉取第N页消息; (2)京东下单过多时,拉取第N页订单; (3)浏览58同城,查看第N页帖子;

[转]1万属性,100亿数据,每秒10万吞吐,架构如何设计? 0

[转]1万属性,100亿数据,每秒10万吞吐,架构如何设计?

有一类业务场景,没有固定的schema存储,却有着海量的数据行数,架构上如何来实现这类业务的存储与检索呢?58最核心的数据“帖子”的架构实现技术细节,今天和大家聊一聊。 1. 一、背景描述及业务介绍 什么是58最核心的数据? 58是一个信息平台,有很多垂直品类:招聘、房产、二手物品、二手车、黄页等等,每个品类又有很多子品类,不管哪个品类,最核心的数据都是“帖子信息”。 画外音:像不像一个大论坛?

[汇总]数据库经验和理论 0

[汇总]数据库经验和理论

从单机到分布式,数据库服务的演变史 数据库“焕然新生”:架构视角下,云原生数据库的创新实践 分库分表,可能真的要退出历史舞台了!  

[转]腾讯云如何应对日益膨胀的数据流量? 0

[转]腾讯云如何应对日益膨胀的数据流量?

任何看到显著增长的应用程序或网站,最终都需要进行扩展。以适应流量的增加和确保数据安全性和完整性的方式进行扩展,对于数据驱动的应用程序和网站来说十分重要。人们可能很难预测某个网站或应用程序的流行程度,也很难预测这种流行程度会持续多久——这就是为什么有些机构选择“可动态扩展的”数据库架构的原因。 本文将讨论一种“可动态扩展的”数据库架构:分片数据库。

[转]冗余数据一致性,到底如何保证? 0

[转]冗余数据一致性,到底如何保证?

1. 一,为什么要冗余数据 互联网数据量很大的业务场景,往往数据库需要进行水平切分来降低单库数据量。 水平切分会有一个patition key,通过patition key的查询能够直接定位到库,但是非patition key上的查询可能就需要扫描多个库了。 此时常见的架构设计方案,是使用数据冗余这种反范式设计来满足分库后不同维度的查询需求。

0

[转]全球最大的支付结算系统:微信每秒50万拆红包数据库是如何支撑运行的?

1. 一、背景 这图是2016年互联网女皇发布的互联网报告里的截图,左图是讲用户每月支付的频率,可以看到微信支付排在最前面的,大概每月支付超过50次,排在第二的是全美借记卡的支付次数。 微信支付单月支付次数大于全美借记卡+信用卡的次数总和,在这数据背后反应出移动支付时代的全面到来,同时也可以看出我们国内的移动支付,无论是产品、用户量、支付频率上,个人认为都是领先全球的。

0

[转]怎样选择数据平台的建设方案

公司要做数据分析,首先要考虑数据的准备,也就是数据平台的建设,最近接触了几个客户都处于这一环节,而且其中一个在方案选型过程中,也是充满了纠结,而我也并没有在开始阶段给出合理全面的建议。 所以根据自己的认知整理了这篇文章,一是对自己的整理,二是希望通过分享,给大家一些参考的价值。