Mobabel

Just One Pure ITer

Category: Database Theory & Solution

time_wait特征 0

Database Theory & Solution

[转]HttpClient 连接池设置引发的一次雪崩

1. 一. 事件背景 我最近运维了一个网上的实时接口服务，最近经常出现Address already in use (Bind failed)的问题。很明显是一个端口绑定冲突的问题，于是大概排查了一下当前系统的网络连接情况和端口使用情况，发现是有大量time_wait的连接一直占用着端口没释放，导致端口被占满（最高的时候6w+个），因此HttpClient建立连接的时候会出现申请端口冲突的情况。

0

Database Partitioning&Scaling

[转]如何基于Canal 和 Kafka，实现 MySQL 的 Binlog 近实时同步？

如何基于Canal 和 Kafka，实现 MySQL 的 Binlog 近实时同步？ 近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。 微服务之数据同步Porter  

[汇总]分库分表经验 0

Database Partitioning&Scaling

[汇总]分库分表经验

Sharding-jdbc教程：Springboot整合sharding-jdbc实现读写分离 Spring Boot集成Sharding-jdbc + Mybatis-Plus实现分库分表 Spring Boot + MyBatis + Druid + PageHelper 实现多数据源并分页 一种基于 MyBatis 框架的分库分表方案！造轮子     分库分表，可能真的要退出历史舞台了！ 对于关系型数据库来说，走向分布式也终将成为必然。随着 Raft 等协议应用越来越广泛，分布式数据库的可靠性也逐渐得到了保证。如果你以前因为事务问题而拒绝采用某些 NoSQL 产品，那么如今完全兼容 MySQL 的分布式数据库，你没有理由再说 No。 云厂商，直接提供了像Aurora、PolarDB之类的MySQL增强，更有类似 TiDB、OceanBase 这样纯粹的分布式数据库，越来越多的业务走向了这个终途。当你的团队加班加点验证着分库分表中间件的时候，却发现其实换个兼容的存储就能玩得转，你会怎么选，简直不用再多说。 当然，一旦你选用了分布式数据库，以前的 DBA 经验可能就不管用了，比如说索引及其二级索引。你的团队不得不学习新的知识，来应对分布式环境。...

[转]数据库连接池的大小与性能 0

Database Theory & Solution / Performance Diagnosing

[转]数据库连接池的大小与性能

1. 一、前言 基本上来说，大部分项目都需要跟数据库做交互，那么，数据库连接池的大小设置成多大合适呢？ 一些开发老鸟可能还会告诉你：没关系，尽量设置的大些，比如设置成 200，这样数据库性能会高些，吞吐量也会大些！ 你也许会点头称是，真的是这样吗？看完这篇文章，也许会颠覆你的认知哦！

[转]分库分表无限扩容 0

Database Partitioning&Scaling

[转]分库分表无限扩容

1. 正常情况下的服务演化之路 让我们从最初开始。 1-1. 1、单体应用 每个创业公司基本都是从类似 SSM 和 SSH 这种架构起来的，没什么好讲的，基本每个程序员都经历过。 1-2. 2、RPC 应用 当业务越来越大，我们需要对服务进行水平扩容，扩容很简单，只要保证服务是无状态的就可以了，如下图： 当业务又越来越大，我们的服务关系错综复杂，同时，有很多服务访问都是不需要连接 DB 的，只需要连接缓存即可，那么就可以做成分离的，减少 DB 宝贵的连接。如下图： 我相信大部分公司都是在这个阶段。Dubbo 就是为了解决这个问题而生的。 1-3. 3、分库分表 如果你的公司产品很受欢迎，业务继续高速发展，数据越来越多，SQL 操作越来越慢，那么数据库就会成为瓶颈，那么你肯定会想到分库分表，不论通过 ID hash 或者 range 的方式都可以。如下图： 这下应该没问题了吧。任凭你用户再多，并发再高，我只要无限扩容数据库，无限扩容应用，就可以了。 这也是本文的标题，分库分表就能解决无限扩容吗？ 实际上，像上面的架构，并不能解决。 其实，这个问题和...

[转]跨库分页的几种常见方案 0

Database Partitioning&Scaling

[转]跨库分页的几种常见方案

为什么需要研究跨库分页？ 互联网很多业务都有分页拉取数据的需求，例如： （1）微信消息过多时，拉取第N页消息； （2）京东下单过多时，拉取第N页订单； （3）浏览58同城，查看第N页帖子；

[转]1万属性，100亿数据，每秒10万吞吐，架构如何设计？ 0

Database Theory & Solution

[转]1万属性，100亿数据，每秒10万吞吐，架构如何设计？

有一类业务场景，没有固定的schema存储，却有着海量的数据行数，架构上如何来实现这类业务的存储与检索呢？58最核心的数据“帖子”的架构实现技术细节，今天和大家聊一聊。 1. 一、背景描述及业务介绍 什么是58最核心的数据？ 58是一个信息平台，有很多垂直品类：招聘、房产、二手物品、二手车、黄页等等，每个品类又有很多子品类，不管哪个品类，最核心的数据都是“帖子信息”。 画外音：像不像一个大论坛？

[汇总]数据库经验和理论 0

Database Theory & Solution

[汇总]数据库经验和理论

从单机到分布式，数据库服务的演变史 数据库“焕然新生”：架构视角下，云原生数据库的创新实践 分库分表，可能真的要退出历史舞台了！