Category: Distributed Architecture

0

[转]如何基于Canal 和 Kafka,实现 MySQL 的 Binlog 近实时同步?

如何基于Canal 和 Kafka,实现 MySQL 的 Binlog 近实时同步? 近段时间,业务系统架构基本完备,数据层面的建设比较薄弱,因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据(包括保存、更新或者软删除)到一个另一个数据源,持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力,优先调研了Alibaba开源中间件Canal的使用。 微服务之数据同步Porter  

[总结]其它MQ 0

[总结]其它MQ

Spring Boot + Disruptor = 王炸!!   https://lakstechlounge.online/2019/03/29/my-view-of-solace-vs-kafka/   https://solace.com/blog/solace-topics-vs-kafka-topics/ Feature Kafka Solace Broker Simple broker that takes a log file approach to storage and replay. Offers high performance for simple pub/sub, struggles to...

[汇总]高可用经验 0

[汇总]高可用经验

为了做到微服务的高可用,鬼知道我出了多少张牌 你管这破玩意儿叫高可用? (更详细构架)      

[汇总]Redis理论 0

[汇总]Redis理论

你好 Redis,能回答我 7 个问题吗? 一、Redis 的通讯协议是什么 二、Redis 究竟有没有 ACID 事务 三、Redis 的乐观锁 Watch 是怎么实现的 四、Redis 是如何持久化的 五、Redis 在内存使用上是如何开源节流 六、Redis 是如何实现主从复制 七、Redis 是怎么制定过期删除策略的   搞懂这些Redis知识点,吊打面试官! 总结知识点   Redis作者“不懂”分布式锁? 不懂Redis Cluster原理,我被同事diss了! Redis新版本开始引入多线程

[转]高并发下的接口幂等性如何实现 0

[转]高并发下的接口幂等性如何实现

1. 一、背景 我们实际系统中有很多操作,是不管做多少次,都应该产生一样的效果或返回一样的结果。 例如1. 前端重复提交选中的数据,应该后台只产生对应这个数据的一个反应结果;2. 我们发起一笔付款请求,应该只扣用户账户一次钱,当遇到网络重发或系统bug重发,也应该只扣一次钱;3. 发送消息,也应该只发一次,同样的短信发给用户,用户会哭的;4. 创建业务订单,一次业务请求只能创建一个,创建多个就会出大问题等等很多重要的情况都需要幂等的特性来支持。

[汇总] TiDB经验 0

[汇总] TiDB经验

为什么我们要从MySQL迁移到TiDB? 1.3 万亿条数据查询,如何做到毫秒级响应?TiDB 

[汇总] RabbitMQ经验 0

[汇总] RabbitMQ经验

SpringBoot+RabbitMQ ,保证消息100%投递成功并被消费(附源码) SpringBoot +RabbitMQ 做智能家居 rabbitmq有两种协议,我们平时接触的消息队列是用的AMQP协议,而用在智能硬件中的是MQTT协议。 RabbitMQ和Kafka的显著差异 只要我们是单个消费者,那么接收到的消息就是有序的。然而,一旦有多个消费者从同一个队列中读取消息,那么消息的处理顺序就没法保证了。 Kafka能够保证发送到相同主题分区的所有消息都能够按照顺序处理。