Category: Distributed Architecture
[转]如何基于Canal 和 Kafka,实现 MySQL 的 Binlog 近实时同步?
如何基于Canal 和 Kafka,实现 MySQL 的 Binlog 近实时同步? 近段时间,业务系统架构基本完备,数据层面的建设比较薄弱,因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据(包括保存、更新或者软删除)到一个另一个数据源,持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力,优先调研了Alibaba开源中间件Canal的使用。 微服务之数据同步Porter
[总结]其它MQ
Spring Boot + Disruptor = 王炸!! https://lakstechlounge.online/2019/03/29/my-view-of-solace-vs-kafka/ https://solace.com/blog/solace-topics-vs-kafka-topics/ Feature Kafka Solace Broker Simple broker that takes a log file approach to storage and replay. Offers high performance for simple pub/sub, struggles to...
[转]一文了解 Redis 内存监控和内存消耗
Redis 是一种内存数据库,将数据保存在内存中,读写效率要比传统的将数据保存在磁盘上的数据库要快很多。所以,监控 Redis 的内存消耗并了解 Redis 内存模型对高效并长期稳定使用 Redis 至关重要。
[汇总]Redis理论
你好 Redis,能回答我 7 个问题吗? 一、Redis 的通讯协议是什么 二、Redis 究竟有没有 ACID 事务 三、Redis 的乐观锁 Watch 是怎么实现的 四、Redis 是如何持久化的 五、Redis 在内存使用上是如何开源节流 六、Redis 是如何实现主从复制 七、Redis 是怎么制定过期删除策略的 搞懂这些Redis知识点,吊打面试官! 总结知识点 Redis作者“不懂”分布式锁? 不懂Redis Cluster原理,我被同事diss了! Redis新版本开始引入多线程
[转]高并发下的接口幂等性如何实现
1. 一、背景 我们实际系统中有很多操作,是不管做多少次,都应该产生一样的效果或返回一样的结果。 例如1. 前端重复提交选中的数据,应该后台只产生对应这个数据的一个反应结果;2. 我们发起一笔付款请求,应该只扣用户账户一次钱,当遇到网络重发或系统bug重发,也应该只扣一次钱;3. 发送消息,也应该只发一次,同样的短信发给用户,用户会哭的;4. 创建业务订单,一次业务请求只能创建一个,创建多个就会出大问题等等很多重要的情况都需要幂等的特性来支持。
[汇总] RabbitMQ经验
SpringBoot+RabbitMQ ,保证消息100%投递成功并被消费(附源码) SpringBoot +RabbitMQ 做智能家居 rabbitmq有两种协议,我们平时接触的消息队列是用的AMQP协议,而用在智能硬件中的是MQTT协议。 RabbitMQ和Kafka的显著差异 只要我们是单个消费者,那么接收到的消息就是有序的。然而,一旦有多个消费者从同一个队列中读取消息,那么消息的处理顺序就没法保证了。 Kafka能够保证发送到相同主题分区的所有消息都能够按照顺序处理。