Mobabel

Just One Pure ITer

Category: Distributed Architecture

0

Kafka Practice

[总结]Kafka性能调优和参数调优

Kafka的配置详尽、复杂，想要进行全面的性能调优需要掌握大量信息，这里只记录一下我在日常工作使用中走过的坑和经验来对kafka集群进行优化常用的几点。

[转]百万并发中间件系统的内核设计看Java并发性能优化 0

Build High Performance System

[转]百万并发中间件系统的内核设计看Java并发性能优化

（1）大部分人对Java并发仍停留在理论阶段 （2）中间件系统的内核机制：双缓冲机制 （3）百万并发的技术挑战 （4）内存数据写入的锁机制以及串行化问题 （5）内存缓冲分片机制 + 分段加锁机制 （6）缓冲区写满时的双缓冲交换 （7）且慢！刷写磁盘不是会导致锁持有时间过长吗？ （8）内存 + 磁盘并行写机制 （9）为什么必须要用双缓冲机制？ （10）总结 “ 这篇文章，给大家聊聊一个百万级并发的中间件系统的内核代码里的锁性能优化。很多同学都对Java并发编程很感兴趣，学习了很多相关的技术和知识。比如volatile、Atomic、synchronized底层、读写锁、AQS、并发包下的集合类、线程池，等等。

[转]新浪日访问量百亿级的应用如何做缓存架构设计 0

Cache in distributed Architecture / Redis High Avaliable Scale Architect

[转]新浪日访问量百亿级的应用如何做缓存架构设计

微博日活跃用户1.6亿+，每日访问量达百亿级，面对庞大用户群的海量访问，良好架构且不断改进的缓存体系具有非常重要的支撑作用。刷微博吗？跟我们一起听听那些庞大的数据是如何呈现的吧！ 陈波：大家好，今天的分享主要有以下内容，首先是微博在运行过程中的数据挑战，然后是Feed系统架构，接下来会着重分析Cache架构及演进，最后是总结、展望。

[转]同程RocketMQ如何应对每天1500亿条的数据处理？ 0

RocketMQ

[转]同程RocketMQ如何应对每天1500亿条的数据处理？

同程艺龙的机票、火车票、汽车票、酒店相关业务已经接入了 RocketMQ，用于流量高峰时候的削峰，以减少后端的压力。 同时，对常规的系统进行解耦，将一些同步处理改成异步处理，每天处理的数据达 1500 亿条。 在近期的 Apache RocketMQ Meetup 上，同程艺龙机票事业部架构师查江，分享了同程艺龙的消息系统如何应对每天 1500 亿条的数据处理。 通过此文，您将了解到： 同程艺龙消息系统的使用情况 同程艺龙消息系统的应用场景 技术上踩过的坑 基于 RocketMQ 的改进

[转]携程新一代监控告警平台Hickwall架构演进 0

System Monitor

[转]携程新一代监控告警平台Hickwall架构演进

监控告警是网站可用性的第一道防线，为网站提供更加实时可靠高效的监控告警，对互联网企业具有非凡的意义。致力于这个目标，经过不断地改进，携程新一代监控告警平台 Hickwall 在存储效率、查询速度和告警可靠性方面都有了极大的改善。 本文将从存储、聚合、告警三个方面介绍 Hickwall 在核心架构方面的演进。

[汇总]分布式事务 0

Distributed Transaction Solution

[汇总]分布式事务

阿里分布式事务框架GTS开源 为什么阿里规定需要在事务注解@Transactional中指定rollbackFor？ 1.4 w字，25 张图让你彻底掌握分布式事务原理 别以为面试老问分布式事务，项目里就一定要用，坑贼多！     《我想进大厂》之分布式事务篇 从事务的ACID开始，向大家先说了XA是分布式事务处理的规范，之后谈到2PC和3PC，2PC有同步阻塞、单点故障和数据不一致的问题，3PC在一定程度上解决了同步阻塞和单点故障的问题，但是还是没有完全解决数据不一致的问题。 之后说到TCC、SAGA、消息队列的最终一致性的方案，TCC由于实现过于麻烦和复杂，业务很少应用，SAGA了解即可，国内也很少有应用到的，消息队列提供了解耦的实现方式，对于中小公司来说可能是较为低成本的实现方式。 最后再说目前国内的实现框架，云端阿里云的GTS兼容Seata，非云端使用Seata，它提供了XA、TCC、AT、SAGA的解决方案，可以说是目前的主流选择。 基于MySQL和DynamoDB的强一致性分布式事务实践

[转]亿级流量架构系列专栏总结[3] 数据一致性重构指南 0

Build High Performance System

[转]亿级流量架构系列专栏总结[3] 数据一致性重构指南

亿级流量系统架构之如何保证百亿流量下的数据一致性（上） 亿级流量系统架构之如何保证百亿流量下的数据一致性（中） 亿级流量系统架构之如何保证百亿流量下的数据一致性（下）   如何保证消息中间件全链路数据100%不丢失（1） 如何保证消息中间件全链路数据100%不丢失（2） 消息中间件如何实现消费吞吐量的百倍优化 如何保证生产者投递到消息中间件的消息不丢失  

[转]亿级流量架构系列专栏总结[2]架构可扩展性 0

Build High Performance System

[转]亿级流量架构系列专栏总结[2]架构可扩展性

在《亿级流量系统架构》系列第一阶段中，我们从零开始，讲述了一个大型数据平台的几个方面的构建，包括： 如何承载百亿级数据的存储挑战 如何承载设计高容错的分布式架构 如何设计高性能架构，使之能承载百亿级流量 如何设计高并发架构，能够支撑住每秒数十万的并发查询 如何设计全链路99.99%的高可用架构 好！架构演进到这个时候，系统是否无懈可击了呢？