[汇总]Kafka经验
不明觉厉！线上部署Kafka和ES，为啥JVM堆内存分配越大，性能反而越低？
kafka、elasticsearch等系统，线上生产环境部署时，是依赖os cache来缓冲大量数据的。假如你有一台机器，32GB的内存，你如果在搞不清状况的情况下，傻傻的认为还是给JVM分配越大内存越好，比如给了16G的堆内存空间给JVM。那么这样分配下来，os cache剩下的内存，可能就不到10GB了，因为本身其他的程序还要占用几个GB的内存。
开源的数据流技术，该选择Redpanda还是Apache Kafka？
我的观点是：不建议用户使用 Kafka Streams，因为其缺少检查点机制，也不具备随机排序等功能，而 KSQL 以 Kafka Streams 为基础，因此其同样继承了后者所固有的不少问题。
平时只会用Kafka发消息，昨天突然遇到一次Kafka消息堆积生产事故！
HeartbeatThread 线程在发送心跳前，会比较一下当前时间跟上次poll时间，一旦大于max.poll.interval.ms 参数，就会发起自我驱逐了。
刚进新公司不久，我就解决了一次Kafka生产环境OOM内存溢出！
从 Kafka 里取出的 700 条数据是直接往 环形队列Disruptor 里丢的。
![[汇总]AI经验](http://www.mobabel.net/wp-content/themes/hueman/assets/front/img/thumb-small-empty.png)
