Mobabel

Just One Pure ITer

Category: Log Aggregation

[转]有赞百亿级日志系统是怎么设计出来的? 0

Log Aggregation

[转]有赞百亿级日志系统是怎么设计出来的?

日志平台为集团所有业务系统提供日志采集、消费、分析、存储、索引和查询的一站式日志服务。 主要为了解决日志分散不方便查看、日志搜索操作复杂且效率低、业务异常无法及时发现等等问题。 随着有赞业务的发展与增长，每天都会产生百亿级别的日志量（据统计，平均每秒产生 50 万条日志，峰值每秒可达 80 万条）。日志平台也随着业务的不断发展经历了多次改变和升级。 本文跟大家分享有赞在当前日志系统的建设、演进以及优化的经历，这里先抛砖引玉，欢迎大家一起交流讨论。

[汇总]日志开发经验 0

Log Aggregation

[汇总]日志开发经验

Spring Boot 服务监控，健康检查，线程信息，JVM堆信息，指标收集，运行情况监控等！ Spring Boot是如何实现日志的？ 阿里巴巴不允许工程师直接使用Log4j和Logback的API！ 3种常见的数据脱敏方案 一个注解搞定接口返回数据脱敏

[总结]日志格式 0

Log Aggregation

[总结]日志格式

1. 概述 统一日志服务使用了分布式跟踪技术来收集和存储分散在各个应用或接口服务的日志，这些日志可用于后续的运维、监控和统计分析。 分布式跟踪技术把每次请求的整个调用链记录下来，可以方便的查看一次请求从客户端到应用服务器到数据库等每个阶段的执行情况，详细参考OpenTracing。

[转]最佳日志实践 v2.0 0

Log Aggregation

[转]最佳日志实践 v2.0

1. 0. 缘起 大约在三年前，我曾经写过一篇 最佳日志实践，还被码农周刊选为那年的 最受欢迎技术干货 之一。当时我任职于网易杭州研究院的存储平台组，主要做网易对象存储（NOS）的开发和部分运维工作。由于网易云音乐，易信等几个重要产品陆续上线，业务压力剧增，我们的系统在前前后后大约半年的时间里，出现了大大小小各种事故。通过不断总结事故原因、不断地优化代码、进化部署架构，才使整个系统逐渐稳定下来。那个时候组里人常常开玩笑说，我们采用的是TDD的开发模式，只是这个TDD不是测试驱动开发（Test Driven Development），而是悲剧驱动开发（Tragedy Driven Development）。

[转]最佳日志实践 v1.0 0

Log Aggregation

[转]最佳日志实践 v1.0

1. 前言 日志用来记录用户操作、系统运行状态等，是一个系统的重要组成部分。然而由于日志并非系统核心功能，通常情况下并不受团队的重视。在出现问题需要通过日志来定位时，才发现日志还存在很多问题。 日志记录的好坏直接关系到系统出现问题时定位的速度，同时可以通过对日志的观察和分析，提前发现系统可能的风险，避免线上事故的发生。 我们在开发和运维NOS（网易对象存储，Netease Object Storage）的过程中，对整个系统的日志进行了分析优化，积累出一些经验，归纳如下。