Mobabel

Just One Pure ITer

Category: Big Data

0

Theory & Solution

[转]利用大数据探索工具快速启动大数据分析

现在大数据已经成为企业信息化热点方向之一，很多企业都已经开始或者准备利用大数据大干一场，降低成本、提升数据价值，从而实现智能决策，但是从以 Hadoop 为代表的大数据技术面世以来，将近 10 年的时间，除了几家大型互联网公司以外，企业能够用好大数据的案例远远没有期望的那么多。据国外一家咨询公司 2015 年统计，只有 27% 的公司认为他们的大数据计划是成功的，而只有 8% 的认为是非常成功的。即便是在 POC 阶段，很多企业的平均成功率才只有 38%。

image.png 0

Big Data Practice

[转]根据天猫胸罩销售数据分析中国女性胸部大小分布

 本文实现一个非常有趣的项目，这个项目是关于胸罩销售数据分析的。是网络爬虫和数据分析的综合应用项目。本项目会从天猫抓取胸罩销售数据，并将这些数据保存到SQLite数据库中，然后对数据进行清洗，最后通过SQL语句、Pandas和Matplotlib对数据进行数据可视化分析。我们从分析结果中可以得出很多有的结果，例如，中国女性胸部标准尺寸是多少；胸罩上胸围的销售比例；哪个颜色的胸罩最受女性欢迎。

0

Web Crawler

[转]谈爬虫反爬虫套路

  爬虫与反爬虫，是一个很不阳光的行业。 这里说的不阳光，有两个含义。 第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。 第二是，这个行业并不是一个很积极向上的行业。很多人在这个行业摸爬滚打了多年，积攒了大量的经验，但是悲哀的发现，这些经验很难兑换成闪光的简历。面试的时候，因为双方爬虫理念或者反爬虫理念不同，也很可能互不认可，影响自己的求职之路。本来程序员就有“文人相轻”的倾向，何况理念真的大不同。

0

Theory & Solution

[总结]ELK日志系统之使用Rsyslog快速方便的收集Nginx日志

常规的日志收集方案中 Client 端都需要额外安装一个 Agent 来收集日志，例如 logstash、filebeat 等，额外的程序也就意味着环境的复杂，资源的占用，有没有一种方式是不需要额外安装程序就能实现日志收集呢？Rsyslog 就是你要找的答案！ 关于 Rsyslog Rsyslog 是高速的日志收集处理服务，它具有高性能、安全可靠和模块化设计的特点，能够接收来自各种来源的日志输入（例如：file，tcp，udp，uxsock 等），并通过处理后将结果输出的不同的目的地（例如：mysql，mongodb，elasticsearch，kafka 等），每秒处理日志量能够超过百万条。 Rsyslog 作为 syslog 的增强升级版本已经在各 linux 发行版默认安装了，无需额外安装。