Category: Web Crawler

如今从网上抓取数据看似非常容易。有许多开源库和框架、可视化抓取工具和数据提取工具，可以很容易地从一个网站上抓取数据。但是，当你想大规模地搜索网站时，很快就会感觉到非常棘手。 本文中，我们将与你分享自2010年以来借助Scrapinghub从一千亿个产品页面上抓取数据时所学到的经验教训，让你深入了解从电子商务店铺大规模提取产品数据时面临的挑战，并与你分享一些应对这些挑战的最佳实践经验。 Scrapinghub成立于2010年，是数据提取公司中的佼佼者之一，也是Scrapy的缔造者——Scrapy是当今最强大、最受欢迎的网络抓取框架。目前，Scrapinghub为全球众多的大型电子商务公司每月抓取超过80亿的页面（其中30亿是产品页面）。

  爬虫与反爬虫，是一个很不阳光的行业。 这里说的不阳光，有两个含义。 第一是，这个行业是隐藏在地下的，一般很少被曝光出来。很多公司对外都不会宣称自己有爬虫团队，甚至隐瞒自己有反爬虫团队的事实。这可能是出于公司战略角度来看的，与技术无关。 第二是，这个行业并不是一个很积极向上的行业。很多人在这个行业摸爬滚打了多年，积攒了大量的经验，但是悲哀的发现，这些经验很难兑换成闪光的简历。面试的时候，因为双方爬虫理念或者反爬虫理念不同，也很可能互不认可，影响自己的求职之路。本来程序员就有“文人相轻”的倾向，何况理念真的大不同。