作为一种便捷地收集网上信息并从中抽取出可用信息的方式,网络爬虫技术变得越来越有用。使用Python这样的简单编程语言,你可以使用少量编程技能就可以爬取复杂的网站。
《用Python写网络爬虫》作为使用Python来爬取网络数据的杰出指南,讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外,本书还介绍了如何使用AJAX URL和Firebug扩展来爬取数据,以及有关爬取技术的更多真相,比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。本书使用Scrapy创建了一个高级网络爬虫,并对一些真实的网站进行了爬取。
《用Python写网络爬虫》介绍了如下内容:
通过跟踪链接来爬取网站;
使用lxml从页面中抽取数据;
构建线程爬虫来并行爬取页面;
将下载的内容进行缓存,以降低带宽消耗;
解析依赖于JavaScript的网站;
与表单和会话进行交互;
解决受保护页面的验证码问题;
对AJAX调用进行逆向工程;
使用Scrapy创建高级爬虫。
本书读者对象
本书是为想要构建可靠的数据爬取解决方案的开发人员写作的,本书假定读者具有一定的Python编程经验。当然,具备其他编程语言开发经验的读者也可以阅读本书,并理解书中涉及的概念和原理。
Richard Lawson来自澳大利亚,毕业于墨尔本大学计算机科学专业。毕业后,他创办了一家专注于网络爬虫的公司,为超过50个国家的业务提供远程工作。他精通于世界语,可以使用汉语和韩语对话,并且积极投身于开源软件。他目前在牛津大学攻读研究生学位,并利用业余时间研发自主无人机。
作品目录译者序第一部分 密码协议第二部分 密码技术第三部分 密码算法第四部分 真实世界· · · · · ·精彩摘录如果同一个算
杨本芬,1940年出生于湖南湘阴,17岁考入湘阴工业学校,后进入江西共大分校,未及毕业即下放农村。此后数十年为生计奔忙,相夫教子,后从某运输公司退休。花甲之年开...
時雨澤惠一小說家、輕小說作家。1972年出生。於1999年第六回電擊遊戲小說大賞中以『奇諾之旅—the Beautiful World—』進入最終決選候補作品。...
作品目录第一讲 关于空间 居住和建造建筑赋予空间以秩序,人类通过空间形成秩序关于建筑的本质是避难所的错误认识家是世界的模型
你应该知道那个胖胖的企鹅形象的QQ,作为全球用户最多的互联网软件产品之一,它的活跃用户超过3亿,QQ成为大多数中国网民上网应用的第一选择。你或许还知道拥有QQ这...
1.现代社会科学主要奠基人——马克斯·韦伯马克斯·韦伯是德国著名社会学家,现代最具影响力和生命力的思想家,与卡尔·马克思、埃米尔·涂尔干并列为现代社会学的奠基者...
小儿推拿秘旨 本书特色 《小儿推拿秘旨》是清代著名医家龚廷贤早年所著的一部儿科专著。约成书于明·万历甲辰年(公元1604年),是现存小儿推拿较早、较完善...
苏生文,1966年生,福建尤溪人。北京大学中国近代史专业博士,现为中国国家博物馆研究馆员。出版有《西风东渐——衣食住行的近代变迁》《重解晚清之谜》《中国早期的交...
典雅精装,四色彩插,全新增订余秋雨高度评价的传记经典以诗词为主线,参考百余种书目,还原真实、立体的东坡形象【编辑推荐】◎人生为何不快乐,只因未读苏东坡苏东坡是中...
切斯利·萨伦伯格——切斯利·萨伦伯格机长是一名航空公司的飞行员和安全专家,曾任飞行教员、航空公司飞行员协会安全主席及事故调查员。在美国空军学院毕业时获得优秀空军...
肖宾简介《京华时报》资深房产记者,喜好读书,热爱经济与金钱,多年从事房产业新闻报导,见惯了地产大腕们人前人后、真真假假的方方面面,有感而发,遂成此书。
维尔纳•格雷夫德国希尔德斯海姆(Hildesheim)大学心理学系教授。他在发展心理学和犯罪心理学领域发表了若干著述,并著有长篇小说一部。
王 剑中国人民大学金融学硕士,CFA持证人,国信证券金融业首席分析师。同时兼任中国人民大学国际货币研究所特聘研究员、中国人民大学中国银行业研究中心客座研究员、国...
路易斯・布努艾尔(1900~1982),西班牙著名的超现实主义电影大师,出身于富裕的中产阶级天主教家庭,一生导演了三十多部电影。其中《被遗忘的人》获戛纳影展最佳...
想一想厨房烤箱里的葡萄干蛋糕吧,你就能理解我们身处的这个膨胀中的宇宙。科学家对引力波的探测,已被视为本世纪的重大科学突破。爱因斯坦在近百年前所预言的这些时空结构...
AutumnSnowwaslikeanyotherteenagegirlgrowingupintheyear3052:shehadfriends,shewent...
《你的形象价值百万-世界形象设计师的忠告》是一本每一个渴望发展自己事业的人都应该读的书!它展示给我们的是被大多数人忽视了的
弘兼 憲史 (ヒロカネ ケンシ)1947年山口県生まれ。早稲田大学法学部卒業後、松下電器産業(現パナソニック)勤務を経たのち、74 年に『風薫る』で漫画家デビュ...
Margaret Levi is Professor of Political Science at the University of Washington ...
信不信由你,每个家庭都有秘密。★长踞《纽约时报》畅销作家榜44年 作品仅在美国就售出1亿册,美国悬疑小说女王、爱伦·坡终身大师奖得主、国际犯罪小说协会主席玛丽·...