作为一种便捷地收集网上信息并从中抽取出可用信息的方式,网络爬虫技术变得越来越有用。使用Python这样的简单编程语言,你可以使用少量编程技能就可以爬取复杂的网站。
《用Python写网络爬虫》作为使用Python来爬取网络数据的杰出指南,讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外,本书还介绍了如何使用AJAX URL和Firebug扩展来爬取数据,以及有关爬取技术的更多真相,比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。本书使用Scrapy创建了一个高级网络爬虫,并对一些真实的网站进行了爬取。
《用Python写网络爬虫》介绍了如下内容:
通过跟踪链接来爬取网站;
使用lxml从页面中抽取数据;
构建线程爬虫来并行爬取页面;
将下载的内容进行缓存,以降低带宽消耗;
解析依赖于JavaScript的网站;
与表单和会话进行交互;
解决受保护页面的验证码问题;
对AJAX调用进行逆向工程;
使用Scrapy创建高级爬虫。
本书读者对象
本书是为想要构建可靠的数据爬取解决方案的开发人员写作的,本书假定读者具有一定的Python编程经验。当然,具备其他编程语言开发经验的读者也可以阅读本书,并理解书中涉及的概念和原理。
Richard Lawson来自澳大利亚,毕业于墨尔本大学计算机科学专业。毕业后,他创办了一家专注于网络爬虫的公司,为超过50个国家的业务提供远程工作。他精通于世界语,可以使用汉语和韩语对话,并且积极投身于开源软件。他目前在牛津大学攻读研究生学位,并利用业余时间研发自主无人机。
以真实案件为原点,沉默而朴素地下潜,体察众生的杂芜与悲欣---【内容简介】沈颖出生于山东淄博的一个普通工人家庭,母亲患癌去世,父亲在她成长过程中的长期缺位,婚姻...
【编辑推荐】谨以此书纪念“雨巷诗人”戴望舒逝世70周年;首次披露大批极为珍贵的戴望舒生平资料,全面、翔实、客观还原一位被严重低估了的“诗坛领袖”,勾画历史与现实...
海子(1964-1989),本名查海生,中国当代诗人。15岁考入北京大学法律系,19岁进入中国政法大学工作,25岁卧轨陨落。海子,活在民族记忆里的诗歌王子。
I am most grateful for two things: that I was born in North Korea, and that I es...
西泽保彦 Yasuhiko Nishizawa一九六〇年出生于日本高知县,毕业于美国艾可德学院,曾任教于高知大学。一九九五年获得岛田庄司赏识,以短篇集《解体诸因...
德国心理学经典畅销作品第6版,整合想象力疗法与资源取向,激活应对创伤的自愈力,建立内在的安全岛。29幅彩色绘画作品,展示陷入悲伤的人无法用言语表达的心境。要一直...
夏目漱石,本名夏目金之助,是日本近代文学的杰出代表,在日本文学史上享有很高的地位,有“国民大作家”之称,也是中国读者最为熟知的日本作家之一。夏目漱石一生著有两部...
首度披露大量机密信息揭开“二战”后期美国大举招揽纳粹科学家的黑暗内幕 V-2 火箭、沙林、芥子气等令盟军闻风丧胆的纳粹武器竟是无数人体试验的成果?纳粹科学家们搞...
北京协和医院处方手册 本书特色 《处方手册》系根据药剂科和各临床科室在工作的实践经验及用药习惯特点,总结编纂而成。 本手册在编写时,参照了大量国内外有...
《纽约时报》十大最佳儿童绘本奖、法国女巫奖得主最新奇力作!美国创意设计网、 法国儿童书评网倾力推介!巧妙奇特的构思,出其不意的设计,发人深省的结局,一场精彩绝伦...
商务国际现代汉语词典-双色插图本 本书特色 一部规范型、学习型的现代汉语词典。收词侧重语文性,兼收部分常见的与日常生活相关的科技、经济、社会等百科词语,并收录使...
当今中国最活跃的专栏作家之一。 1970年出生。原名钟晓勇,福建长汀人,现居厦门。 原《南方周末》记者,现为专栏作家。先后在《南方周末》、《南方都市报》、《城市...
胡弃暗作家,前媒体人,执业律师,现居江苏苏州。ONE APP人气作者、豆瓣阅读小雅奖最佳作者。
◆ 大卫·芬奇热门美剧《心灵猎人》女主角原型、现代犯罪侧写方法开创者、“心灵猎人”中的真正主脑和唯一女性安·沃尔伯特·伯吉斯不为人知的故事。◆ 本书入选美国亚马...
中国妇女在法律上之地位 本书特色 本书为《近代名家散佚学术著作丛刊》系列图书之一,1928由商务印书馆出版。全书共五章,分别论述了中国妇女在室女时期的地位、已嫁...
沃尔克沃尔克被称为“史上最伟大的联储主席”。他主导了世界经济体系从“美元-黄金本位“到浮动汇率制的切换,以惊人的勇气和远见成功治理美元通胀,缓和拉美债务危机的冲...
精彩摘录当然,命运往往另有安排,可是,我总不能趴在地上听天由命,总得努力一番。——引自第9页“你把一生都安排好了。”开明微笑,“尽力而为。有用吗?”张小姐有弦外...
作品目录序:细参“有限”索“无穷” 文怀沙前言导读图第一章 “黑箱”的探究一、天人之际:从西方到东方西方:天人对立——科学
本书作者奥托·帕希特是20世纪伟大的美术史家、新维也纳艺术史学派的关键人物。他的最大贡献在于引导读者如何从艺术史的角度来理解艺术品。他强调回到观看本身,美术史所...
施咸荣主编故事发生在英国一所著名的女子学校,学期伊始,顿生巨变。两个教师先后被杀,新同学谢斯塔公主突遭绑架。警方侦缉未获