本书从技术维度系统讲解了用户画像的方法论和一些常见的工程化解决方案。
全书共分为9个章节。
第一章 用户画像基础:讲述用户画像的一些基础概念、数据仓库架构、整个项目开发的流程、以及画像相关的表结构设计;
第二章 数据指标体系:从用户属性、用户行为、用户消费、风险控制等四个维度详细罗列了常用到的用户标签,这些标签基本涵盖了大部分场景一半以上的标签需求。同时介绍了标签的规范化命名方式;
第三章 标签数据存储:讲了为什么使用Hive、MySQL、hbase等数据库对标签数据进行存储,以及存储实现方式;
第四章 标签数据开发:本章是全书的重点章节,讲述了统计类标签、规则类标签、挖掘类标签、流式计算类标签的开发。以及用户特征库、人群计算、标签权重计算、打通数据服务层等方面的开发。;
第五章 开发性能调优:主要包括数据倾斜调优、开发中间表、读取小文件处理、redis缓存热数据等数据性能优化方面;
第六章 作业流程调度:数据的ETL调度是数据开发中的重要内容,本章主要讲了如何使用当下热门的开源调度工具Airflow进行数据的调度及场景调度异常的排查工作;
第七章 用户画像产品化:开发画像后的标签数据,如果只是“躺在”数据仓库中,并不能发挥更大的业务价值。只有将画像数据产品化后才能更方便业务方的使用。本章主要讲述了产品端的用户画像是什么样子?如何帮助业务人员进行分析,提供服务的;
第八章 用户画像应用:用户画像的应用包括用户分析、商品分析、流量分析、push、短信、邮件等营销以及站内的个性化推荐等应用场景;
第九章 实践案例详解:前面的八个章节主要从工程化开发的角度讲了如何从0到1搭建起用户画像系统及其应用场景,本章从完整的工业实践应用角度,通过两个实践案例帮助读者更好地理解画像系统是如何切入到应用场景中帮助提升工作效率、提高ROI的
赵宏田,资深大数据技术专家,先后在中国地质大学(武汉)和武汉大学获得工学和经济学双学士学位。在大数据、数据分析和数据化运营领域有多年的实践经验,擅长Hadoop、Spark等大数据技术,以及业务数据分析、数据仓库开发、爬虫、用户画像系统搭建等。开源项目的贡献者,知乎专栏作者,撰写了大量专业文章,广受好评。著有畅销书《数据化运营:系统方法与实践案例》。
方案二:引入随机数数据按照类型groupby时,会将相同的太ey所需的数据拉取到一个节点进行聚合而当某组数据量过大时,会出现其他组已经计算完成而当前任务未完成的情。可以考虑加人随机数,将原来的一组key强制拆分为多组进行聚合。下面通过一个案例介绍。现需要统计用户的订单量,执行如下代码selecttluseridfrom(selectuser-lfromdim。user_info_fact#用户维度表wheredatadate="20190101anduserstatusid=ljoin(selectuser-id,count(*)asorder_numfromdwdworder_fact#订单表wheresiteidin(600,900)andorder-status_idin(1,2,3)ont1。userid=t2user-id用户维度表中有2000条数据,订单表有10亿条数据,任务在未优化前执行了1个小时也没有跑出结果,判断可能是出现了数据倾斜。订单表中某些key值数量较多,在groupby的过程中拉取到一个task上执行时,会出现其他task执行完毕,等待该task执行的情况。这里可以将原本相同的key通过添加随机前缀的方式变成多个key,这样将原本被个task处理的key分散到多个task上先做一次聚合,然后去掉前缀再进行一次聚合得到最终结果。过程如图5-4所示。
——引自章节:5.1 数据倾斜调优137
赵汀阳,中国社会科学院哲学研究所研究员,中国社会科学院学部委员。主要代表作有《论可能生活》(1994)、《天下体系:世界制度哲学导论》(2005)、《坏世界研究...
《反抗的忧郁》是匈牙利作家克拉斯诺霍尔卡伊•拉斯洛创作于1989年的长篇小说,也是贝拉·塔尔的电影《鲸鱼马戏团》的原著。·小说围绕主人公艾斯泰尔夫人、弗劳姆夫人...
燕麦加工与功能 内容简介 《燕麦加工与功能》在对燕麦产品加工特性及其食品功能特性进行分析、讨论的基础上,较为系统地论述了燕麦传统食品、燕麦米食品、燕麦片食品、燕...
落落,最世超人气作家,本书主编及作者之一。在青春文学领域常与郭敬明并提,已出版:长篇小说《年华是无效信》《尘埃星球》,散文集《不朽》《须臾》等。单行本销量均超越...
血液系统恶性肿瘤现代非手术治疗 内容简介 本书全面阐述了血液系统肿瘤的流行病学、病因和发病机制、临床表现、诊断与鉴别诊断以及治疗等。病种涉及白血病、淋巴瘤、浆细...
医韬:中医药的发展与中华民族的复兴 内容简介 本书是一部试图全方位地研究中医药发展问题的学术作品。构思于20世纪90年代的中期,开始书写于90年代的后期。自20...
私法中的人 内容简介 星野英一(1926~),日本当代民法学家。旧制东京**高等学校毕业后入东京大学法学部就学,1952年毕业:1955年受聘为该法学部副教授:...
精彩摘录人生无根蒂,飘如陌上尘。分散逐风转,此已非常身。——引自章节:杂诗十二首一少無適俗韻,性本愛丘山。誤落塵網中,一
★他的有趣,“智性恋”者都懂。王小波遗珠神作&戏谑之书《我的阴阳两界》,收录同名中篇及获奖作《未来世界》。致独立清醒的当代青年:冒犯是对生活的无上敬意。★都市打...
InAristotlesEthicsasFirstPhilosophy,firstpublishedin2008,ClaudiaBaracchidemonstr...
外国法律史要论 内容简介 两次世界大战期间,德国和日本的法制都曾法西斯化,这是一种历史的倒退。第二次世界大战以后,西方国家的法律出现了趋于一致的趋势,欧洲共同体...
深泽直人,IDEO 最早期设计师,无印良品灵魂人物,现武藏野和多摩美术大学客座教授,也是三宅一生基金会创建的 21_21 DESIGN SIGHT 总监;家用电...
资深古典音乐学者详解20世纪音乐史上影响深远的作品,带你共赏“死亡之舞”的原始咆哮,拉开现代主义的序幕★首演曾经引发骚乱?连德彪西、普鲁斯特、毕加索都要去捧场的...
经过了11次印刷和翻译成12种语言版本之后,迈克尔·波特的《国家竞争优势》完全改变了人们原来对财富在现代全球经济中是如何形成和保持的观念。波特对于国际竞争力创始...
《物联网之芯:传感器件与通信芯片设计》内容简介:本书为“物联网工程实战丛书”第2卷。书中从物联网工程的实际需求出发,阐述了传
常见古代诗词名句引用辞典 内容简介 《常见古代诗词名句引用辞典》收集常见古代诗词名句一千七百余条,年代上自先秦下至清末,对名句标明出处,解释意义,讲解用法并引例...
2021临床医学检验技术(师)练习题集 本书特色 本套丛书以新考试大纲和全国卫生专业技术资格考试用书编写专家委员会编写的《2021全国卫生专业技术资格考试指导》...
作品目录序言前言例言捭阖第一反应第二内挞第三抵蛾第四飞箝第五忤合第六揣篇第七摩篇第八权篇第九谋篇第十决篇第十一符言第十二
本书是“建筑史诗”系列的最新作品。“建筑史诗”由建筑学者王南撰写,拟出版四卷二十四本(本书为第九本),内容涉及汉、唐、宋、元、明、清、东西罗马、中世纪、文艺复兴...
涩泽龙彦(1928—1987),日本现代著名小说家、评论家。对三岛由纪夫、寺山修司等人影响甚深的“暗黑美学大师”。致力于将西方社会中的文化与思想暗流介绍给日本学...