本书从技术维度系统讲解了用户画像的方法论和一些常见的工程化解决方案。
全书共分为9个章节。
第一章 用户画像基础:讲述用户画像的一些基础概念、数据仓库架构、整个项目开发的流程、以及画像相关的表结构设计;
第二章 数据指标体系:从用户属性、用户行为、用户消费、风险控制等四个维度详细罗列了常用到的用户标签,这些标签基本涵盖了大部分场景一半以上的标签需求。同时介绍了标签的规范化命名方式;
第三章 标签数据存储:讲了为什么使用Hive、MySQL、hbase等数据库对标签数据进行存储,以及存储实现方式;
第四章 标签数据开发:本章是全书的重点章节,讲述了统计类标签、规则类标签、挖掘类标签、流式计算类标签的开发。以及用户特征库、人群计算、标签权重计算、打通数据服务层等方面的开发。;
第五章 开发性能调优:主要包括数据倾斜调优、开发中间表、读取小文件处理、redis缓存热数据等数据性能优化方面;
第六章 作业流程调度:数据的ETL调度是数据开发中的重要内容,本章主要讲了如何使用当下热门的开源调度工具Airflow进行数据的调度及场景调度异常的排查工作;
第七章 用户画像产品化:开发画像后的标签数据,如果只是“躺在”数据仓库中,并不能发挥更大的业务价值。只有将画像数据产品化后才能更方便业务方的使用。本章主要讲述了产品端的用户画像是什么样子?如何帮助业务人员进行分析,提供服务的;
第八章 用户画像应用:用户画像的应用包括用户分析、商品分析、流量分析、push、短信、邮件等营销以及站内的个性化推荐等应用场景;
第九章 实践案例详解:前面的八个章节主要从工程化开发的角度讲了如何从0到1搭建起用户画像系统及其应用场景,本章从完整的工业实践应用角度,通过两个实践案例帮助读者更好地理解画像系统是如何切入到应用场景中帮助提升工作效率、提高ROI的
赵宏田,资深大数据技术专家,先后在中国地质大学(武汉)和武汉大学获得工学和经济学双学士学位。在大数据、数据分析和数据化运营领域有多年的实践经验,擅长Hadoop、Spark等大数据技术,以及业务数据分析、数据仓库开发、爬虫、用户画像系统搭建等。开源项目的贡献者,知乎专栏作者,撰写了大量专业文章,广受好评。著有畅销书《数据化运营:系统方法与实践案例》。
方案二:引入随机数数据按照类型groupby时,会将相同的太ey所需的数据拉取到一个节点进行聚合而当某组数据量过大时,会出现其他组已经计算完成而当前任务未完成的情。可以考虑加人随机数,将原来的一组key强制拆分为多组进行聚合。下面通过一个案例介绍。现需要统计用户的订单量,执行如下代码selecttluseridfrom(selectuser-lfromdim。user_info_fact#用户维度表wheredatadate="20190101anduserstatusid=ljoin(selectuser-id,count(*)asorder_numfromdwdworder_fact#订单表wheresiteidin(600,900)andorder-status_idin(1,2,3)ont1。userid=t2user-id用户维度表中有2000条数据,订单表有10亿条数据,任务在未优化前执行了1个小时也没有跑出结果,判断可能是出现了数据倾斜。订单表中某些key值数量较多,在groupby的过程中拉取到一个task上执行时,会出现其他task执行完毕,等待该task执行的情况。这里可以将原本相同的key通过添加随机前缀的方式变成多个key,这样将原本被个task处理的key分散到多个task上先做一次聚合,然后去掉前缀再进行一次聚合得到最终结果。过程如图5-4所示。
——引自章节:5.1 数据倾斜调优137
针灸治疗学-(供针灸专业用) 本书特色 《针灸治疗学(供针灸专业用)》内容从本课程的性质、任务出发,注意符合教学的实际需要和具有与本门学科发展相适应的科学水平;...
建筑桃花源 本书特色 风水是中国通俗文化相当重要的一部分,它代表中国人对自然的看法,自明代以来,已成为中国的建筑原则。在汉宝德编著的这本《建筑桃花源》中,作者基...
作品目录自序一点怀念花火被海迷死的鱼风吹来的祈祷文莫名湖河永不凋零的春天李莫愁们的念去去写不出论文的夜晚胡言乱语为了命名
[美]马歇尔•卢森堡(1934—)师从人本主义心理学之父卡尔•罗杰斯,美国威斯康星大学临床心理学博士。国际非暴力沟通中心创始人,全球首位非暴力沟通专家。他有着5...
印度尼西亚的一个拘留营,47人被报告死于急性出血热。微生物学家和流行病学家亨利·帕森斯代表世界卫生组织前往那里调查。他的发现震惊全球——一名新病毒感染者正前往麦...
作品目录1月 托马斯·阿·坎贝(Thomas A Kempis)1.唯有德行才蒙神的喜悦2.贪爱世界是何等的虚空3.要制止过度的求知欲4.宁可承
近代中国海关始于太平天国运动(1850-1864)期间,1949年共产党在中国赢得政权后未几结束。一个世纪中,它的身影不仅出现在中国的内陆腹地,还出现在远在西北...
初版《不必交谈的时刻》大多是樊小纯于2012-2015 年之间,在纽约时期的文字记录。五年后,她在初版的基础上将文字稍作增删,回归原先的无序、无主题排列。说是无...
中药图典-第2版 本书特色 本书收载中药700多种,主为常用中药。全书突出药材图片,且与该药的文字均布置在一个阅读面,充分发挥图谱的方便、直观、便于查阅的特色。...
编辑推荐1.日本央行前行长白川方明,亲历日本自20世纪70年代中期至今近半个世纪的繁荣与衰退,还原重大金融历史现场,泡沫经济膨胀、泡沫经济崩溃后金融危机、雷曼兄...
小妮子原名:熊静血型:O型(据说是最古老的血型哦)星座:神秘敏感的天蝎座当相册中的照片从活泼流转到优雅,当手中冒泡的可乐幻变成浓郁浪漫的迷迭香,当衣柜中的白色T...
作品目录前言 方闻导言第一章 人世间——叙事性再现第二章 造化与艺术——宏伟山水画第三章 文人士大夫艺术第四章 宋代宫廷艺术
Connell and Marianne grow up in the same small town in the west of Ireland, but ...
精彩摘录Whydowecontinue,asacommunityandasindividuals,toattempttoprotectandconcealmag...
威廉•坎宽巴1987年8月5日出生于非洲马拉维的多瓦小镇。他14岁辍学,开始自学物理,摸索风车发电机的发明的制作方法,三年后试验成功,随后不断改进,19岁时被美...
落落,原名赵佳蓉,1982年4月30日出生于中国上海,作家、导演、编剧、《文艺风象》杂志主编,她以独特的文学方式改变着新生代文学的面貌,并创造了一个与当前流行的...
看得见的正义-(第二版) 本书特色 本书是经典著作的再版。本书**版2000年出版,在法学界很有影响,对于普及程序正义的理念起了重要的推动作用。十年之后作者对全...
林达,一对旅美夫妇的笔名。他们都于1952年出生在上海,1978年进入大学。现居美国。这对夫妇用历史的厚重感,以一个经历过“文革”洗礼的普通中国人的视角、勤奋、...
★日本知名设计活动家、“长效设计”(Long-life Design)理念倡导人长冈贤明作品。被原研哉、安藤雅信等人盛赞的设计活动家长冈贤明,联合《日经设计》编...
本书是一部在广度、深度和简约度上皆超越“常规”的现当代国际关系史论著兼教科书。它基于对大约500年里现当代国际关系的基本方面、演化脉流和内在机理的深切理解,在大...