本书从技术维度系统讲解了用户画像的方法论和一些常见的工程化解决方案。
全书共分为9个章节。
第一章 用户画像基础:讲述用户画像的一些基础概念、数据仓库架构、整个项目开发的流程、以及画像相关的表结构设计;
第二章 数据指标体系:从用户属性、用户行为、用户消费、风险控制等四个维度详细罗列了常用到的用户标签,这些标签基本涵盖了大部分场景一半以上的标签需求。同时介绍了标签的规范化命名方式;
第三章 标签数据存储:讲了为什么使用Hive、MySQL、hbase等数据库对标签数据进行存储,以及存储实现方式;
第四章 标签数据开发:本章是全书的重点章节,讲述了统计类标签、规则类标签、挖掘类标签、流式计算类标签的开发。以及用户特征库、人群计算、标签权重计算、打通数据服务层等方面的开发。;
第五章 开发性能调优:主要包括数据倾斜调优、开发中间表、读取小文件处理、redis缓存热数据等数据性能优化方面;
第六章 作业流程调度:数据的ETL调度是数据开发中的重要内容,本章主要讲了如何使用当下热门的开源调度工具Airflow进行数据的调度及场景调度异常的排查工作;
第七章 用户画像产品化:开发画像后的标签数据,如果只是“躺在”数据仓库中,并不能发挥更大的业务价值。只有将画像数据产品化后才能更方便业务方的使用。本章主要讲述了产品端的用户画像是什么样子?如何帮助业务人员进行分析,提供服务的;
第八章 用户画像应用:用户画像的应用包括用户分析、商品分析、流量分析、push、短信、邮件等营销以及站内的个性化推荐等应用场景;
第九章 实践案例详解:前面的八个章节主要从工程化开发的角度讲了如何从0到1搭建起用户画像系统及其应用场景,本章从完整的工业实践应用角度,通过两个实践案例帮助读者更好地理解画像系统是如何切入到应用场景中帮助提升工作效率、提高ROI的
赵宏田,资深大数据技术专家,先后在中国地质大学(武汉)和武汉大学获得工学和经济学双学士学位。在大数据、数据分析和数据化运营领域有多年的实践经验,擅长Hadoop、Spark等大数据技术,以及业务数据分析、数据仓库开发、爬虫、用户画像系统搭建等。开源项目的贡献者,知乎专栏作者,撰写了大量专业文章,广受好评。著有畅销书《数据化运营:系统方法与实践案例》。
方案二:引入随机数数据按照类型groupby时,会将相同的太ey所需的数据拉取到一个节点进行聚合而当某组数据量过大时,会出现其他组已经计算完成而当前任务未完成的情。可以考虑加人随机数,将原来的一组key强制拆分为多组进行聚合。下面通过一个案例介绍。现需要统计用户的订单量,执行如下代码selecttluseridfrom(selectuser-lfromdim。user_info_fact#用户维度表wheredatadate="20190101anduserstatusid=ljoin(selectuser-id,count(*)asorder_numfromdwdworder_fact#订单表wheresiteidin(600,900)andorder-status_idin(1,2,3)ont1。userid=t2user-id用户维度表中有2000条数据,订单表有10亿条数据,任务在未优化前执行了1个小时也没有跑出结果,判断可能是出现了数据倾斜。订单表中某些key值数量较多,在groupby的过程中拉取到一个task上执行时,会出现其他task执行完毕,等待该task执行的情况。这里可以将原本相同的key通过添加随机前缀的方式变成多个key,这样将原本被个task处理的key分散到多个task上先做一次聚合,然后去掉前缀再进行一次聚合得到最终结果。过程如图5-4所示。
——引自章节:5.1 数据倾斜调优137
海派中医-妇科流派研究 本书特色 《海派中医妇科流派研究》,本书分为上下两篇,上篇以学术流派为纲,内容阐述流派与文化、何为海派、海派中医与海派文化、学术流派研究...
作为当今在世艺术家中最受欢迎的一位,大卫·霍克尼的故事是一种激情:观看的激情,讲述的激情,想象的激情。除此之外,还应该加上生活的激情。霍克尼的艺术是对鲜活生命的...
这是王鼎钧“回忆录四部曲”的第一部,写故乡、家庭和抗战初期的遭遇。作者对家乡的风土人情、历史掌故及种地劳作信手拈来;同时将个体的遭遇置于宏大的社会背景中,以小见...
法显,东晋著名僧人,为我国历史记载中,第一位到达印度的僧人。
举世闻名的印加遗址,切·格瓦拉、三毛、聂鲁达都曾为它驻足;屹立世间500多年的天空之城,至今仍未完全揭秘!※《纽约时报》畅销书,《华盛顿邮报》《男性杂志》年度最...
汤米和塔彭丝,阿加莎•克里斯蒂笔下的可爱侦探情侣档又回来了。这一次,他们去到一家阴森的哥特式养老院探访上了年纪的艾达姑妈,从而被卷入了一系列诡异的案件中。艾达姑...
ThisisareaderforbeginningRussianstudents."BeginnersRussianReader"(Pargment)isagr...
天下归元,女,中国作家协会会员,2011年获全国女性文学最佳新人奖,2012年获潇湘书院“非凡成就奖”。其代表作《扶摇皇后》获2011年度十大优秀女性文学奖。最...
灵境技术是继计算机技术革命之后的又一项技术革命,它将引发一系列震撼全世界的变革,一定是人类历史中的大事。——钱学森,1994★ 一本书,带你理清互联网治理的历史...
作者简介约翰•卡洛尔(John Carroll) 墨尔本拉托贝大学(La Trobe University)社会学教授。著有《自我与灵魂:寻找意义的现代
蔡澜,电影监制、美食家、专栏作家、电影节目主持人、商人。现任世界华人健康饮食协会荣誉主席。中国美食纪录片《舌尖上的中国》曾特邀蔡澜作为节目总顾问。他与金庸、黄沾...
阿加莎·克里斯蒂被誉为举世公认的侦探推理小说女王。她的著作英文版销售量逾10亿册,而且还被译成百余种文字,销售量亦逾10亿册
精彩摘录Theinitialquestionstreatedbyinformationtheorylayintheareasofdatacompressiona...
中国法制史(第二版)(21世纪远程教育精品教材·法学系列) 本书特色 《中国法制史(第2版)》:是21世纪远程教育精品教材·法学系列。中国法制史(第二版)(21...
《要事第一》是《高效能人士的七个习惯》的延伸与加强版,柯维思想的核心精髓之一。不是给你提供另外一个时钟,而是给你一个罗盘——因为比速度更重要的是前进方向。全书更...
《战术》约成书于9世纪末至10世纪初,拜占庭马其顿王朝皇帝利奥六世在位期间,是篇幅相对较长,保存也相对较好的拜占庭帝国军事典籍。主持编纂这本书的利奥六世皇帝,绰...
旱区苜蓿 本书特色 《旱区苜蓿》由孙启忠,王宗礼,徐丽君著,科学出版社出版。《旱区苜蓿》对从事草地农业、畜牧业、草业乃至恢复生态学的科技人员、管理者、生产者及苜...
《三毛流浪记》所描述的三毛所生活的那个时代,已经成为了过去,但是了解过去,了解历史,却是每个人都必须完成的一份答卷。因为了解过去,了解历史可以让成长的脚步更沉着...
约翰·海恩斯(1924-2011)生于美国弗吉尼亚州诺福克郡,海军军官之子,二战期间曾在南太平洋的驱逐舰上服役三年。后在华府和纽约学习绘画,1947年移居阿拉斯...
王小波,1952年5月13日出生于北京。1968~1970年 云南农场知青。1971~1972年 山东牟平插队;后担任民办教师。1972~1973年 北京牛街教...