《大数据存储技术》内容简介

本书由浅入深，层层深入，从基本原理着手，逐步过渡到大数据存储的新技术的发展。本书以扎实的理论分析为基础，系统、深入地介绍了分布式文件系统和分布式键值存储的基本原理及其关键问题与解决手段、大数据存储系统的关联技术与进展，包括基于群组的网络文件共享、存储系统的容灾、重复数据删除技术和大数据纠删码存储技术。对大数据存储技术的研究和应用有积极的促进作用。本书的读者对象主要为高等院校的学者和研究生，数据存储架构师、咨询顾问，以及企业内部的相关业务人员。
陈康，清华大学计算机系研究员，主要从事分布式系统、存储系统、大数据系统方面的研究工作。发表学术论文50余篇，曾获得国家技术发明奖二等奖、中国电子学会科学技术奖科技进步特等奖和一等奖、中创软件人才奖等奖项。
武永卫，清华大学计算机系教授，主要从事并行与分布式系统方面的研究工作。发表学术论文100余篇，入选国家“万人计划”科技创新领军人才，曾获得国家科学技术进步奖二等奖、国家技术发明奖二等奖、中国电子学会科学技术奖科技进步特等奖和一等奖等奖项。
余宏亮，清华大学计算机系副研究员，主要从事并行系统、分布式系统、存储系统方面的研究工作。发表学术论文40余篇，曾获得国家科学技术进步奖二等奖、国家技术发明奖二等奖、中国电子学会科学技术奖技术发明一等奖、高等学校科学研究优秀成果奖科学技术进步奖一等奖等奖项。
张广艳，清华大学计算机系长聘副教授、博士生导师，主要从事大数据存储与分析的理论和方法研究，包括大数据计算、存储系统与分布式处理等方面。研究得到包括国家杰出青年科学基金、国家重点研发计划、973计划和863计划等多项国家科研项目的支持。发表学术论文40余篇，近5年以第一发明人获得美国发明专利授权1项、中国发明专利授权7项。

作品目录

《国之重器出版工程》编辑委员会
《学术中国·大数据》丛书
编辑委员会
丛书总序
前言
第1章：绪论
|
1.1、大数据存储系统简介
|
|
1.2、大数据存储的基本形式
|
|
1.3、大数据存储的关键技术
|
|
1.4、本书的组织
|
第2章：分布式文件系统
|
2.1、文件系统的结构与扩展
|
2.1.1、文件系统的名字空间与数据读写
2.1.2、文件系统的扩展方式
|
2.2、分布式文件系统的结构
|
2.2.1、分布式文件系统的运行环境与特性保证
2.2.2、典型的单一名字空间的分布式文件系统
|
2.3、分布式文件系统的关键技术讨论
|
2.3.1、关于性能的讨论
2.3.2、关于可靠性方面的讨论
2.3.3、关于一致性方面的讨论
2.3.4、其他特性讨论
|
2.4、本章小结
|
|
参考文献
|
第3章：分布式键值对存储
|
3.1、键值对存储概述
|
|
3.2、分布式键值对存储的实现
|
|
3.3、通过查找表存储有序的键值对
|
|
3.4、本章小结
|
|
参考文献
|
第4章：面向社区共享的网络文件共享系统
|
4.1、面向社区共享的用户管理模型
|
|
4.2、社区共享对多根多版本文件系统的需求
|
|
4.3、多根多版本文件系统的元数据管理
|
|
4.4、多根多版本文件系统的优化方法
|
|
4.5、MeePo的设计与实现
|
|
4.6、实验与评价
|
|
4.7、本章小结
|
|
参考文献
|
第5章：存储容灾系统
|
5.1、容灾系统简介
|
|
5.2、存储容灾系统的技术体系与现状
|
|
5.3、容灾系统的标准建设
|
|
5.4、国内的存储容灾系统建设
|
|
5.5、并行化高效容灾备份与恢复系统
|
5.5.1、系统结构与设计
5.5.2、基于系统虚拟化的一致检查点技术
5.5.3、基于IPG的一致检查点
5.5.4、基于即插即用设备的OS透明转换机制
5.5.5、并行恢复中竞争的处理机制
5.5.6、并行恢复中的页缓冲管理方法
5.5.7、系统实现
5.5.8、实际系统的恢复测试实验结果
|
5.6、异地应用层容灾系统
|
5.6.1、异地应用层容灾的运行环境
5.6.2、应用层虚拟化
5.6.3、应用层容灾的系统总体结构
5.6.4、应用层容灾虚拟化容器的系统实现
5.6.5、应用层容灾中数据同步与恢复的实现
5.6.6、应用层容灾系统的实际效果评测
|
5.7、本章小结
|
|
参考文献
|
第6章：大数据存储系统的删冗
|
6.1、大数据存储删冗技术简介
|
6.1.1、删冗的一般流程
6.1.2、二级存储删冗挑战
6.1.3、删冗系统的分类和现状
6.1.4、现有的相关存储数据删冗系统与技术
|
6.2、重复数据删除技术在云存储系统中的应用与优化
|
6.2.1、AegeanStore的设计与实现
6.2.2、文件系统服务的设计与实现
6.2.3、AegeanStore中重复数据删除技术的优化
6.2.4、AegeanStore的效果测试与评价
|
6.3、高效主存储内嵌删冗系统的设计与实现
|
6.3.1、主存储删冗存在的挑战
6.3.2、现有的主内存删冗方案
6.3.3、主存储内嵌删冗系统PDFS的技术选择分析
6.3.4、主存储内嵌删冗系统PDFS的设计与实现
6.3.5、实验与评价
|
6.4、本章小结
|
|
参考文献
|
第7章：大数据存储纠删码技术与优化
|
7.1、大数据存储的纠删码技术
|
|
7.2、纠删码相关技术与工作
|
7.2.1、纠删码技术简介
7.2.2、RS编码相关工作
7.2.3、HDFS
|
7.3、高效纠删码编码方法CaCo
|
7.3.1、准备柯西矩阵
7.3.2、求调度
7.3.3、选择优化调度方案
|
7.4、高效纠删码编码方法的应用
|
7.4.1、原型实现
7.4.2、本地编码中的应用
7.4.3、云存储系统中的应用
|
7.5、高效纠删码编码方法的性能评价
|
7.5.1、选择框架实验测试
7.5.2、数据编码性能测试
|
7.6、本章小结
|
|
参考文献
|