自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

可以去菲律宾开赌场吗: 走在前往架构师的路上

本文地址:http://www.ib776.com/Androidlushangderen
文章摘要:可以去菲律宾开赌场吗,脸色凝重我一旁,太阳城网投开户 这下苍粟旬不知所措了随后也点了点头心中苦笑一声。

专注于分布式计算,大数据,数据挖掘,机器学习算法等领域的研究

原创 HDFS精华文章汇总

前言自2015年下半年起,笔者开始写关于Hadoop的文章(主要集中在HDFS),包括源码分析类的,问题分析解决又或者是内部机制剖析。这些文章目前汇总数量已经达到70+篇。这些文章对于笔者来说是一个宝贵的资料,这些文章见证了笔者从一名Hadoop贡献者成长为Hadoop Committer的过程。...

2017-12-03 11:45:14

阅读数 3624

评论数 2

原创 18大经典数据挖掘算法小结

本文所有涉及到的数据挖掘代码的都放在了我的github上了:http://www.ib776.com/431/linyiqun/DataMiningAlgorithm 大概花了将近2个月的时间,自己把18大数据挖掘的经典算法进行了学习并且进行了代码实现,涉及到了决策分类,聚类,链接挖掘,关联挖掘,模式挖掘等等...

2015-02-27 10:04:01

阅读数 15757

评论数 17

原创 Redis源码分析(三十六)--- Redis中的11大优秀设计

坚持了一个月左右的时间,从最开始的对Redis的代码做分类,从struct结构体分析开始,到最后分析main主程序结束,中间,各大模块的代码逐个击破,学习,总之,收获了非常多,好久没有这么久的耐心把一个框架学透,学习一个框架,会用那只是小小的一部分,能把背后的原理吃透才是真功夫。在这个学习的最后阶...

2014-11-08 10:16:37

阅读数 18384

评论数 6

原创 Ozone Audit Log解析工具的应用

文章目录前言Ozone的OM, SCM服务的audit log格式OM, SCM服务audit log的loadOM, SCM服务audit log的query和template query引用 前言 熟悉HDFS的同学可能经常会使用到audit log文件做问题的tracking。说起audi...

2019-12-08 11:57:47

阅读数 10

评论数 0

原创 Ozone数据探查服务Recon2.0设计

文章目录前言现今Ozone Recon的功能以及2.0版本的目标SCM Container的track实现方法一: 在SCM中新增实现API来获取丢失,损坏的Container数据 前言 在之前笔者写过一篇关于Ozone数据探查服务Recon的文章.Recon作为一个系统内部数据探查服务,...

2019-12-03 23:55:32

阅读数 44

评论数 0

原创 聊聊关于YARN的全局调度

文章目录前言带有约束限制的调度全局调度的要求全局调度的流程 前言 在YARN调度的早期实现中,调度的方式是基于NM节点的心跳来的。简单来说,就是每当一次节点的心跳来的时候,YARN scheduler会进行一次container分配尝试,然后将最适合分配的应用container分配在此节点上。...

2019-12-01 12:56:29

阅读数 113

评论数 0

原创 HDFS DeadNode Detection机制

文章目录前言HDFS DFSClient现有DeadNode监测DFSClient共享DeadNode的监测和恢复引用 前言 在大规模集群中,节点挂掉的现象是十分常见。当节点挂掉的时候,上面所跑的任务或者发送到这个节点的请求将会失败。按照分布式系统的正常处理方法,它会选择另外的节点进行重新的数据...

2019-11-17 12:14:30

阅读数 41

评论数 0

原创 RocksDB部分优化设计

文章目录前言RocksDB部分功能设计Auto RateLimiterBulkloading by ingesting external SST fileBloom Filter 前言 RocksDB作为单例数据存储引擎,它能支持良好的数据吞吐量,同样可以很好地作为大型分布式系统元数据的持...

2019-11-09 09:33:23

阅读数 63

评论数 0

原创 HDFS Decommission改进设计

文章目录前言现有Decommission机制以及不足之处 前言 在大型HDFS集群中,每天个别节点由于硬件问题导致掉线是常用发生的事情。因此很多时候,我们会对集群中的故障节点做下线操作,就是我们常说的Decommission操作。简单地来说,DataNode节点的Decommission操...

2019-11-02 14:04:37

阅读数 59

评论数 0

原创 高性能存储引擎RocksDB总体概览

文章目录前言RocksDB的整体模块RocksDB内部模块解读TerminologyBasic Operation 前言 笔者最近在学习一个第三方高效K-V存储系统RocksDB,相比较于其它类似成熟的存储系统而言,其中有很多共同之处,不过也有其独到设计之处。本文是笔者结合RocksDB ...

2019-10-14 22:48:47

阅读数 119

评论数 0

原创 Ozone集群搭建以及基本使用

文章目录前言Ozone的背景介绍Ozone集群环境搭建前期执行步骤集群启动依赖配置项的设置小文件的对象存储测试引用 前言 笔者在近两年时间里一直在写Hadoop生态圈内的下一代对象存储系统Ozone的文章,不过都没有找到机会在实际的环境中跑一把。最近花了点时间,在一个测试环境中搭建了一个real...

2019-10-02 11:04:43

阅读数 228

评论数 1

原创 HDFS RPC处理性能提升之IBR(增量块汇报)的延时批处理

文章目录前言HDFS DataNode高频度增量块汇报行为HDFS NameNode同步IBR处理行为 前言 众所周知,HDFS NameNode内部的单一锁设计,使得这个锁显得极为的“重“。这里的重不仅仅说它很重要,而是说持有这个锁需要付出的代价很高。每个请求需要拿到这个锁,然后让NN ...

2019-09-30 16:16:01

阅读数 106

评论数 0

原创 分布式内存存储式元数据服务的构建

文章目录前言内存式元数据服务概述通用的简单K-V内存存储的replicated server内存式Replicated server的实现 前言 在前面的文章里,笔者谈论过如何利用状态机理论来构建replicated server的文章,以此做到服务的高可用性,可做到随时的动态切换。前面文...

2019-09-25 23:40:22

阅读数 40

评论数 0

原创 如何提高分布式系统的可观察性:Insight Tool的引入

文章目录前言系统的三大Insight视角三大Insight视角信息的收集Insight Tool的设计实现 前言 前一篇文章刚刚讨论过在分布式系统中如何构建一套metric框架来帮助我们做系统性能指标的收集,以此帮助我们能够更好地了解系统运行的情况。在这里,metric信息是一种能够让我们...

2019-09-15 11:40:40

阅读数 95

评论数 0

原创 论分布式系统中Metric框架的设计

文章目录前言Metric指标类型Metric框架的设计 前言 在复杂的分布式系统中,为了更好地了解系统的运行情况,往往我们会有多样的metric性能指标来帮助我们了解这里面的情况。在这其中的metric指标按照功能,还可以再分成多种不同类的指标类型,例如统计自增长类型的数据,或者统计均值速...

2019-09-12 23:34:53

阅读数 213

评论数 0

原创 分布式存储系统关于GDPR条例中的数据清除原则

文章目录前言HDFS存储系统数据的完全删除基于加解密的输入输出流的数据保护方案 前言 关于GDPR是什么,可能许多同学之前并不太了解,至少笔者在之前也是不清楚的。GDPR全称为通用数据保护条例,General Data Protection Regulation。它是一项来自欧盟的关于计算...

2019-09-07 19:38:12

阅读数 610

评论数 0

原创 Pipeline并行处理模型

文章目录前言Pipeline并行处理模式概要车厢模拟式的Pipeline并行处理模式 前言 在我们平时的程序处理过程中,在效率上而言,串行处理的效率不如并行处理的效率,从线程层面而言,即多线程效率不如单线程。但是尽管说并行处理效率确实会比较高,但是它在处理拥有数据结果依赖关系的逻辑时,需要...

2019-09-03 23:33:01

阅读数 429

评论数 0

原创 HDFS NameNode的启动过程加速:多索引下的并行加载

文章目录前言HDFS NN的启动过程 前言 对于大部分使用HDFS作为大数据存储系统的用户而言,NameNode的启动过程缓慢已经可以算是一个十分痛点的问题。尤其是当NN的元数据规模达到数亿万级别时,这个过程总的耗时时间将会达到几小时的级别。这意味着什么呢?这意味着假设当系统因为异常退出时...

2019-08-27 22:27:05

阅读数 340

评论数 0

原创 细粒度锁的实现之分级锁的设计实现

文章目录前言锁细粒度化改造的好处 前言 在分布式系统中,想必我们经常会看到锁的应用来保证操作的原子性,使用较简单的例如对象锁,单一锁等等,再高级一点的例如读写锁等等。但是不论是单一锁或者读写锁,在使用上都具有一定的互斥性。这里的互斥性指的是当某个锁持有者持有当前的锁之后,其它线程必须进行阻...

2019-08-24 14:13:02

阅读数 149

评论数 0

原创 一种更为高效的WAL的实现方式

文章目录前言高效WAL的实现方式高效WAL实现过程图 前言 在分布式存储系统的服务一致性实现中,WAL是其中经常被使用到的一个关键的数据文件。它可以有效地记录每一次的系统变更记录,而且还能够确保系统的异常退出恢复。不过本文笔者并不打算阐述WAL的与Master/Follower节点之间的合作原理...

2019-08-20 23:53:32

阅读数 76

评论数 0

提示
确定要删除当前文章?
取消 删除
重庆时时彩计划qq群号 686tyc.com sblive43.com 英皇宫殿 保安登入 世界三大赌博中心
德州扑克边池 菲律宾申博亚洲上网导航 鸿运国际增减筹码 澳门太阳城138娱乐网网上娱乐场 澳门世界上最高楼
申博太阳城娱乐官网 首选139777.com手机客户端下载 太阳城游戏网页版手机客户端下载网上娱乐场 澳门塔娱乐项目网上娱乐场 澳门 银河酒店 价格网上娱乐场 东望洋酒店几星级
www.55js.com登入 澳门发财车乘车券 老虎机手机版下载登入 星际VR金星1.5分彩官方网 澳门旅游玩什么网上娱乐场