HDFS需要了解的思想

1.HDFS文件块大小怎么确定

1.在分布式集群Hadoop2.x版本中默认大小是128M;在Hadoop1.x中是64M;在本地默认都是32M
2.确定块大小所依据的设计原理:寻址时间为传输时间的1%

 - 由于现在磁盘的寻址时间都是10MS
 - 而普通磁盘的传输速率大概为100M/S
 - 文件块确认大小:
	10ms/0.01=1000ms=1s
	1*100M/S=100M
	尽量设为2的次方数:128M

2.如果将文件块的大小设置的太大或者太小会怎么样

1.设置的太小,会增加寻址时间
2.设置的块太大,会使磁盘传输数据的时间明显大于定位这个块寻址所需的时间,导致处理这块数据时,非常的慢

版权声明:本博客为记录本人自学感悟,转载需注明出处!
https://me.csdn.net/qq_39657909

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页