hdfs读写流程

hdfs支持一次写入到此读取模式,文件不能修改,只能附件。

数据访问流程

namenode是所有元数据所有者,但是程序访问文件的时候,namenode只是简单的把数据块存储路径返回给客户端程序,客户端程序直接访问datanoe获取数据。这样设计有如下两个好处:

  • 并发访问,程序可以同时在不同的datanode上访问同一个文件。
  • 减轻namenode的负载,避免namenode程序hdfs的瓶颈。

数据块访问流程如下:

  • 客户端程序把hdfs路径发送到namenode
  • namenode接收到文件名之后,检索数据块,在根据数据块信息找到datanode地址,并且将地址信息返回到客户端。
  • 客户端接收到地址信息之后,与这些datanode并行的进行数据传输操作,同时将操作结果日志(比如是否成功、数据块信息)提交到namenode。

数据写入流程