Hadoop中的一致模型

文件系统的一致模型描述了文件数据读写的可见性。

新建一个文件时，在文件系统中立即可见，例如：fs.creat(/test.txt),当程序运行到此，文件系统中就可以看到这个文件，但是在写入数据时，不会立即可见。

前提：在程序运行未完成时，查看被创建的文件中的数据是否存在

①向文件系统中写入数据，使用flush()方法时，查看文件中数据的可见性

package hadoop002; import java.net.URI; import java.util.Scanner; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class Test04 { public static void main(String[] args) throws Exception { Configuration conf=new Configuration(); URI uri=new URI("hdfs://hadoop104:9000"); FileSystem fs=FileSystem.get(uri, conf, "root"); FSDataOutputStream out=fs.create(new Path("/test/test.txt")); //随便向文件中输入一段文字 out.writeUTF("I Love China!"); out.flush(); //以下控制台输入数据，让线程阻塞，查看集群中的数据 Scanner scan=new Scanner(System.in); scan.hasNextLine(); scan.close(); out.close(); fs.close(); } }

程序未运行前，文件不存在

程序运行之后，文件存在，查看文件内容不存在，当写入的数据超过一个块后，第一个块中的数据才可见

②使用hflush（）方法，可以 确保数据被刷新到da'tanode的内存中，但是不确保数据被写入磁盘，但是数据可见

package hadoop002; import java.net.URI; import java.util.Scanner; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class Test04 { public static void main(String[] args) throws Exception { Configuration conf=new Configuration(); URI uri=new URI("hdfs://hadoop104:9000"); FileSystem fs=FileSystem.get(uri, conf, "root"); FSDataOutputStream out=fs.create(new Path("/test/test.txt")); //随便向文件中输入一段文字 out.writeUTF("I Love China!"); out.hflush(); //以下控制台输入数据，让线程阻塞，查看集群中的数据 Scanner scan=new Scanner(System.in); scan.hasNextLine(); scan.close(); out.close(); fs.close(); } }

运行结果查看：

 

叁：

       hsync()方法可以确保数据被写入磁盘中。

 

文件在关闭close()的时候，其实隐含的执行了hflush()方法,此时数据可见，例如运行如下代码，在阻塞之前将流关闭

package hadoop002; import java.net.URI; import java.util.Scanner; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class Test04 { public static void main(String[] args) throws Exception { Configuration conf=new Configuration(); URI uri=new URI("hdfs://hadoop104:9000"); FileSystem fs=FileSystem.get(uri, conf, "root"); FSDataOutputStream out=fs.create(new Path("/test/test.txt")); //随便向文件中输入一段文字 out.writeUTF("I Love China!"); out.flush(); out.close(); //以下控制台输入数据，让线程阻塞，查看集群中的数据 Scanner scan=new Scanner(System.in); scan.hasNextLine(); scan.close(); fs.close(); } }