BOS Filesystem
这个页面描述了如何让你的Hudi任务使用Baidu BOS存储。
Baidu BOS 部署
为了让Hudi使用BOS,需要增加两部分的配置:
- 为Hudi增加Baidu BOS的相关配置
- 增加Jar包到classpath
Baidu BOS 相关的配置
新增下面的配置到你的Hudi能访问的core-site.xml文件。使用你的BOS bucket name替换掉fs.defaultFS
,使用BOS endpoint地址替换fs.bos.endpoint
,使用BOS的key和secret分别替换fs.bos.access.key
和fs.bos.secret.access.key
,这样Hudi就能读写相应的bucket。
<property>
<name>fs.defaultFS</name>
<value>bos://bucketname/</value>
</property>
<property>
<name>fs.bos.endpoint</name>
<value>bos-endpoint-address</value>
<description>Baidu bos endpoint to connect to,for example : http://bj.bcebos.com</description>
</property>
<property>
<name>fs.bos.access.key</name>
<value>bos-key</value>
<description>Baidu access key</description>
</property>
<property>
<name>fs.bos.secret.access.key</name>
<value>bos-secret-key</value>
<description>Baidu secret key.</description>
</property>
<property>
<name>fs.bos.impl</name>
<value>org.apache.hadoop.fs.bos.BaiduBosFileSystem</value>
</property>
Baidu BOS Libs
新增Baidu hadoop的jar包添加到classpath.
- com.baidubce:bce-java-sdk:0.10.165
- bos-hdfs-sdk-1.0.2-community.jar
可以从这里 下载bos-hdfs-sdk jar包,然后解压。