阿里云OSS、AWS S3 使用挂载方法简介

阿里云OSS

一、ossutil 工具使用

以命令行方式管理OSS数据的工具,提供方便、简洁、丰富的Bucket和Object管理命令,支持Windows、Linux、 Mac平台

配置步骤
1、下载对应客户端

https://help.aliyun.com/document_detail/120075.html?spm=a2c4g.11186623.6.702.35c134afzc5m1n

2、配置ossuntil依赖文件config

  首先从RAM访问控制 获取用户AccessKey 里面包含accessKeyID、accessKeySecret信息,用户需要设置OSS对应的操作权限

3、运行下载的./ossutil配置config认证权限

./ossutil64  config
endpoint:填写Bucket所在地域的域名信息,可参考访问域名和数据中心。
accessKeyID:查看方式请参考创建AccessKey。
accessKeySecret:查看方式请参考创建AccessKey。
stsToken:非必配项,若采用STS临时授权方式访问OSS需要配置该项,否则置空即可。stsToken生成方式参考临时访问凭证。

config文件默认存放到对应用户的家目录 其它位置可使用, --config-file参数 指定config文件的存放位置

定时任务、自动化脚本之类需要系统自动执行的,存放位置为
C:\Windows\System32\config\systemprofile

4、常用复制命令cp、OSS路径是区分大小写的
上传:格式:./ossutil cp -r -- dir oss://bucket/path
下载:把上格式对换路径就行

例:从OSS对象桶testoss拷贝 2020422.zip 到D:\oss盘

--update对存在的文件进行更新 
--parallel 4 以4个线程同时下载

./ossutil cp  -r  --update  --parallel 4   oss://testoss/2020422.zip   D:\oss

常见错误

错误一 unexpected EOF
OSS下载单个大文件(超过2G以上)容易报EOF错误,原因是并发太多 线程之间抢占资源导致报错,可以用 probe 命令对下载进行测试,根据测试值指定并发数 --parallel

./ossutilmac64  probe --probe download-speed --bucketname liupeng72 --object oss-browser-darwin-x64-1.zip

阿里云OSS、AWS S3 使用挂载方法简介_第1张图片

错误二 检查系统时间是否正确

FinishWithError: Scanned 1 objects. Error num: 1. OK num: 0, Transfer size: 0.
Error: oss: service returned error: StatusCode=403, ErrorCode=, ErrorMessage="", RequestId=5EB3BD0764BB29FE4E302BC0, Bucket=yqexeftp, Object=update/rummsvr.exe

二、oss ossfs Bucket挂载工具

ossfs工具简介
ossfs能让您在Linux系统中,将对象存储OSS的存储空间(Bucket)挂载到本地文件系统中,您能够像操作本地文件一样操作OSS的对象(Object),实现数据的共享。

使用限制
ossfs使用有以下限制:
不支持挂载归档型Bucket。
编辑已上传文件会导致文件被重新上传。
元数据操作,例如list directory,因为需要远程访问OSS服务器,所以性能较差。
重命名文件/文件夹可能会出错。若操作失败,可能会导致数据不一致。
不适合高并发读/写的场景。
多个客户端挂载同一个OSS Bucket时,数据一致性由您自行维护。例如合理规划文件使用时间,避免出现多个客户端写同一个文件的情况。
不支持hard link。

1.快速安装 下载ossfs安装包
由于低版本的Linux系统内核版本比较低,ossfs进程在运行过程中容易出现掉线或者其他问题。因此建议您将操作系统升级到CentOS 7.0或者Ubuntu 14.04及以上版本。

以下载CentOS 7.0 (x64)版本为例:
wget http://gosspublic.alicdn.com/...

2.安装ossfs
CentOS6.5及以上系统版本的安装命令:

sudo yum localinstall your_ossfs_package

说明 对于使用yum安装rpm包的客户端,如果客户端节点网络环境特殊,无法直接用yum下载依赖包。可以在网络正常的、相同版本操作系统的节点上,使用yum下载依赖包并拷贝到网络特殊的节点。例如,ossfs需要依赖fuse 2.8.4以上版本,可使用如下命令,下载yum源中最新的fuse到本地:

sudo yum install --downloadonly --downloaddir=./ fuse

如果需要下载其他依赖包,则将fuse换成对应包的名称。

3.配置账号访问信息
将Bucket名称以及具有此Bucket访问权限的AccessKeyId/AccessKeySecret信息存放在/etc/passwd-ossfs文件中。注意这个文件的权限必须正确设置,建议设为640。

echo my-bucket:my-access-key-id:my-access-key-secret > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs

4.将Bucket挂载到指定目录

ossfs my-bucket my-mount-point -ourl=my-oss-endpoint
挂载示例:将杭州地域名称为bucket-test的Bucket挂载到/tmp/ossfs目录下。

echo bucket-test:LTAIbZcdVCmQ****:MOk8x0y9hxQ31coh7A5e2MZEUz**** > /etc/passwd-ossfs
chmod 640 /etc/passwd-ossfs
mkdir /tmp/ossfs
ossfs bucket-test /tmp/ossfs -ourl=http://oss-cn-hangzhou.aliyuncs.com

配置访问权限
ossfs挂载的目录访问权限默认为挂载点的所有者,即执行挂载命令的用户,其他用户无法访问。如果要修改默认的权限设置,例如允许其他用户或用户组访问挂载点,可以在运行ossfs的时候使用如下参数,做到期望的权限设置。
allow_other:赋予计算机上其他用户访问挂载目录的权限,但不包括目录内的文件。如果您要更改文件夹中的文件访问权限,请用chmod命令。该选项不需要设置选项值,如果需要启用,请直接添加-oallow_other选项。
uid:设置文件夹属于某个用户时填写的用户uid。
gid:设置文件夹属于某个用户时填写的用户gid。
mp_umask:用来设定挂载点的权限掩码,只有当allow_other选项设置后,该选项才生效,默认值为000。使用方法与umask命令使用方式一致。例如需要设置挂载点的权限为770,则增加-oallow_other -omp_umask=007;需要设置挂载点的权限为700,则增加-oallow_other -omp_umask=077。

配置示例:
允许所用的用户访问,即权限为777

ossfs bucket_name mount_point -ourl=endpoint -oallow_other

只允许同组的用户访问,即权限为770

ossfs bucket_name mount_point -ourl=endpoint -oallow_other -omp_umask=007

挂载时指定为其他用户和组,同时只允许同组的用户访问,即权限为770
以www用户为例说明,先通过id命令获取用户的uid/gid信息,之后在挂载时指定uid/gid参数。

id www
uid=1000(www) gid=1000(web) groups=1000(web)
ossfs bucket_name mount_point -ourl=endpoint -oallow_other -ouid=1000 -ogid=1000 -omp_umask=007

挂载指定文件目录
ossfs除了可以把整个存储空间挂载到本地文件系统外,还可以通过设置前缀,把存储空间下的某个文件目录挂载到本地文件系统。命令格式如下:

ossfs bucket:/prefix mount_point -ourl=endpoint

通过这个方式挂载时,需要确保存储空间里存在${prefix}/ 这样一个对象。可以通过ossutil的stat命令查询该对象是否存在。

示例:将位于杭州地域的存储空间bucket-ossfs-test下的folder目录挂载到/tmp/ossfs-folder下。

ossfs bucket-ossfs-test:/folder /tmp/ossfs-folder -ourl=http://oss-cn-hangzhou.aliyuncs.com

AWS S3

三、AWS CLI S3访问工具

AWS CLI 提供对 AWS 服务的公共 API 的直接访问。您可以使用 AWS CLI 探索服务的功能,可以开发 Shell 脚本来管理资源。或者,也可以通过 AWS 开发工具包利用所学知识开发其他语言的程序。它类似阿里oss ossutil工具,大家可以通过这些接口,编写脚本命令来对AWS的资源进行常用的操作
1.下载客户端
https://docs.aws.amazon.com/z...

2.配置s3依赖文件configure
S3 依赖信息文件是通过两个文件分开保存的,默认保存在家目录下 Linux、Windows
以下面官方说明
AWS CLI 将使用 aws configure 指定的凭证存储在主目录中名为 .aws 的文件夹中名为 credentials 的本地文件中。使用 aws configure 指定的其他配置选项存储在名为 config 的本地文件中,该文件也存储在主目录的 .aws 文件夹中。主目录位置因操作系统而异,但在 Windows 中使用环境变量 %UserProfile% 引用,在基于 Unix 的系统中使用 "$HOME"或 ~(波形符)引用。

例如,下面的命令列出 .aws 文件夹的内容。
-Linux 或 macOS

$ ls  ~/.aws

-Windows

C:\> dir "%UserProfile%\.aws"

AWS CLI 使用两个文件将敏感的凭证信息(位于 ~/.aws/credentials 中)与不太敏感的配置选项(位于 ~/.aws/config 中)分开

配置configure

$ aws configure 
AWS Access Key ID [None]: AKIAIOSFOxxxxvxxxxxnFE
AWS Secret Access Key [None]: wJalrXUtnFEMIxxxxvxxxxxPLEKEY
Default region name [None]: us-wxx-1
Default output format [None]: json

4、下面还是以常用复制命令sync命令以例,其它有功能可以参考官方文档

$ aws s3 sync   [--options]

下面的示例将 my-bucket 中名为 path 的 Amazon S3 文件夹中的内容与当前工作目录同步。s3 sync 将更新与目标中的同名文件具有不同大小或修改时间的任何文件。输出显示在同步期间执行的特定操作。请注意,此操作将子目录 MySubdirectory 及其内容与 s3://my-bucket/path/MySubdirectory 递归同步。

$ aws s3 sync . s3://my-bucket/path
upload: MySubdirectory\MyFile3.txt to s3://my-bucket/path/MySubdirectory/MyFile3.txt
upload: MyFile2.txt to s3://my-bucket/path/MyFile2.txt
upload: MyFile1.txt to s3://my-bucket/path/MyFile1.txt

其它几个常用命令
aws configure list #查看配置信息
aws s3 ls #显示你有权限的桶
aws 没有类似 oss --config-file 的选项 需要通过环境变量 AWS_CONFIG_FILE 值来设备

四、aws S3 挂载工具s3fs-fuse

1.S3FS介绍
S3FS是google开发的一款支持将对象存储中的bucket以文件形式导出的文件系统接口,兼容POSIX语义。S3fs是基于FUSE开发文件系统,允许Linux和Mac Os X挂载S3的存储桶在本地文件系统,S3fs能够保持对象原来的格式

2、安装必要的软件依赖

sudo yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel mailcap

3、使用git命令下载及安装s3fs

git clone https://github.com/s3fs-fuse/s3fs-fuse.git
cd s3fs-fuse
./autogen.sh
./configure
make && make install

4、检测s3fs是否生效,如出现以下结果表示生效

# s3fs
s3fs: missing BUCKET argument.
Usage: s3fs BUCKET:[PATH] MOUNTPOINT [OPTION]...

5、生成密钥文件并授权,其中的密钥为IAM用户生成

echo AKIAIOEO4xxxxxxxxxx:2LXBboddEpRLmWl48i3+b4zixxxxxvxxxxxxxx > /etc/.passwd-s3fs
chmod 600 /usr/xj/.passwd-s3fs

6、非AWS EC2手动挂载非域名为桶名的存储桶,url根据存储桶所在的区域不同更换网址,挂载目录需要提前建立,url地址可以随便打开一个存储桶的文件获得

格式  s3fs  桶名   本地目录   指定秘钥文件   桶对应的URL
s3fs bucket-name   Local directory -o passwd_file=/etc/.passwd-s3fs  -o url=https://s3.xxxxxxxx.amazonaws.com 

加写权限 -o default_acl="public-read-write -o use_path_request_style -o allow_other

https://docs.aws.amazon.com/z...
s3fs "www.tclub.in" /s3/tclub_in -o passwd_file=/etc/.passwd-s3fs -o url=https://s3.ap-south-1.amazonaws.com  -o  default_acl="public-read-write  -o use_path_request_style -o allow_other

7、非AWS EC2手动挂载以域名为桶名的存储桶

s3fs "s3.xxxxxxxx.amazonaws.com" /s3/xxx -o passwd_file=/etc/.passwd-s3fs -o url=https://s3.xxxxxxxx.amazonaws.com  -o  use_path_request_style

8、EC2挂载非域名为桶名的存储桶

s3fs s3fs-mount-bucket /home/ec2-user/s3mnt -o passwd_file=/etc/.passwd-s3fs -o endpoint=apxx-northxxx-1

9、EC2挂载以域名为桶名的存储桶

s3fs s3fs-mount-bucket /home/ec2-user/s3mnt -o passwd_file=/etc/.passwd-s3fs -o endpoint=apxx-northxxx-1 -o use_path_request_style

最后取消挂载 直接umunot 会报设备忙

ps aux|grep s3f
kill -9  进程号
umount -l  /XXX

常见错误

  • 挂载失败
    日志错误:

    [root@r7003 ~]# s3fs youxibak /tmp/s3/ -o passwd_file=/root/.aws/passwd-s3fs  -o url=https://testbucket.s3.ap-south-1.amazonaws.com -o endpoint=ap-south-1 -o use_path_request_style -o allow_other
    
    Aug 27 07:28:28 r7003 dbus[646]: [system] Activating via systemd: service name='org.freedesktop.nm_dispatcher' unit='dbus-org.freedesktop.nm-dispatcher.service'
  • 错误原因:https地址不对
https://testbucket.s3.ap-sout...
  • 应该使用
https://s3.ap-south-1.amazona...

你可能感兴趣的