• 挂载目录
    • 使用方法
      • 1、在DB节点上创建目标集合
      • 2、在FS节点上创建挂载目录及配置文件
      • 3、挂载目录
      • 4、查看挂载信息
      • 4.1 本地FS节点通过mount可以看到挂载信息
      • 4.2 在DB节点可以查看相关信息
      • 4.3 在FS节点挂载目录下创建文件和目录
    • 选项
      • 通用选项
      • FUSE选项
    • 配置文件及日志路径规则
    • API接口
    • API使用实例

    挂载目录

    使用方法

    1. sequoiafs mountpoint [options]

    该命令用以挂载目录mountpoint,mountpoint目录为本地创建用于挂载映射目标集合的目录,挂载之后mountpoint目录即和一普通文件系统目录一样,即可在mountpoint目录下进行常见的文件操作,如常见的创建子目录、创建文件、删除文件等linux系统命令,也可以通过常见的普通文件API接口对目录文件进行操作。

    在本例中:远程DB节点表示SequoiaDB集群安装节点,FS节点表示通过SequoiaFS映射挂载目录的节点。

    两者可以是相同节点也可以是不同节点,可以在一个FS节点上的不同目录下,映射挂载同一DB集群节点或不同DB集群节点,也可以在不同FS节点进行映射挂载同一DB集群节点。

    以下例子中DB节点为一常见普通集群,部署了一个coord、三个catalog和三个data节点,在FS节点上利用SequoiaFS挂载映射目录。

    1、在DB节点上创建目标集合

    首次启动时,需要在远程DB节点上创建映射的目标集合collection。后面挂载目录之后,mountpoint目录下的所有文件的实际内容会以lob的形式存放在该集合下。而所有文件的属性信息会分别存放在目录元数据集合和文件元数据集合中。

    1. $sdb
    2. Welcome to SequoiaDB shell!
    3. help() for help, Ctrl+c or quit to exit
    4. > var db = new Sdb("localhost", 11810)
    5. Takes 0.124118s.
    6. > db.createCS("foo")
    7. localhost:11800.foo
    8. Takes 0.352408s.
    9. > db.foo.createCL("bar")
    10. localhost:11800.foo.bar
    11. Takes 2.466226s.
    12. >

    2、在FS节点上创建挂载目录及配置文件

    挂载目录mountpoint为FS节点上的目录,用以挂载映射远程DB节点的目标集合,所以需要在FS节点上创建该目录。

    启动SequoiaFS时可以指定从配置文件中读取配置参数,建议首次启动前创建配置文件并进行参数设置,配置文件及日志路径建议参考配置文件规则进行设置,以防止出现多次映射时互相覆盖的情况。

    1. $mkdir -p /opt/sequoiadb/mountpoint
    2. $mkdir -p /opt/sequoiafs/conf/foo_bar/001/
    3. $mkdir -p /opt/sequoiafs/log/foo_bar/001/

    该例中按照默认参数值进行启动,所以不对参数进行配置,只是创建一个空配置文件,实际使用时按需写入相关配置值。

    1. $touch /opt/sequoiafs/conf/foo_bar/001/sequoiafs.conf

    3、挂载目录

    挂载目录时,除了目标集合collection外,还需要指定一系列参数,具体参数选项详情请查看选项。。

    通过-i或者—hosts进行指定远程DB节点(协调节点),一旦挂载之后,mountpoint目录下的所有文件的属性信息会存放在远程DB节点上的目录元数据集合及文件元数据集合中,而文件内容会以lob的形式存放在目标集合下。目录元数据集合和文件元数据集合可以分别通过-d(或—metadircollection)和-f(或—metafilecollection)在进行指定,也可以直接通过指定—autocreate默认生成,该例指定默认生成。

    1. $sequoiafs /opt/sequoiadb/mountpoint -i localhost:11810 -l foo.bar --autocreate -c /opt/sequoiafs/conf/foo_bar/001/ --diagpath /opt/sequoiafs/log/foo_bar/001/ -o big_writes -o max_write=131072 -o max_read=131072

    这里除了SequoiaFS相关参数,还指定了FUSE的参数-o big_writes(开启大页写),具体参数详情可以参见FUSE选项。

    4、查看挂载信息

    4.1 本地FS节点通过mount可以看到挂载信息

    1. $ mount
    2. /dev/sda1 on / type ext4 (rw,errors=remount-ro)
    3. proc on /proc type proc (rw,noexec,nosuid,nodev)
    4. sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
    5. none on /sys/fs/fuse/connections type fusectl (rw)
    6. none on /sys/kernel/debug type debugfs (rw)
    7. none on /sys/kernel/security type securityfs (rw)
    8. udev on /dev type devtmpfs (rw,mode=0755)
    9. devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=0620)
    10. tmpfs on /run type tmpfs (rw,noexec,nosuid,size=10%,mode=0755)
    11. none on /run/lock type tmpfs (rw,noexec,nosuid,nodev,size=5242880)
    12. none on /run/shm type tmpfs (rw,nosuid,nodev)
    13. sequoiafs on /opt/sequoiadb/mountpoint type fuse.sequoiafs (rw,nosuid,nodev,user=sdbadmin)

    可以看到,/opt/sequoiadb/mountpoint已经通过sequoiafs已经挂载上了,文件系统类型为fuse.sequoiafs。

    4.2 在DB节点可以查看相关信息

    1. > var db = new Sdb("localhost", 11810)
    2. Takes 0.001705s.
    3. > db.list(4)
    4. {
    5. "Name": "sequoiafs.maphistory"
    6. }
    7. {
    8. "Name": "sequoiafs.sequenceid"
    9. }
    10. {
    11. "Name": "sequoiafs.bar_dir148139183721030"
    12. }
    13. {
    14. "Name": "sequoiafs.bar_file148139183721030"
    15. }
    16. {
    17. "Name": "foo.bar"
    18. }

    对于每次mount,可以通过以上5张表查看相关信息,后续会介绍各表的作用,sequoiafs.maphistory为映射挂载历史信息表,记录历史挂载的关键数据信息。

    1. > db.sequoiafs.maphistory.find()
    2. {
    3. "_id": {
    4. "$oid": "5aff94db15d4f9e718e723cd"
    5. },
    6. "SourceCL": "foo.bar",
    7. "DirMetaCL": "sequoiafs.bar_dir148139183721030",
    8. "FileMetaCL": "sequoiafs.bar_file148139183721030",
    9. "Address": "eth0:192.168.20.45;",
    10. "MountPoint": "/opt/sequoiadb/mountpoint",
    11. "MountTime": {
    12. "MountTime": "2018-05-19-11.07.07.866247"
    13. }
    14. }

    每次挂载时都会记录一条历史数据,以供历史查询,其基本含义如下:

    记录名称描述说明
    SourceCL目标映射集合名称
    DirMetaCL目录元数据集合名称
    FileMetaCL文件元数据集合名称
    AddressFS节点地址
    MountPointFS节点挂载时的目录

    sequoiafs.sequenceid为目录元数据中目录记录的id序列表,目的用于构造目录的唯一性。

    sequoiafs.bar_dir148139183721030和sequoiafs.bar_file148139183721030分别为目录和文件的元数据集合表,由于SequoiaFS启动挂载时指定了—autocreate,所以这里是默认生成的,用以记录FS挂载目录下的目录和文件信息。

    4.3 在FS节点挂载目录下创建文件和目录

    1. $ cd /opt/sequoiadb/mountpoint/
    2. $ touch testfile
    3. $ echo 'hello, this is a testfile!' >> testfile
    4. $ cat testfile
    5. hello, this is a testfile!
    6. $ mkdir testdir
    7. $ ls
    8. testdir testfile

    上面我们在FS挂载目录下创建了文件testfile并写入'hello, this is a testfile!',并创建了子目录testdir。在DB节点查看目录元数据集合,可以查到testdir目录元数据信息记录。

    1. > db.sequoiafs.bar_dir148139183721030.find()
    2. {
    3. "_id": {
    4. "$oid": "5affae7115d4f9e718e723d0"
    5. },
    6. "Name": "testdir",
    7. "Mode": 16877,
    8. "Uid": 2109,
    9. "Gid": 2000,
    10. "Pid": 1,
    11. "Id": 621,
    12. "NLink": 0,
    13. "Size": 4096,
    14. "CreateTime": 1526705777945,
    15. "ModifyTime": 1526705777945,
    16. "AccessTime": 1526705777945,
    17. "SymLink": ""
    18. }
    19. Return 1 row(s).
    20. Takes 0.019212s.

    目录元数据信息的具体含义如下:

    记录名称描述说明数据类型
    _id对象IDOID
    Name目录名称字符串
    Mode目录属性模式整数
    Uid目录属主整数
    Gid目录组属主整数
    Pid目录父目录ID,不同于_id长整数
    Id目录ID长整数
    NLink目录link整数
    Size目录大小长整数
    CreateTime创建时间长整数
    ModifyTime修改时间长整数
    AccessTime访问时间长整数
    SymLink软链接字符串

    DB节点查看文件元数据集合,可以查到testfile文件元数据信息记录。

    1. > db.sequoiafs.bar_file148139183721030.find()
    2. {
    3. "AccessTime": 1526705729062,
    4. "CreateTime": 1526705729000,
    5. "Gid": 2000,
    6. "LobOid": "5affae4015d4f9e718e723ce",
    7. "Mode": 33188,
    8. "ModifyTime": 1526705729062,
    9. "NLink": 1,
    10. "Name": "testfile",
    11. "Pid": 1,
    12. "Size": 27,
    13. "SymLink": "",
    14. "Uid": 2109,
    15. "_id": {
    16. "$oid": "5affae4015d4f9e718e723cf"
    17. }
    18. }
    19. Return 1 row(s).
    20. Takes 0.010137s.
    21. > db.foo.bar.listLobs()
    22. {
    23. "Size": 27,
    24. "Oid": {
    25. "$oid": "5affae4015d4f9e718e723ce"
    26. },
    27. "CreateTime": {
    28. "$timestamp": "2018-05-19-12.55.28.833000"
    29. },
    30. "ModificationTime": {
    31. "$timestamp": "2018-05-19-12.56.08.073000"
    32. },
    33. "Available": true,
    34. "HasPiecesInfo": false
    35. }

    文件元数据信息具体含义如下:

    记录名称描述说明数据类型
    _id对象IDOID
    Name文件名称字符串
    Mode文件属性模式整数
    Uid文件属主整数
    Gid文件组属主整数
    Pid文件父目录ID,不同于_id长整数
    LobOid文件对应lob对象ID字符串
    NLink文件link数整数
    Size文件大小长整数
    CreateTime创建时间长整数
    ModifyTime修改时间长整数
    AccessTime访问时间长整数
    SymLink软链接字符串

    从上表可以看出,文件元数据和目录元数据大致相同,不同的是,文件实际对应着一个Lob文件(通过LobOid映射到该文件),以保存文件的实际内容。并且文件没有ID属性,因为文件只从属于某个目录,所以只需要PID属性。

    注意以上5张表使用时,最好通过SequoiaFS映射目录进行操作,如果需要通过DB客户端进行操作时,变更元数据信息时,数据结构要符合以上表格中的各记录数据类型,否则FS文件系统会读取异常。

    接下来,即可在/opt/sequoiadb/mountpoint/目录下进行一系列文件操作,如创建删除文件,写入读取文件以及修改文件属性等。

    说明关于系统命令,支持基于以上接口的一些常见系统命令如mkdir、vi、cp、rm、touch、cat、mv、ln、chown、chmod、truncate、tar等,超出以上接口之外的系统命令暂时不支持,如unzip压缩等命令。

    选项

    通用选项

    参数缩写描述默认值是否必填
    —help-h显示帮助信息
    —helpfuse显示fuse帮助信息,查看FUSE相关选项信息
    —version-v显示版本信息
    —hosts-i指定需要映射的集合的所属主机节点地址(hostname:svcname),用","分隔多个地址localhost:11810
    —username-u数据库用户名
    —passwd-p数据库密码
    —collection-l指定需要映射的集合全名
    —metadircollection-d指定目录元数据集合全名,默认根据目标映射集合生成对应集合名称
    —metafilecollection-f指定文件元数据集合全名,默认根据目标映射集合生成对应集合名称
    —connectionnum-n指定连接池最大支持连接数大小,取值范围[50-1000]100
    —cachesize-s目录LRU缓存大小,单位M,取值范围[1-200]2
    —confpath-c配置文件路径,默认为当前目录下的sequoiafs.conf
    —diaglevel-g设置日志级别,取值范围[0-5]3
    —replsize-r指定元数据集合创建时的ReplSize,取值范围[-1,7]2
    —diagnum指定日志文件最大个数,-1表示无限制20
    —diagpath指定日志文件目录,默认当前目录下diaglog
    —autocreate如果未显示指定文件和目录元数据集合全名,即未指定-d和-f,则需要指定该选项进行自动生成
    mountpoint指定映射集合的目标挂载目录

    首次启动时,其中-l collection参数和mountpoint是必须指定的,collection为需要映射的目标集合名称,为目标SequoiaDB节点中创建的集合,需要提前在DB中创建好。

    目标SequoiaDB节点可以通过-i或者—hosts进行指定,一旦挂载之后,mountpoint目录下的所有文件的属性信息会存放在目标SequoiaDB节点上的目录元数据集合及文件元数据集合中,文件内容会以lob的形式存放在目标集合下。

    目录元数据集合和文件元数据分别可以通过-d(或—metadircollection)和-f(或—metafilecollection)在启动时进行指定,也可以直接通过指定—autocreate默认生成。手工创建时,需要为目录元数据集合创建一个强一致唯一索引,索引字段为 {Name:1, Pid:1}。为文件元数据集合创建两个强一致唯一索引,索引字段分别为 {Name:1, Pid:1} 和 {LobOid:1}。

    FUSE选项

    参数描述
    -d –o debug启用调试输出(隐含-f选项)
    -f前台运行模式
    -s禁止多线程模式
    -o allow_other允许其他用户访问权限
    -o allow_root允许root用户访问权限
    -o nonempty允许mount在为非空文件夹上
    -o default-permissions允许内核权限审查
    -o fsname=NAME指定文件系统名称
    -o subtype=NAME指定文件系统类别
    -o large_read指定大页读取
    -o max_read=N指定read请求的最大size
    -o hard_remove立即删除,无隐藏文件
    -o use_ino文件系统设置inode
    -o readdir_inoReaddir时候尝试填充d_ino
    -o direct_io使用direct I/O
    -o kernel_cache允许内核缓存文件
    -o [no]auto_cache允许根据修改次数来缓存文件,默认关闭
    -o umask=M指定文件权限mask
    -o uid=N指定文件owner
    -o gid=N指定文件group
    -o entry_timeout=T缓存文件名称的超时时间,默认1s
    -o negative_timeout=T缓存删除文件名称的超时时间,默认0s
    -o attr_timeout=T缓存文件属性的超时时间,默认1s
    -o ac_attr_timeout=T自动设置缓存文件属性的超时时间,默认1s
    -o intr允许requests请求被中断
    -o intr_signal=NUM中断时发送的信号量(默认10)
    -o modules=Ml[:M2…]指定文件堆中的模块名称
    -o max_write=N指定write请求的最大size
    -o max_readahead=N指定最大readahead的size
    -o async_read异步IO读,默认为异步
    -o sync_read同步IO读
    -o atomic_o_trunc允许open+truncate的原子操作
    -o big_writes允许超过4KB页的写操作,最大32K
    -o no_remote_lock关闭远程文件锁

    说明:1、sequoiafs对于fuse选项只需要关注allow_other、allow_root、large_read、max_read、max_write、big_writes等常见选项即可;2、需要指定allow_other时,需要在/etc/fuse.conf配置中写入对应的配置项,如在/etc/fuse.conf插入一行"user_allow_other",其他类似,具体可以查看fuse的使用方法;3、初始化时最好带上参数-o big_writes和-o large_read, 指定大页读写以提升性能;

    配置文件及日志路径规则

    因为SequoiaFS在同一个节点可以挂载映射同一套DB或者不同套DB的同一个目标集合或者不同目标集合,所以在创建配置文件及指定日志路径时,建议参考以下规则进行配置,以防止出现配置文件互相干扰覆盖或者日志文件互相覆盖的情况。

    配置文件路径及日志文件路径参考规则:

    1. /opt/sequoiafs/conf/collection/001/sequoiafs.conf
    2. /opt/sequoiafs/log/collection/001/diaglog/sequoiafs.log
    3. /opt/sequoiafs/conf/collection/002/sequoiafs.conf
    4. /opt/sequoiafs/log/collection/002/diaglog/sequoiafs.log

    collection即SequoiaFS启动时指定的目标集合实际名称,001和002表示挂载映射次数,从而防止映射同一个目标映射集合时日志文件互相覆盖。

    配置样本文件:

    如果SequoiaFS是通过run包进行安装的,则可以从安装目录conf/samples/下拷贝配置文件样本sequoiafs.conf到指定的配置路径下。否则可以通过手工创建sequoiafs.conf,并根据需要写入以下配置内容,参数具体值根据实际情况写入,不进行配置的参数可以不用写入进配置文件中,以下为SequoiaFS配置文件样本内容:

    1. # Coord addr (hostname1:servicename1,hostname2:servicename2,...)
    2. hosts=localhost:11810
    3.  
    4. # User name of source sdb
    5. username=sdbadmin
    6.  
    7. # User passwd of source sdb
    8. passwd=sdbadmin
    9.  
    10. # The target collection that be mounted
    11. collection=
    12.  
    13. # The dir meta collection, default: sequoiafs.xxx
    14. metafilecollection=
    15.  
    16. # The file meta collection, default: sequoiafs.xxx
    17. metadircollection=
    18.  
    19. # Max connection num of connection pool
    20. connectionnum=100
    21.  
    22. # Cache size of directory meta records, default:2(unit:M), value range: [1-200]
    23. cachesize=2
    24.  
    25. # The path of configure file
    26. confpath=
    27.  
    28. # Diagnostic level, default:3, value range: [0-5]
    29. diaglevel=3
    30.  
    31. # The max number of diagnostic log files, default:20, -1:unlimited
    32. diagnum=20
    33.  
    34. # Diagnostic log file path
    35. diagpath=

    API接口

    SequoiaFS现支持以下文件操作API:

    接口函数参数描述
    opendir()const char name打开目录文件
    readdir()DIR dir读取目录文件
    closedir()DIR dir关闭目录文件
    open()const char pathname创建或打开一个文件,flags只支持O_RDONLY, O_WRONLY, O_CREATE, 其他报错。忽略可选参数mode,默认权限644。
    int flags
    [mode_t mode]
    close()int fd关闭文件
    remove()const char pathname删除文件
    lseek()FILE stream设置读写偏移
    long offset
    int whence
    read()int fd读取文件数据
    void buf
    size_t count
    write()int fd写文件数据
    const void buf
    size_t count
    stat()const char pathname获取文件的属性信息
    struct stat buf
    utime()const char pathname更改访问和修改时间
    struct utimebuf buf
    link()const char oldpath创建链接文件(硬链接)
    const char newpath
    unlink()const char pathname删除指定文件,如果该文件为最后的链接点,则文件会被删除。如果为符号链接,则链接删除。
    symlink()const char oldpath创建符号链接文件, oldpath指定文件允许不存在。
    const char newpath
    truncate()const char pathname截取文件内容,将path指定的文件大小改为参数length的大小,如果原来文件比length大,则超过的部分会被删除。
    off_t length
    mkdir()const char pathname创建目录文件
    mode_t mode
    rmdir()const char pathname删除目录文件
    renameconst char pathname更改文件名称
    const char newpathname
    chmodconst char *pathname更改文件权限
    mode_t mode

    API使用实例

    下面实例演示了通过API在mountpoint目录下简单地创建了一个testfile文件并写入testdata内容。

    1. #include <stdio.h>
    2. #include <sys/stat.h>
    3. #include <unistd.h>
    4. #include <sys/types.h>
    5. #include <fcntl.h>
    6.  
    7. static char testdata[] = "abcdefghijklmnopqrstuvwxyz";
    8. static int testdatalen = sizeof(testdata) - 1;
    9. #define testfile "/opt/sequoiadb/mountpoint/testfile"
    10.  
    11. int main()
    12. {
    13. int rc = 0;
    14. int fd = 0;
    15. const char *data = testdata;
    16. int datalen = testdatalen;
    17.  
    18. fd = open(testfile, O_WRONLY|O_CREAT);
    19. if(0 > fd)
    20. {
    21. printf("Failed to open file:%s\n", testfile);
    22. goto error;
    23. }
    24.  
    25. rc = write(fd, data, datalen);
    26. if(0 > rc)
    27. {
    28. printf("Failed to write file:%s\n", testfile);
    29. goto error;
    30. }
    31.  
    32. rc = lseek(fd, 4, SEEK_SET);
    33. if(0 > rc)
    34. {
    35. printf("Failed to lseek file:%s\n", testfile);
    36. goto error;
    37. }
    38.  
    39. rc = write(fd, "DF", 2);
    40. if(0 > rc)
    41. {
    42. printf("Failed to write file:%s\n", testfile);
    43. goto error;
    44. }
    45.  
    46. rc = close(fd);
    47. if(0 > rc)
    48. {
    49. printf("Failed to close file:%s\n", testfile);
    50. goto error;
    51. }
    52. done:
    53. return rc;
    54. error:
    55. goto done;
    56. }