Change docker db driver

[luojiyin1987]

Closed #2

先用 redis 作为 meta-server 进行测试， redis 停止服务时， metadata就会消失，避免自己再次format 。 不过经过测试 还时报 <FATAL>: Storage wasb://polyfill4web/myjfs/ is not empty; please clean it up or pick another volume name [format.go:485] 的报错。 十分不了解 juicefs 的逻辑。

同时为了 juicefs 可以正常获取释放 fuse， 已经给了 juicefs privileged 权限， 这是一个高危操作， 十分不理解他们的设计。

是否可以更换其他的 S3 类中间件， 挂载网络存储到本地磁盘上？

[luojiyin1987]

juicedata/mount:latest 容器已经可以正常运行了
@TechQuery

[luojiyin1987]

现在是 myjfs 的容器的文件没做持久化， 但 meta-server（postgres）做了数据持久化了。 不知道容器不断启动，是否导致 meta-server 数据混乱，还在测试中。 理想的方案是 myjfs meta-server 都做持久化。 或者 myjfs meta-server 都不做持久化 ，每次都是从新开始。 @TechQuery

[TechQuery]

现在是 myjfs 的容器的文件没做持久化

JuiceFS 的持久化不就只有元数据和文件本身吗？还有哪些要做持久化？

[luojiyin1987]

现在是 myjfs 的容器的文件没做持久化

JuiceFS 的持久化不就只有元数据和文件本身吗？还有哪些要做持久化？

现在 myjfs 没做容器内挂载文件的持久化， 重新启停后， 就没文件了。

[luojiyin1987]

juicedata/juicefs-csi-driver#934
现在把遇到的问题反馈给上游

[luojiyin1987]

我现在越来越倾向用 minio 或者 BlobFuse 替换 juiceFS 。 @TechQuery

[TechQuery]

BlobFuse

这个不能通用于所有对象存储平台，我们不但是自己用，还要通过 PR 给上游提供通用解决方案。

[luojiyin1987]

minio 的运维压力有点大， 考虑 rclone

[TechQuery]

minio 的运维压力有点大， 考虑 rclone

rclone mount ？

[luojiyin1987]

minio 的运维压力有点大， 考虑 rclone

rclone mount ？

https://rclone.org/docker/ 它有完整的介绍文档， 在尝试中

[luojiyin1987]

已经再 rclone 社区 提问
https://forum.rclone.org/t/i-dont-know-how-to-config-azure-china-blob-storage/45887

[luojiyin1987]

现在的方案 需要在 Linux 安装 fuse sudo apt install fuse3 。 目前遇到的问题， rclone docker 容器退出后， 不能 umount 目录。当下次启动会出现的报错， Error response from daemon: error while creating mount source path '/home/traefik/Polyfiller/metadata': mkdir /home/traefik/Polyfiller/metadata: file exists 导致 docker compose 启动失败

解决办法 sudo umount -l /home/traefik/Polyfiller/metadata 手动 umount ，就可以正常启动了。

要解决 docker 退出后， 一些清理工作。 @TechQuery

查看文档可以通过 docker compose down --volumes 可以在正常情况下 umount， 但是对应非正常退出，还是要自己手动清理。

[TechQuery]

但是对应非正常退出，还是要自己手动清理。

Docker 退出前能否执行 shell 脚本？如果能执行我们自定义的清理逻辑，那下一次启动也就不会报错，也就不会再产生非正常退出了。

1. Docker 容器 被手动停止， 应该是可以执行 Shell脚本， 还没验证
2. Docker 进程意外退出，没机会执行 Shell 脚本，需要自己手动维护乐。

[luojiyin1987]

用 Docker volume 挂载到 rclone 容器内，发现 api-service 是无法写入到 volume 里。 即如下配置

volumes:
      - ./config/rclone:/config/rclone # Mount the local rclone config directory to the container
      - polyfill-cache:/polyfill-cache:shared # Mount the local directory for the rclone mount

后来改成通过本地目录共享的方式解决。有个副作用，docker compose down --volumes 也无法正常 umount， 需要自己手动 umount， 将在下一个迭代解决。 @TechQuery

volumes:
     - ./config/rclone:/config/rclone # Mount the local rclone config directory to the container
     - ./polyfill-cache:/polyfill-cache:shared # Mount the local directory for the rclone mount

和

volumes:
      - ./polyfill-cache:/tmp/@wessberg/polyfiller

[luojiyin1987]

接着测试 docker compose down --volumes 是可以正常处理的， 只是 umount 是需要一些时间， 并不是可以马上释放资源的。 @TechQuery