2.Python3环境和AutoRclone的安装

上一节：

2.a.SA原理和作用介绍

说到SA，它是所有google云盘搬运工具的核心搬运工，创建大量SA账号，批量管理，我们一般用AutoRclone操作，后续很多同质工具和较为复杂的配置，都是基于SA账号的管理和批量使用。

如果你在接下来的学习中，发现后续步骤繁琐，原理理解一头雾水，那么，先好好掌握SA的批量创建和管理，就能获得关键的阶段性成果，先弄好这个，以后抽空再配置其他工具，会容易很多。

SA的批量获取一般用AutoRclone比较方便，而管理设置完毕后，我们就可以导入Gclone之类的开始享用了，那么，SA的获取和管理，大致的流程如下：

1. 安装 Python3环境 和 AutoRclone
2. 借助谷歌开发者平台，生成SA服务账号
3. 将服务账号 service accounts 加入到 Google Groups方便管理和迁移
4. 安装 gclone 开始复制文件

市面上很多类似的工具只需要把/root/.config/rclone/rclone.conf配置文件和AutoRclone/accounts/文件夹下的SA账号信息保存好，无论是迁移还是继续配置，都是通用的。
使用autorclone的脚本批量授权sa账号到你的团队盘ID里，目前似乎可能出现bug，如果在拷贝文件时，日志提示404文件不存在
报错日志的意思是找不到对应的目录ID，这种情况会发生在SA没有对应目录的阅读权限的时候。
当进行server side copy时，需要向Google的服务器提交要复制的文件ID，和复制的位置，也就是新创建的目录ID，由于在请求时是随机选取的SA，所以当选中没有权限的SA时，这次拷贝请求没有对应目录的权限，就会发生图中的错误。
所以，上述这些问题的源头是，sa目录下，混杂了没有权限的json文件.
解决办法建议上传sa到团队盘或者群组的时候，自己去团队盘成员管理或者群组页面看看增加的人数是否一致，再次上传一般就能补齐.

如果在后面的章节使用GD-Utils百宝箱时发生此种情况，还可以使用百宝箱自带的脚本验证，这个会在对应章节提到。

在项目目录下，执行 git pull 拉取最新代码
执行 ./validate-sa.js -h 查看使用说明
选择一个你的sa拥有阅读权限的目录ID，执行 ./validate-sa.js 你的目录ID
程序会读取sa目录下所有json文件，依次检查它们是否拥有对 你的目录ID 的阅读权限，如果最后发现了无效的SA，程序会提供选项允许用户将无效的sa json移动到特定目录。
将无效sa文件移动以后，如果你使用了pm2启动，需要 pm2 reload server 重启下进程。

2.b.开始安装python3

准备工具：

• Google账号一个
• Python3
• 谷歌团队盘Team Drive
• Rclone

开始：
以win10为例，配置AutoRclone：
前面提到，cmd工具需要全局代理，我们通过之前配置好的sstap转发所有本地流量到v2ray获得类似全局路由效果，然后打开cmd.exe
python3的安装，AutoRclone是使用python语言编写，基于rclone的拓展工具，我们在github页面下载此项目的源码zip打包：
https://github.com/xyou-365/AutoRclone
和rclone，之前下载过了，就不再演示
https://rclone.org
如果你想本地挂载，可能还需要下载winfsp，类似于FUSE的文件管理工具
https://github.com/billziss-gh/winfsp
然后去python官网下载3系列：
https://www.python.org/
选个最新的exe 64位系统的安装包即可，如果你无法直接访问，记得像我一样挂好网页代理，一般的ssr或者v2ray就可以
Windows x86-64 executable installer
双击exe进行安装，记得勾选add
python3.8 to PATH，忘记的自己按照之前rclone加入系统变量path路径的方法，手动添加也一样。
选择自定义安装，只需要安装pip包管理器和py launcher方便运行即可
安装完毕，提示解锁系统路径字符长度限制，如果你的安装路径很长，记得解锁
然后打开cmd或者powershell输入python，查看是否安装成功
输入exit()退出或者直接关闭都行

2.c.配置autorclone所需依赖

python3安装完毕，我们再查看autoRclone的zip包
方便第一次接触AutoRclone的朋友，我们稍微看一下此工具主要4个功能：
rclone_sa_magic.py
gen_sa_accounts.py
add_to_team_drive.py
add_to_google_group.py

以及一个credentials文件夹和accounts文件夹

我们将AutoRclone-master代码文件夹解压放到E:software目录下
然后在AutoRclone-master文件夹里打开cmd或者powershell工具

方法提供两个常用的：
1.直接地址栏输入cmd回车
2.shift+鼠标右键，选择在此处打开powershell（s)/命令(w)窗口

输入 pip3 install -r requirements.txt
开始安装autorclone项目需要的依赖包

如果你的pip3包管理器比较陈旧，安装依赖出错，可以尝试升级下pip3后再安装依赖：
python -m pip install -U pip
如果你对sstap和v2ray不熟悉，条件不具备，只有ss/ssr，可以尝试使用proxifier进行全局代理配置，搭配ss/ssr，这里简单说一下，演示在第一节提过：
添加proxy servers，地址127.0.0.1，端口用ss/ssr的本地监听端口，一般是1080，socks5代理，check
proxification rules 将localhost和ss/ssr添加直连action（direct）,其他所有流量走刚才的127.0.0.1：1080
socks5代理，启动，百度输入ip，是你ss/ssr的服务器ip，则说明全局代理生效了

2.d.配置AutoRclone

https://developers.google.com/drive/api/v3/quickstart/python
默认项目名QuickStart即可，项目类型选择默认的Desktop app
点击下载授权文件：credentials.json
https://console.developers.google.com/
以后也可以随时去开发服务台下载该文件。
将授权文件放到autorclone项目下，或者你喜欢的其他文件目录下也行：
E:softwareAutoRclone-master\

2.e.批量创建SA服务号和项目

最后一个1代表要创建的项目个数,其中1个项目有100个服务号,1个服务号可以有750G/天的流量,100个就是75T,你不够用就创建个2-4个,越多越属于滥用，封号风险越大，自己把握，改末尾的数字为自己需要的项目数即可。如果你是谷歌个人账号，建议一次1个项目操作

python gen_sa_accounts.py --quick-setup 1

版本不同，你的系统是否已经安装python2，会导致python3默认操作指令可能不太一样，其他情况你的python如果没有对应指令，可以尝试将python改成py3，python3解决

弹出授权地址后，复制在浏览器中打开，此时登录的google账号务必是刚才创建quickstart
python项目所对应的账号，请保持一致，方可成功授权

如果是第一次使用，会让你打开页面请求开启google drive 的Service Usage API授权，类似提示：

Service Usage API has not been used in project 372668230525 before or it is disabled.
Enable it by visiting https://console.developers.google.com/apis/api/serviceusage.googleapis.com/overview?project=372668230525
then retry. If you enabled this API recently, wait a few minutes for the action
to propagate to our systems and retry.

浏览器打开后点击enable开启，再回到powershell/cmd，回车键再次尝试

查看我们的accounts文件夹下，应该成功下载了对应的sa账号信息了，先打个包留存备用吧
另外，点击https://console.developers.google.com/选择任意项目查看Credentials项，你也可以查看每个项目下100个SA账号信息。
SA账号的生成，就完成了，可以说，整个教程的核心，就是SA账号的获取，如有茫然，请多次观看，配合文字教程，巩固熟练

2.f.SA账号的操作和管理进阶

我们通过查看 帮助文件 python gen_sa_accounts.py -h，可以看到一些有用的参数，

optional arguments:
  -h, --help            show this help message and exit
  --path PATH, -p PATH  Specify an alternate directory to output the credential files.
  --token TOKEN         Specify the pickle token file path.
  --credentials CREDENTIALS
                        Specify the credentials file path.
  --list-projects       List projects viewable by the user.
  --list-sas LIST_SAS   List service accounts in a project.
  --create-projects CREATE_PROJECTS
                        Creates up to N projects.
  --max-projects MAX_PROJECTS
                        Max amount of project allowed. Default: 12
  --enable-services ENABLE_SERVICES
                        Enables services on the project. Default: IAM and Drive
  --services SERVICES [SERVICES ...]
                        Specify a different set of services to enable. Overrides the default.
  --create-sas CREATE_SAS
                        Create service accounts in a project.
  --delete-sas DELETE_SAS
                        Delete service accounts in a project.
  --download-keys DOWNLOAD_KEYS
                        Download keys for all the service accounts in a project.
  --quick-setup QUICK_SETUP
                        Create projects, enable services, create service accounts and download keys.
  --new-only            Do not use exisiting projects.

这里简单演示下两个可能会用到的参数

1. 单独下载某个项目下的sa账号，使用上述参数的 --download-keys
2. 删除多余的SA账号，使用参数 --delete-sas
   示例：

python gen_sa_accounts.py –list-projects列出所有项目
python gen_sa_accounts.py –delete-sas saf-86eg4v4tgm5k-w7rpw7r9ahwin删除指定项目下的SA文件
https://console.developers.google.com/apis/credentials?project=saf-86eg4v4tgm5k-w7rpw7r9ahwin&folder=&organizationId=

查看该项目下sa文件都已经成功删除完毕了
但是，本地accounts文件夹下已经下载的sa 配置文件不会被删除，我建议是全部删除后，使用–download-keys选择性下载指定单个项目的sa，毕竟之后要用到群组管理的话，谷歌个人账号一天只能加100sa到群组里，如果想快速上手，就别一次性搞超过100个sa，一个个项目来，别急

python gen_sa_accounts.py --download-keys saf-u6cfsufzqb-dk6sogkz2p1yuop

我们尝试单独下载一个项目下的100sa文件，发现运作正常

就拿这100个SA作为下一步的示范吧
对了，别忘记把刚才删掉的sa补上：

python gen_sa_accounts.py --create-sas saf-86eg4v4tgm5k-w7rpw7r9ahwin

然后将SA文件夹路径配置到rclone里，没错，是rclone，AutoRclone也是基于rclone的功能进行了一些拓展，本质还是操作rclone的功能。
拷贝下文件试试效果吧！
拷贝完可以通过rclone指令指定AutoRclone文件夹下生成的conf文件配置来查询文件个数是否一致：

rclone --config rclone.conf size --disable ListR src-001:源路径
rclone --config rclone.conf size --disable ListR dst-001:目标路径

2.g. SA账号直接添加到团队盘流程

python add_to_team_drive.py -h查看帮助
此脚本用于直接添加SA账号到团队盘，属于标准操作，但是缺点还是很明显的：

1. a.如果你是个松鼠党，每次大量sa添加删除还是非常繁琐的，虽然有自动删除团队盘里的sa脚本，不过等你发现用的时候失效了，得手动删600个sa的时候，心中肯定一万头草泥马奔过。
2. b.团队盘加满600人后也占位置，不美观。
3. c.有的edu团队盘无法在域外分享，直接用SA走服务端拷贝到别的团队盘可能会遇到阻碍。
4. d.好心大佬邀你进团队盘拷贝，肯定不太想看到你拖儿带女几十上百号人涌入。

而且autoRclone的自动切换处于beta测试阶段，一般都只是用来生成sa账号，推荐操作还是添加群组，之后都是拿gclone和更快更强的自动切换工具来玩，把autorclone丢一边当个工具人而已。
如果你没有团队盘，网上找找免费的或者买些吧，对于不同渠道的团队盘风险和靠谱程度，我在后面单独来说。
如果你不用团队盘。个人盘每24h 750gb限制，使用sa的意义可以忽略，当然，只需要rclone的话，也不会来看这篇教程了对吧
好了，我们作为基础演示，还是过一遍sa直接添加到团队盘的流程吧：

python add_to_team_drive.py -d SharedTeamDriveSrcID
python add_to_team_drive.py -d SharedTeamDriveDstID

而团队盘ID是打开团队盘，根目录所在网址，形如：
https://drive.google.com/drive/u/0/folders/0AHKb_1xkottteskvg

上面的连接里0AHKb_1xkottteskvg就是团队盘的ID，文件夹ID也是类似查看
这里演示一下：

python add_to_team_drive.py -d 0AIl3Me6keYC1Uk9PVA

可能一次没有完整上传，多执行一次看看。这个bug，在后续gd-utils百宝箱有相应检测指令可以剔除未成功加入的sa账号

python add_to_team_drive.py -d 0AK-jeaa5dIZeUk9PVA

将你的资源盘ID和目标盘ID找出来，将之前的sa人员添加到两个团队盘里，就可以操作两个盘文件的相互拷贝等功能了。当然了，两个盘建议你都设置成管理员，像删除文件夹，清空回收站需要“Manager”管理员权限而不仅仅是content Organizer

接下来就可以开始拷贝拉，对于走服务器的流量（server side copy)，适用于公开分享的文件夹链接到团队盘，以及团队盘到团队盘的拷贝。

这样，autoRclone普通用法基本上就告一段落了。由于autoRclone对OneDrive之类拷贝到google drive这些rclone原生功能支持全面程度不够，操作的不太人性化。
我们将SA加入群组，使用群组操作SA这些功能，使用Gclone来替代。

linux系统可以使用

tail -f log_rclone.txt

来查看拷贝日志。

2.h.提取SA信息，加入群组

提取sa之前，我们先把之前加入团队盘的sa删除掉，使用脚本：https://github.com/Rhilip/AutoRclone/blob/master/remove.py

使用方法则是：

python remove.py --drive-id  --prefix  --suffix --role

匹配邮箱地址前缀或者后缀，或者角色，这里我们用autoRclone默认分配的成员角色都是fileOrganizer，即文件管理员，那么直接用此匹配条件删除即可，示例：

python remove.py --drive-id 0AK-jeaa5dIZeUk9PVA --role fileOrganizer
python remove.py --drive-id 0AIl3Me6keYC1Uk9PVA --role fileOrganizer

这样两个测试盘里的sa用户全部清除完毕
我们开始思考如何提取SA文件里的邮箱，用户名这些特定信息，用来添加群组成员

1. 方法1：chrome插件
   https://chrome.google.com/webstore/detail/email-extractor/jdianbbpnakhcmfkcckaboohfgnngfcc

chrome浏览器安装完毕后，访问
https://console.developers.google.com/
开发者控制台，找到对应项目下的sa列表，选择每页显示100个，启用email extractor插件，发现邮箱地址，选择save as csv文件，下载完毕后修改后缀为.csv即可

1. 方法2：大佬的分割 提取脚本：
   window系统，可以使用大佬的脚本：

https://www.bilibili.com/read/cv5428249/
这个文章里面提供的exe脚本getuserByFeiFan，不太确定原作者是谁，放到autoRclone安装目录下的accounts文件夹里面再运行
然后还有这个loc大佬的py脚本和项目地址：
https://www.hostloc.com/thread-670126-1-1.htmlhttps://github.com/Sheldonsix/A-python-script-of-AutoRclone-or-gclone
这个脚本基于python3，可以输出用户名和邮箱，自己手动改下路径，保存的email文件名，然后后缀保存为.py即可在powershell里面通过python环境运行
另外
linux系统下，可以直接使用系统自带指令处理.json 用户信息，提取为txt，这个我们放到linux安装autoRclone的流程章节会详细再说

另外，如果你是gsuite管理员，创建的群组可以直接通过autoRclone的
add_to_google_group.py脚本上传，指令演示：

python add_to_google_group.py -g [email protected]

我们拿到了email清单，就可以开始创建群组了

2.i.创建群组：

https://groups.google.com/
点击CREATE GROUP红色按钮创建新的群组，提示升级新的群组版本建议升级后再操作
填写群组信息，只需要记住Group email address并保持Group type为默认的Email list即可

添加成员，我测试应该是可以批量加人的，没有10个一次的限制，但是每日100个限制还是100个
建议认真复制，重复传错的貌似也算进每日限额100个里。
然后将群组邮箱地址依次加入需要拷贝的两个团队盘中，设置为管理员权限，测试下效果吧：
依然是拷贝之前的文件夹，检查全局代理状态正常后。
拷贝anime团队盘下的文件夹到test团队盘根目录看看效果：

python rclone_sa_magic.py -s 1vHU2C88NlN2Bj-BDwWSIx9VnKLUpCoHk -d 1xTbn_MeTbAZkX4HZa0gbuk-eHVtHCFw8 -dp /new/test1/ -b 1 -e 100

发现经过15s左右，自动跳过第一个已经满750gb额度，然后第二个账号拷贝完接近300GB后，也达到750GB额度不再传输文件，等待15s，自动切换到第三个sa。最后拷贝完毕，一切正常。
好了，我们回味下群组和普通sa拖家带口的区别，很明显，群组的优势就是无需通过脚本或者手动上传大量sa账号到团队盘，而且删除的时候，群组小手一点移除一个邮箱即可，而sa账号批量删除没有调用google drive api的脚本操作的话，简直是酸爽。无论是居家旅行，拜亲访友，群组都是大家喜闻乐见的选择，而且某些教育盘跨域分享，直接域外sa成员加入还无法拷贝出域，群组可以绕过此类限制。

2.j. AutoRclone的流程小结

虽然目前gclone和gd-utils百宝箱越来越便利和热门，我还是一板一眼给大家介绍了autoRclone的基本操作。
其实从日常操作指令上来说，autoRclone学习成本是要高于Gclone的，虽然它主要面向针对团队盘对拷团队盘，公共共享文件夹拷贝至团队盘，功能没有gclone保留的rclone功能完整，但是它和Gclone的部署流程和操作原理，几乎是一模一样的，我们熟悉下autoRclone的操作后，再配置Gclone就非常容易理解了：

接下来第三章，我们开始gclone的安装流程

下一节：

上一节：

另外附送关于google drive api报错解决方案可参考阅读：
https://developers.google.com/drive/api/v3/handle-errors

建议搭配视频教程阅读体验更佳，点击上方书本图标进入阅读模式，缓解眼部疲劳，侧边有章节索引快速定位，好了，我们开始吧!

youtube 4K高清点此：

1.Rclone的安装

我们先看看windows下的安装使用，这个应该是最简单的，然后linux系统以centos7为例，也过一遍安装流程，方便给linux新手熟悉下环境
对了，建议搭配思维导图理顺思路：

整个系列思维导图.xmind文件点此下载：
Gooogle Drive.xmind

1.a.Windows环境下安装Rclone

首先，从rclone官网下载windows的Rclone
https://rclone.org/downloads/
解压放到顺手的地方即可使用

cmd执行，输入rclone config即可配置

Rclone默认配置文件路径在你用户名下这个位置：
C:/Users/你的用户名/.config/rclone/rclone.config

配置完毕后，如果以后想方便使用，可以添加对rclone文件进行环境变量路径配置：
在电脑桌面右键点击“此电脑”的“属性”选项
选择“高级系统设置”选项
在系统变量中找到path，新增一个路径即可，无需命名
重新打开cmd，输入rclone config即可检查是否成功
这样就不用每次输入完整的文件路径了

至于其他系统的安装操作
官网有各个系统的示例，感兴趣的可以查看下：
https://rclone.org/install/

1.b.这里演示下centos7系统内rclone的安装：

首次登录vps建议先做点安全措施，改用密钥登录

cat id_rsa_2048.pub >> /root/.ssh/authorized_keys
vi /etc/ssh/sshd_config

主要两点：
1.关闭密码登录：PasswordAuthentication no
2.检查公钥文件路径：AuthorizedKeysFile .ssh/authorized_keys
然后systemctl restart sshd ，新开一个访问测试是否ok

我个人喜欢在screen窗口里安装，这里先下载centos最大的第三方epel源，类似于app市场，然后安装一些常用工具：

yum -y install epel-release
yum -y install wget unzip zip screen fuse fuse-devel

如果你不挂载网盘，fuse可以不安，如果你不打包zip文件，zip工具可以不安装
安好后打开一个新的screen运行配置：
screen -S install
安装rclone：

wget https://downloads.rclone.org/rclone-current-linux-amd64.zip
unzip rclone-current-linux-amd64.zip
chmod 0755 ./rclone-*/rclone
cp ./rclone-*/rclone /usr/bin/
rm -rf ./rclone-*

配置rclone：

rclone config

我们过一遍最简单的默认配置，配置一个google drive和一个OneDrive：
如果你是第一次配置，应该会提示/root/.config/rclone/rclone.conf配置文件不存在，自动创建一个。这个路径可以记下，以后搬运换vps，拷贝过去就方便很多，不需要重复配置了
如果网盘命名不满意，ctrl+backspace退格
OneDrive的配置，由于没有桌面浏览器，需要我们在pc或者window上面授权获取密钥
cmd执行 rclone authorize "onedrive"
授权完毕回到cmd，获得code，全选，鼠标右键，就是复制好了
粘贴回你的ssh窗口
一顿操作配置完毕后….

大家可以看到，windows和linux安装rclone其实都差不多，除去国内环境因素，实际配置使用并不麻烦，都是从官网下载zip文件解压就可以用了，只是一个手动界面化操作，执行通过cmd工具，一个则是通过指令解压安装，直接linux界面敲代码配置
而基本的配置流程，熟悉几遍后，也是比较简单的。

1.c.高级（推荐）：私有api授权配置

配置完毕，稍作休息，我们继续拓展一下，创建自己的私有api授权，以保证网盘操作的稳定性：

先拿google做示范，打开开发控制后台：

https://console.developers.google.com/apis/api/drive.googleapis.com/overview
首次会提示启用DriveAPI
然后新建Oauth认证信息，填桌面应用类型即可，名字随意
https://console.developers.google.com/apis/credentials/oauthclient
这样就拿到了rclone config配置里可以用到的私有Client_ID和client_secret,我们再次配置一下：

配置完毕后，我们ctrl+shift+f打开xftp，下载到本地查看下，会发现多出来两行配置，通过自己的私有api，可以保证api调用稳定，和每日750GB稳定传输

微软的onedriveAPI获取和授权：

进入 Microsoft Azure 应用注册页面。点击新注册
名称随意，账户类型选择最后一个，重定向 URL 填写http://localhost:53682/
创建成功后你会看到 Client ID（客户端ID），复制并保存好。

获取 Client secret
点击证书和密码，按照图中序号的顺序操作添加密码。

设置 API 权限
点击API 权限，按照图示进行操作，添加Files.Read、Files.ReadWrite、Files.Read.All、Files.ReadWrite.All、offline_access、User.Read这些权限。
回到rlcone,你可以按部就班编辑onedrive的配置，新增Client_ID和Client_secret进行配置，也可以使用如下指令快速配置：

rclone authorize "onedrive" "Client_ID" "Client_secret"

复制token到配置文件里，新增如下内容：

token = {"access_token":"xxxxxxxxxxxxxxxxxx","expiry":"2020-02-22T21:18:39.5036298+08:00"}

rclone的基本配置，这里就算完成了，如果你对后续gclone和更高级别的工具感兴趣的话，我们不要着急，接下来就是关于Service Account的创建流程。

如果只是轻量使用，觉得750gb/24h已经足够，那么直接结束后续章节的深入学习，直接看看接下来这个常用的rclone的参数优化和常用指令演示，拿着最简单的rclone开开心心使用也能收获很多快乐。

好了，rclone基本安装使用到此结束，ctrl+a+d,关闭screen页面，后台运行，安心下线即可，下次 screen -r恢复

对了，配置文件相关操作参考：
rclone config file – 显示配置文件的路径，
一般配置文件在 ~/.config/rclone/rclone.conf
即你当前用户是root的话，配置文件路径就是/root/.config/rclone/rclone.conf

rclone config show – 显示配置文件信息
如果想快速拷贝配置文件到你pc上备份，可以通过xshell快捷键ctrl+shift+f启动xftp，找到对应路径拷贝下来，或者安装lrzsz:

yum install lrzsz -y
sz /root/.config/rclone/rclone.conf

即可下载配置文件
而输入rz则是上传本地文件

特别注意：进入screen session后，同时按住（CTRL和A键）然后输入 :zmodem pass然后再回车<ENTER>即可使用 rz/sz
如果你没注意直接在screen里面输入rz/sz卡死，请先 ctrl+a+d退出当前窗口，退出访问：screen -D然后 screen -X -S seesionID/screenname quit