Docker環境構築

sudo apt update

sudo apt upgrade

sudo apt-get install -y\
    apt-transport-https \
    ca-certificates \
    curl \
    gnupg-agent \
    software-properties-common

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -


sudo add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \                 
   $(lsb_release -cs) \                                                         
   stable"

sudo apt-get update

sudo apt-get install docker-ce docker-ce-cli containerd.io -y

sudo usermod -aG docker ubuntu

squidのdocker imageをとってくる

sudo docker pull sameersbn/squid:3.5.27-2

squidの設定変更

アクセスコントロール

acl mynet src 192.168.0.10

http_access allow all

匿名化設定

visible_hostname none
forwarded_for off
request_header_access X-FORWARDED-FOR deny all
request_header_access VIA deny all
request_header_access CACHE-CONTROL deny all

最終版

acl SSL_ports port 443
acl Safe_ports port 80		# http
acl Safe_ports port 21		# ftp
acl Safe_ports port 443		# https
acl Safe_ports port 70		# gopher
acl Safe_ports port 210		# wais
acl Safe_ports port 1025-65535	# unregistered ports
acl Safe_ports port 280		# http-mgmt
acl Safe_ports port 488		# gss-http
acl Safe_ports port 591		# filemaker
acl Safe_ports port 777		# multiling http
acl CONNECT method CONNECT
http_access deny !Safe_ports
acl mynet src 192.168.0.10
http_access allow localhost
http_access allow mynet
visible_hostname none
forwarded_for off
http_port 3128
coredump_dir /var/spool/squid
refresh_pattern ^ftp:		1440	20%	10080
refresh_pattern ^gopher:	1440	0%	1440
refresh_pattern -i (/cgi-bin/|\?) 0	0%	0
refresh_pattern (Release|Packages(.gz)*)$      0       20%     2880
refresh_pattern .		0	20%	4320
request_header_access X-FORWARDED-FOR deny all
request_header_access VIA deny all
request_header_access CACHE-CONTROL deny all

Docker立ち上げ

sudo docker run --name squid -d --rm --publish 3128:3128 -v /srv/docker/squid/cache:/var/spool/squid -v $(pwd)/etc/squid.conf:/etc/squid/squid.conf sameersbn/squid:3.5.27-2

Proxy匿名度診断

PuTTYのインストール

AWSでインスタンス立ち上げ

PuTTYの設定

1. Host NameにインスタンスのパブリックIPアドレスを入力する
2. 設定を保存しておいたほうが便利なので、Saved Sessionsに名前を入力しSaveを押す
3. SSHメニューの中のAuthを開き、先ほど生成したppkファイルを設定する

Ubuntuのリモートデスクトップのインストールおよび設定

sudo apt update && sudo apt upgrade
sudo sed -i 's/^PasswordAuthentication no/PasswordAuthentication yes/' /etc/ssh/sshd_config
sudo /etc/init.d/ssh restart
sudo passwd ubuntu
sudo apt install xrdp xfce4 xfce4-goodies tightvncserver
echo xfce4-session> /home/ubuntu/.xsession
sudo cp /home/ubuntu/.xsession /etc/skel
sudo sed -i '0,/-1/s//ask-1/' /etc/xrdp/xrdp.ini

Puttyでトンネリング設定

• Source Portに8888
• Destinationに (Local IP Adressを172.31.3.223とした場合) 172.31.3.223:3389

リモートデスクトップ接続

Google Chromeのインストール

wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
sudo dpkg -i google-chrome-stable_current_amd64.deb

所感

Windows Server 2012をリモートデスクトップで使ってみる

接続

IEのセキュリティ設定の解除

Chromeのインストール

VPS側のサウンドの設定

使用した感想

Google DriveのRate Limit

Google DriveのRate Limitの確認方法

100秒間に1000リクエストの制限があるので短時間で大量にファイルをアップロードするような処理をpyDriveで実装しても、Rate Limitに引っかかってしまいプロセスがkillされてしまう。google-drive-ocamlfuseが不安定だったのもこのせいだと思われたが、100秒当たりのコール数を確認しても1000コールにほど遠い状況。1日のコール数も全然少ないので問題ない。





何か他にもありそう。
pythonのプログラムが"Killed"のメッセージだけ残して落ちるのでほぼほぼ手掛かりがないが、exceptionに引っかかってるわけではないので、外部(OS)からKillされているっぽい。
topコマンドでメモリ使用量を見てると、流してくとメモリ使用量が徐々に増えているのがわかる。
プログラムはほぼほぼここで公開しているものと同じだが果たしてどこでリークしているのか...

はじめに

/home/static/Data/test
                   |
                   |
                   +- dir1
                   |    |
                   |    +- Data1
                   |    +- Data2
                   |
                   +- dir2
                        |
                        +- Data3
                        +- Data4  

とりあえずプログラム

import os
import sys
import datetime

from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive

def auth_gd():
    gauth = GoogleAuth()
    gauth.CommandLineAuth()
    drive = GoogleDrive(gauth)
    return drive

def upload2googledrive():
    drive = auth_gd()
    
    parentid = 'xxxxxxxx' #project-root directory
    path = "/home/static/Data/test" #path to local data

    # "test"フォルダをGoogle Drive上に作成
    t_folder = create_dir(parentid, os.path.basename(path), drive)

    # ローカルのディレクトリ一覧取得
    flag = ""
    dir_list=get_dirlist(path)
    for d in dir_list:
        d_folder = create_dir(t_folder['id'], os.path.basename(d), drive)
        #ローカルのファイル一覧取得
        file_list=get_filelist(d)
        for f in file_list:
            upload_file(d_folder['id'], f, drive)

# ディレクトリがGoogle Drive上に存在するかどうかをチェックし、
# 存在しなければ作成、すでに存在すれば既存のフォルダを返す
def create_dir(pid, fname, drive=None):
    if drive == None:
        drive = auth_gd()

    ret = check_files(pid, fname, drive)
    if ret == False:
        folder = drive.CreateFile({'title': fname,
                                 'mimeType': 'application/vnd.google-apps.folder'})
        folder['parents']= [{'id': pid}]
        folder.Upload()
    else:
        folder = ret
        print(folder['title']+" exists")

    return folder

#同じ名前のファイルがGoogle Drive上に存在するかチェックし、
#存在しなければアップロード、存在すれば既存のファイルを返す
def upload_file(pid, fname, drive=None):
    if drive == None:
        drive = auth_gd()

    ret = check_files(pid, fname, drive)
    if ret == False:
        gf = drive.CreateFile()
        gf['parents']= [{'id': pid}]
        gf.SetContentFile(fname)
        gf['title'] = os.path.basename(fname)
        gf.Upload()
    else:
        gf = ret
        print(gf['title']+" exists")

    return gf

#Google Drive上にその名前のファイル/フォルダがあるかチェック、なければFalseを、あれば既存のファイル/フォルダを返す
def check_files(pid, fname, drive=None):
    if drive == None:
        drive = auth_gd()

    query = '"{}" in parents'.format(pid)
    query += ' and title = "' + os.path.basename(fname) + '"'

    list =  drive.ListFile({'q': query}).GetList()
    if len(list)> 0:
        return list[0]
    return False
            
def get_dirlist(basedir):
    ret = []
    for path, dirnames, filenames in os.walk(basedir):
        for dir in sorted(dirnames):
            d = os.path.join(path, dir)
            ret.append(d)
    return ret

def get_filelist(basedir):
    ret = []
    for path, dirnames, filenames in os.walk(basedir):
        for filename in sorted(filenames):
            fullpath = os.path.join(path, filename)
            ret.append(fullpath)
    return ret

if __name__ == '__main__':
    upload2googledrive()

プログラム解説

Google Driveのファイル管理について

ファイルのアップロード

        gf = drive.CreateFile()
        gf['parents']= [{'id': pid}]
        gf.SetContentFile(fname)
        gf['title'] = os.path.basename(fname)
        gf.Upload()

フォルダの生成

        folder = drive.CreateFile({'title': fname,
                                 'mimeType': 'application/vnd.google-apps.folder'})
        folder['parents']= [{'id': pid}]
        folder.Upload()

'mimeType': 'application/vnd.google-apps.folder'

    query = '"{}" in parents'.format(pid)
    query += ' and title = "' + os.path.basename(fname) + '"'

    list =  drive.ListFile({'q': query}).GetList()

    ret = []
    for path, dirnames, filenames in os.walk(basedir):
        for dir in sorted(dirnames):
            d = os.path.join(path, dir)
            ret.append(d)

google-drive-ocamlfuse vs pyDrive性能比較

性能測定結果

1MBのファイル 10個のアップロード

10MBのファイル 1個のアップロード

100MBのファイル 1個のアップロード

その他気になったこと

まとめ

pyDriveでUbuntuのDockerからGoogle Driveのファイル操作を行う

google-drive-ocamlfuseの問題

pyDriveとは

• Dockerfile
• Google APIのClient ID / Client Secret (デスクトップアプリ用のID/Secretを用意)
• settings.yaml (Google Driveの認証情報などの設定の定義ファイル)
• gd_pydrive.py (pyDriveのお試しプログラム)

FROM ubuntu:latest

RUN apt-get update
RUN apt-get install python3 python3-pip -y
RUN pip3 install pydrive

COPY . /work
WORKDIR /work

client_config_backend: settings
client_config:
  client_id: xxxxx.apps.googleusercontent.com
  client_secret: XXXXxXXXxXXXX

save_credentials: True
save_credentials_backend: file
save_credentials_file: credentials.json

get_refresh_token: True

• client_id, client_secretをこのファイルで指定しておく。
• save_credentialsをTrueにして、ファイルに保存するようにしておくことで次回以降の認証手続きを簡素化させる。
• get_refresh_tokenをTrueにすることでアクセスするごとにtokenをリフレッシュさせる

from pydrive.auth import GoogleAuth

gauth = GoogleAuth()
gauth.CommandLineAuth()

You can also use CommandLineAuth() which manually takes code from user at command line.

Docker Image作成＋実行

sudo docker build -t gdrive .
sudo docker run  -it gdrive /bin/bash

root@2385921abe7d:/work# python3 gd_pydrive.py
/usr/local/lib/python3.8/dist-packages/oauth2client/_helpers.py:255: UserWarning: Cannot access credentials.json: No such file or directory
  warnings.warn(_MISSING_FILE_MESSAGE.format(filename))
Go to the following link in your browser:

    https://accounts.google.com/o/oauth2/auth?client_id=xxxxxxxxxxxx.apps.googleusercontent.com&redirect_uri=urn%3Aietf%3Awg%3Aoauth%3A2.0%3Aoob&scope=https%3A%2F%2Fwww.googleapis.com%2Fauth%2Fdrive&access_type=offline&response_type=code&approval_prompt=force

Enter verification code: xxxxxxxxxxxxxxxxxxxxxxxx
Authentication successful.

root@536122a820a4:/work# ls -l
-rw------- 1 root root 1286 Sep 20 13:38  credentials.json
-rw-rw-r-- 1 root root  306 Sep 20 12:57  gd_pydrive.py
-rw-rw-r-- 1 root root  296 Sep 20 12:57  settings.yaml

Ubuntu DockerからGoogle Driveをマウント

0) はじめに

1) Google API設定  Client ID / Client Secretの取得

a) プロジェクトの作成

b) 認証情報の作成 → oauth同意画面を設定

1. 左のメニューの"認証情報"を選択
2. +認証情報を作成"をクリック
3. OAuthクライアントID

c) OAuth同意画面の設定

• Google Drive内のすべてのファイルの表示
• Google Drive内のファイルのメタデータの表示
• Google Driveのファイルのメタデータの表示

d) 認証情報の作成 

e) client ID/ client secret取得

2) "google-drive-ocamlfuse"でマウント

a) google-drive-ocamlfuseのインストール

sudo apt-get -y install software-properties-common
sudo add-apt-repository ppa:alessandro-strada/ppa
sudo apt update
sudo apt -y install google-drive-ocamlfuse

b) google-drive-ocamlfuseの実行

google-drive-ocamlfuse /MOUNTPOINT -headless -id YOURID.apps.googleusercontent.com -secret YOURSECRET

3) DockerからGoogle Driveをマウント

FROM ubuntu:latest

RUN apt-get update
RUN apt-get install python3 python3-pip -y


ENV TZ=Asia/Tokyo
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone

RUN apt-get -y install software-properties-common
RUN add-apt-repository ppa:alessandro-strada/ppa
RUN apt update
RUN apt -y install google-drive-ocamlfuse
RUN mkdir /googledrive

sudo docker run  -it --rm --privileged -v $(pwd)/vol:/root/.gdfuse google-drive /bin/bash