Changes between Version 29 and Version 30 of HowTo/SakuraVpsSetup3

Timestamp:

Oct 29, 2019, 5:44:42 AM (5 years ago)

Author:

村山 俊之

Comment:

--

HowTo/SakuraVpsSetup3

@@ -70 +70 @@
 == シェルのロケール設定 ==
 
-初回と同じ。
+かなり後半の方でどハマリした orz 。 `LANG=ja_JP.UTF-8` を使用するためには `language-pack-ja` とやらをインストールしておかないといけないらしい。([https://qiita.com/mochi-grin-grin/items/ea4fa0799d016ad02c09 参考])
+
+{{{
+#!console
+$ locale -a
+C
+C.UTF-8
+POSIX
+en_US
+en_US.iso88591
+en_US.utf8
+$ sudo apt -y install language-pack-ja
+
+...
+
+$ locale -a
+C
+C.UTF-8
+POSIX
+en_US
+en_US.iso88591
+en_US.utf8
+ja_JP.utf8
+$ 
+}}}
+
+あとは初回と同じ。
 
 == BIND の設定 ==
@@ -976 +1002 @@
 mysql> quit
 }}}
+
+===== WSGI 設定 =====
+
+WSGI スクリプト周りはすでに記述済みなので、 apache 側の設定だけ。
+
+{{{
+#!console
+$ sudo vim /etc/apache2/sites-enabled/developer/trac.conf
+}}}
+
+{{{
+<IfModule mod_wsgi.c>
+  WSGIScriptAlias /trac/original /var/Developer/trac/original/trac-original.wsgi
+  WSGIScriptAlias /trac/projects/test /var/Developer/trac/projects/test/trac-test.wsgi
+
+  <Directory /var/Developer/trac/original>
+    WSGIApplicationGroup %{GLOBAL}
+    Order deny,allow
+    Allow from all
+  </Directory>
+
+  <Directory /var/Developer/trac/projects/test>
+    WSGIApplicationGroup %{GLOBAL}
+    Order deny,allow
+    Allow from all
+  </Directory>
+
+  <Location /trac/original/otoco/login>
+    AuthType Digest
+    AuthName realm
+    AuthUserFile "/var/Developer/trac/original/otoco/.htdigest"
+    Require valid-user
+  </Location>
+
+  <Location /trac/original/ideanote/login>
+    AuthType Digest
+    AuthName realm
+    AuthUserFile "/var/Developer/trac/original/ideanote/.htdigest"
+    Require valid-user
+  </Location>
+
+  # ... (以下、似たような設定が続く)
+
+</IfModule>
+}}}
+
+そして apache を再起動。
+
+{{{
+#!console
+$ sudo /etc/init.d/apache2 restart
+}}}
+
+…あれ、404 ですね orz
+
+===== trac 環境のアップグレード =====
+
+そうか、 `trac-admin` から upgrade してあげないといけないんだった。
+
+で、やってあげようとすると mysql がどうのこうのと怒られる。[https://trac.edgewall.org/wiki/MySqlDb この辺]によると、 MySQL-python を入れてあげないといけないっぽい。
+
+{{{
+#!console
+$ sudo pip install MySQL-python
+[sudo] password for murachi: 
+The directory '/home/murachi/.cache/pip/http' or its parent directory is not owned by the current user and the cache has been disabled. Please check the permissions and owner of that directory. If executing pip with sudo, you may want sudo's -H flag.
+The directory '/home/murachi/.cache/pip' or its parent directory is not owned by the current user and caching wheels has been disabled. check the permissions and owner of that directory. If executing pip with sudo, you may want sudo's -H flag.
+Collecting MySQL-python
+  Downloading https://files.pythonhosted.org/packages/a5/e9/51b544da85a36a68debe7a7091f068d802fc515a3a202652828c73453cad/MySQL-python-1.2.5.zip (108kB)
+    100% |################################| 112kB 1.8MB/s 
+    Complete output from command python setup.py egg_info:
+    sh: 1: mysql_config: not found
+    Traceback (most recent call last):
+      File "<string>", line 1, in <module>
+      File "/tmp/pip-install-99Zjnt/MySQL-python/setup.py", line 17, in <module>
+        metadata, options = get_config()
+      File "/tmp/pip-install-99Zjnt/MySQL-python/setup_posix.py", line 43, in get_config
+        libs = mysql_config("libs_r")
+      File "/tmp/pip-install-99Zjnt/MySQL-python/setup_posix.py", line 25, in mysql_config
+        raise EnvironmentError("%s not found" % (mysql_config.path,))
+    EnvironmentError: mysql_config not found
+    
+    ----------------------------------------
+Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-install-99Zjnt/MySQL-python/
+$ 
+}}}
+
+`mysql_config` って何だ?
+
+…結局[https://stackoverflow.com/questions/5178292/pip-install-mysql-python-fails-with-environmenterror-mysql-config-not-found 開発用パッケージも必要]ってことらしい。
+
+{{{
+#!console
+$ sudo apt -y install libmysqlclient-dev
+
+...
+
+$ sudo pip install MySQL-python
+}}}
+
+うん、今度はちゃんと入った。
+
+気を取り直して、とりあえず ideanote の環境を upgrade
+
+{{{
+#!console
+$ cd /var/Developer/trac/original/ideanote
+$ trac-admin .
+trac-admin 1.2.3 ?????
+Trac ???????(?????)???
+Copyright (C) 2003-2018 Edgewall Software
+
+'?' ????? 'help' ???????????????
+        
+Trac [/var/Developer/trac/original/ideanote]> upgrade
+???????????????????????????????????
+
+TracError: ???????????????????????? InnoDB ??? NDB ???????????????????????????????????????????????????????????????: attachment, auth_cookie, cache, component, enum, milestone, node_change, permission, report, repository, revision, session, session_attribute, system, ticket, ticket_change, ticket_custom, version, wiki
+Trac [/var/Developer/trac/original/ideanote]> 
+}}}
+
+今度は InnoDB じゃないぞって怒られてしまった… 旧 DB は MyISAM だったってこと? まじかー
+
+ * [https://trac.edgewall.org/wiki/MySqlDb MySQL and its MySQLdb Python bindings]
+
+↑を参考に、MyISAM になっているテーブルを InnoDB に変換する。
+
+{{{
+MariaDB [trac_ideanote]> select table_name, engine from information_schema.tables where table_schema = database();
++-------------------+--------+
+| table_name        | engine |
++-------------------+--------+
+| attachment        | MyISAM |
+| auth_cookie       | MyISAM |
+| cache             | MyISAM |
+| component         | MyISAM |
+| enum              | MyISAM |
+| milestone         | MyISAM |
+| node_change       | MyISAM |
+| permission        | MyISAM |
+| report            | MyISAM |
+| repository        | MyISAM |
+| revision          | MyISAM |
+| session           | MyISAM |
+| session_attribute | MyISAM |
+| system            | MyISAM |
+| ticket            | MyISAM |
+| ticket_change     | MyISAM |
+| ticket_custom     | MyISAM |
+| version           | MyISAM |
+| wiki              | MyISAM |
++-------------------+--------+
+19 rows in set (0.02 sec)
+
+MariaDB [trac_ideanote]> alter table attachment engine = InnoDB;
+Query OK, 38 rows affected (0.13 sec)              
+Records: 38  Duplicates: 0  Warnings: 0
+
+MariaDB [trac_ideanote]> alter table auth_cookie engine = InnoDB;
+Query OK, 1 row affected (0.02 sec)                
+Records: 1  Duplicates: 0  Warnings: 0
+
+MariaDB [trac_ideanote]> alter table cache engine = InnoDB;
+Query OK, 1 row affected (0.01 sec)                
+Records: 1  Duplicates: 0  Warnings: 0
+
+...
+
+MariaDB [trac_ideanote]> alter table wiki engine = InnoDB;
+Query OK, 516 rows affected (0.15 sec)             
+Records: 516  Duplicates: 0  Warnings: 0
+
+MariaDB [trac_ideanote]> quit
+Bye
+}}}
+
+で、もう一度 upgrade を試すが…
+
+{{{
+Trac [/var/Developer/trac/original/ideanote]> upgrade
+アップグレードが失敗しました。問題を解消させてもう一度試してください。
+
+TracError: すべてのテーブルは照合順序として utf8_bin または utf8mb4_bin で作成されている必要があります。次のテーブルがその照合順序で作成されていません: attachment, auth_cookie, cache, component, enum, milestone, node_change, permission, report, repository, revision, session, session_attribute, system, ticket, ticket_change, ticket_custom, version, wiki
+Trac [/var/Developer/trac/original/ideanote]> 
+}}}
+
+今度は照合順序ですか…
+
+
+== メールサーバー移行 ==
+
+ひとまず先にメールサーバーの移行を済ませることにする。
+
+=== 旧サーバーのメールサーバーを停止 ===
+
+新しいメールサーバーのホスト名は `mail.harapeko.jp` にしてしまうことにする。そこで、旧サーバーの BIND のゾーン設定を以下の通りに変更した。
+
+{{{
+$TTL    1D
+@               IN      SOA     onaka.harapeko.jp. root.onaka.harapeko.jp. (
+                        2019050201      ; serial
+                        3600            ; refresh 1h
+                        900             ; retry 15m
+                        3600000         ; expiry 1000h
+                        3600            ; minimum 24h
+                )
+;
+                IN      NS      ns.harapeko.jp.
+                IN      MX      0 mail.harapeko.jp.
+mail            IN      MX      0 mail.harapeko.jp.
+onaka           IN      A       49.212.128.142
+ns              IN      A       49.212.128.142
+mail            IN      A       153.126.157.107
+www             IN      CNAME   onaka
+daiyokujo       IN      CNAME   onaka   ; for harapeko.asablo.jp/blog
+blog            IN      CNAME   onaka
+developer       IN      CNAME   onaka
+svn             IN      CNAME   onaka
+test            IN      CNAME   onaka
+}}}
+
+以前は MX レコードに `developer` を置いていたが、これを `mail` に変更。 `*` は削除し、 `(user id)@harapeko.jp` または `(user id)@mail.harapeko.jp` 以外は届かないことにする。そして `mail` を CNAME レコードから A レコードへ移し、新サーバーのアドレスを割り当てた。
+
+~~どうせこの設定が世に広まるまでに時間はかかるだろうから~~(←浸透いうなｗ)、まずはこいつを BIND に reload し、ついでに Postfix を落としてしまった。
+
+{{{
+#!console
+# service named reload
+# service postfix stop
+# service dovecot stop
+}}}
+
+※ 実際のところ、手元のルーターには割とすぐに設定が反映されました。いい時代になった…。
+
+=== SSL 証明書発行 ===
+
+Let's Encrypt を使用します。こいつの導入は git を使います。
+
+{{{
+#!console
+$ sudo apt install git
+
+...
+
+$ git clone https://github.com/certbot/certbot
+
+...
+
+$ cd certbot
+}}}
+
+とりあえず証明したいのは `mail.harapeko.jp` ドメインのみ。 Web ページを作成する予定はないので、 Apache の設定はスキップしてスタンドアローンで証明書のみ発行してしまいます。 80番ポートを listen できる必要があるので Apache は一旦止めます。
+
+{{{
+#!console
+$ sudo service apache2 stop
+$ ./certbot-auto certonly --standalone -d mail.harapeko.jp
+}}}
+
+途中色々と聞かれるので適当に応答します (!Yes/No とかメールアドレスとか)。最終的にこんなメッセージが出てきます。
+
+{{{
+IMPORTANT NOTES:
+ - Congratulations! Your certificate and chain have been saved at:
+   /etc/letsencrypt/live/mail.harapeko.jp/fullchain.pem
+   Your key file has been saved at:
+   /etc/letsencrypt/live/mail.harapeko.jp/privkey.pem
+   Your cert will expire on 2019-07-31. To obtain a new or tweaked
+   version of this certificate in the future, simply run certbot-auto
+   again. To non-interactively renew *all* of your certificates, run
+   "certbot-auto renew"
+}}}
+
+=== ユーザーアカウントの引き継ぎ ===
+
+[http://developer.harapeko.jp/trac/original/ideanote/wiki/HowTo/SakuraVpsSetup2#%E3%83%A6%E3%83%BC%E3%82%B6%E3%83%BC%E3%82%A2%E3%82%AB%E3%82%A6%E3%83%B3%E3%83%88%E3%81%AE%E5%BC%95%E3%81%8D%E7%B6%99%E3%81%8E 前回とほぼ同じことをやりました]。ついでにもはや使われていないいくつかのユーザーアカウントを抹消。
+
+ちなみに、ログインできないアカウントの登録は Ubuntu では以下のように、 `/sbin/nologin` ではなく `/usr/sbin/nologin` を指定する。
+
+{{{
+#!console
+$ sudo useradd -ms /usr/sbin/nologin toshiyuki.murayama
+}}}
+
+そして、これらのアカウントに変更するには、一旦 root を経由する必要がある。
+
+{{{
+#!console
+$ sudo su -
+# su -s /bin/bash toshiyuki.murayama
+
+(アカウントを借りてコマンドを発行したいだけであれば sudo -u を使えばいい)
+$ sudo -u toshiyuki.murayama any-command -options...
+}}}
+
+また、メールの受信方式を IMAP に変更していたので、今回はメールボックスの移行も行いました。
+
+{{{
+#!console
+$ su -s /bin/bash toshiyuki.murayama
+$ cd
+$ tar -cJvf toshiyuki.murayama.Maildir.tar.xz Maildir
+
+...
+
+$ exit
+$ sudo mv /home/toshiyuki.murayama.Maildir.tar.xz .
+$ rsync -az toshiyuki.murayama.Maildir.tar.xz mitsuko.seki.Maildir.tar.xz -e ssh mail.harapeko.jp:~/
+$ ssh mail.harapeko.jp
+$ sudo chown toshiyuki.murayama:toshiyuki.murayama toshiyuki.murayama.Maildir.tar.xz
+$ sudo mv toshiyuki.murayama.Maildir.tar.xz /home/toshiyuki.murayama/
+$ sudo su -
+# su -s /bin/bash toshiyuki.murayama
+$ cd
+$ tar -xJvf toshiyuki.murayama.Maildir.tar.xz
+}}}
+
+(当然他のアカウントの分も…) (と言っても実質使用実績のあるアカウントのみにしましたが)
+
+=== いろいろとインストール ===
+
+Postfix, Cyrus SASL, dovecot 辺りを一気にインストールします。多分こんなんでいいはず…
+
+{{{
+#!console
+$ sudo apt install postfix dovecot-imapd dovecot-lmtpd dovecot-mysql libsasl2-modules-sql
+}}}
+
+なんかこんな画面が出てきました…。
+
+[[Image(fig-postfix-configuration-type.png, 800px)]]
+
+とりあえずこのまま `Internet Site` を選んでみることにします。
+
+次に「System mail name」を聞かれますが、これは素直に `harapeko.jp` とします。
+
+※ Cyrus SASL は `sasl2-bin` でした… (汗 後から以下を実行しました (汗
+
+{{{
+#!console
+$ sudo apt install sasl2-bin
+}}}
+
+=== IMAP4 設定 ===
+
+dovecot の設定は概ね今までどおりですが、前回が POP3 でその後 IMAP4 に切り替えて、結果設定内容がごっちゃになっているので改めて整理します。
+
+`/etc/dovecot/dovecot.conf` は多分そのままで大丈夫です。 `listen` もコメントアウトのままで良いんじゃないかな。 `protocols` は `dovecot-imapd` と `dovecot-lmtpd` をインストールしたことによって、 `/usr/share/dovecot/protocols.d/` の下に `imapd.protocol` と `lmtpd.protocol` ができていて、これらで設定してくれています。
+
+`/etc/dovecot/conf.d` の下は以下の通り。
+
+ * `10-auth.conf`
+
+{{{
+# 以下はそのまま
+auth_mechanisms = plain
+
+# 以下はコメントアウト
+#!include auth-system.conf.ext
+
+# 以下はコメントハッシュを外す
+!include auth-sql.conf.ext
+}}}
+
+ * `10-mail.conf`
+
+{{{
+# mbox ではなく maildir 形式に
+#mail_location = mbox:~/mail:INBOX=/var/mail/%u
+mail_location = maildir:~/Maildir
+}}}
+
+ * `10-master.conf`
+
+{{{
+# IMAP はポートを潰して、 IMAPS (SSL/TLS) だけを許容する
+service imap-login {
+  inet_listener imap {
+    #port = 143
+    port = 0
+  }
+  inet_listener imaps {
+    port = 993
+    ssl = yes
+  }
+
+# ...
+
+}
+}}}
+
+ * `10-ssl.conf`
+
+{{{
+#ssl = no
+ssl = yes
+
+#ssl_cert = </etc/dovecot/dovecot.pem
+ssl_cert = </etc/letsencrypt/live/mail.harapeko.jp/cert.pem
+#ssl_key = </etc/dovecot/private/dovecot.pem
+ssl_key = </etc/letsencrypt/live/mail.harapeko.jp/privkey.pem
+
+#ssl_ca = 
+ssl_ca = </etc/letsencrypt/live/mail.harapeko.jp/chain.pem
+}}}
+
+それから、 `/etc/dovecot/dovecot-sql.conf.ext` を以下の通りに修正する。
+
+{{{
+driver = mysql
+
+connect = host=localhost dbname=mailusers user=mailusers password=パスワード
+
+#default_pass_scheme = MD5
+default_pass_scheme = plain
+
+password_query = select userid as username, domain, plain_passwd as password from users where userid = '%n' and domain in ('%d', 'mail.harapeko.jp')
+user_query = select home, uid, gid from users where userid = '%n' and domain in ('%d', 'mail.harapeko.jp')
+}}}
+
+`default_pass_scheme` のデフォルト値は `MD5` になっている。これを明示的に変更しないと `password_query` で取得した `password` を MD5 ハッシュされたものとして評価する。本当はそのほうが嬉しいんだが、 SASL の auxprop がパスワードをハッシュ化することに対応していないので、残念だが `plain` としている。
+
+`password_query`, `user_query` で検索条件に指定しているドメイン名の `%d` は、ログイン時のユーザー名を `user@mail.harapeko.jp` のような形式で指定する場合の `@` より後ろの部分が渡される。従来このユーザー名の `@` 以降を省略してログインした場合でもメールサーバーのドメイン名が渡されていたはずなのだが、現行では空文字が渡されてしまう模様。メーラー側の設定は極力変更しないで済むようにしたかったので、 `user` のままでも `user@mail.harapeko.jp` とした場合でも許容されるよう、 SQL を若干工夫している。
+
+とりあえずここまでで dovecot を再起動。
+
+{{{
+#!console
+$ sudo service dovecot restart
+}}}
+
+~~これでとりあえず受信はできるようになったかなと Thunderbird から繋いでみたが、受信できず…。続きは明日以降に。~~ 以上の設定でとりあえず IMAP4 による閲覧はできるようになった。
+
+=== SASL 設定 ===
+
+[https://chee-s.net/ubuntu14-04postfixdovecotsasl%E3%81%A7smtp%E8%AA%8D%E8%A8%BC こちらのサイト]を参考にさせていただきました。
+
+設定ファイルは `/etc/default/saslauthd` 。
+
+{{{
+# 自動起動を有効にしておく
+#START=no
+START=yes
+
+# 以下の変数の内容を確認しておく (そのままでいい)
+OPTIONS="-c -m /var/run/saslauthd"
+}}}
+
+`OPTIONS` 変数に指定されている `-m` オプションのパスは存在するディレクトリでなければならない。古いバージョンの Ubuntu ではこれが存在しないということがあったらしいが、今回の場合はちゃんと存在していた。
+
+`smtpd.conf` は `/etc/postfix/sasl/` の下に作ればいいらしい。内容は前回と同じでいいんじゃないかな。
+
+次に `/etc/postfix/main.cf` を編集。
+
+{{{
+# 
+# SASL の設定 (追加)
+smtpd_sasl_auth_enable = yes
+smtpd_sasl_security_options = noanonymous   
+smtpd_sasl_local_domain = $myhostname
+
+# SSL/TLS 鍵の設定
+#smtpd_tls_cert_file=/etc/ssl/certs/ssl-cert-snakeoil.pem
+#smtpd_tls_key_file=/etc/ssl/private/ssl-cert-snakeoil.key
+smtpd_tls_cert_file=/etc/letsencrypt/live/mail.harapeko.jp/cert.pem
+smtpd_tls_key_file=/etc/letsencrypt/live/mail.harapeko.jp/privkey.pem
+smtpd_tls_CAfile=/etc/letsencrypt/live/mail.harapeko.jp/chain.pem
+
+# TLS を使用する (変更なし)
+smtpd_use_tls=yes
+smtpd_tls_session_cache_database = btree:${data_directory}/smtpd_scache
+smtp_tls_session_cache_database = btree:${data_directory}/smtp_scache
+
+# TLS 認証のみを使用 (追加)
+smtpd_tls_auth_only=yes
+
+# リレーの許可設定 (変更なし)
+smtpd_relay_restrictions = permit_mynetworks permit_sasl_authenticated defer_unauth_destination
+
+# ホスト名 (変更)
+#myhostname = ik1-314-17353.vs.sakura.ne.jp
+myhostname = mail.harapeko.jp
+
+# オリジン (変更なし)
+myorigin = /etc/mailname
+
+# 自ホスト宛のメールとして処理するドメイン名 (変更)
+#mydestination = $myhostname, harapeko.jp, ik1-314-17353.vs.sakura.ne.jp, localhost.vs.sakura.ne.jp, localhost
+mydestination = $myhostname, localhost.$mydomain, localhost, $mydomain
+
+# 自ホストネットワークの設定 (変更)
+mynetworks_style = host
+#mynetworks = 127.0.0.0/8 [::ffff:127.0.0.0]/104 [::1]/128
+
+# メールボックスの設定 (追加)
+home_mailbox = Maildir/
+
+# メール 1通あたりのサイズ制限 (追加)
+message_size_limit = 10485760
+}}}
+
+Postfix は 2.10 以降リレーの許可設定ルールが変更になった (今回入っているのは 3.1.0)。以前は以下のように設定していたが、
+
+{{{
+smtpd_recipient_restrictions = permit_mynetworks, permit_sasl_authenticated, reject_unauth_destination
+}}}
+
+2.10 以降では `smptd_relay_restrictions` を設定し、 Reject するための特別なルールを追加したいときに `smptd_recipient_restrictions` を追加する、というルールに変更された。 `smtpd_relay_restrictions` を設定しないとメールの送信自体が常に失敗するようになる模様。
+
+`myorigin` に指定されているパスのファイルには `harapeko.jp` とだけ書かれていた。恐らく Postfix インストール時に聞かれた「System mail name」がここに書き込まれたものと思われる。
+
+なお、**インストール時の自動生成では `home_mailbox` の設定が含まれておらず、そのままだと他所からのメールがどこにも保存されない。必ず設定を追加する必要がある。**
+
+~~TODO:~~ なんかよさげなのであとで[https://blog.dshimizu.jp/article/215 これ]を試してみる。 ←試してみました。すべて解決した。
+
+ここまでの設定に加えて以下の変更を追加。
+
+ * `/etc/postfix/main.cf`
+{{{
+# SASL settings
+smtpd_sasl_auth_enable = yes
+smtpd_sasl_type = dovecot         # <- 追加
+smtpd_sasl_path = private/auth    # <- 追加
+smtpd_sasl_security_options = noanonymous
+smtpd_sasl_local_domain = $myhostname
+}}}
+
+SASL も dovecot にやらせる時代が来てたらしい。ひぇ〜 (おっさんっぽい反応)
+
+ * `/etc/dovecot/conf.d/10-master.conf`
+{{{
+# 以下は蛇足 (pop3 は動いてほしくないので徹底的に停止)
+service pop3-login {
+  inet_listener pop3 {
+    port = 0
+    #port = 110
+  }
+  inet_listener pop3s {
+    port = 0
+    #port = 995
+    #ssl = yes
+  }
+}
+
+# ...
+
+service auth {
+  # ...
+
+  # 以下はそのまま
+  unix_listener auth-userdb {
+    #mode = 0666
+    #user = 
+    #group = 
+  }
+
+  # 以下はコメントアウトされていたのを外し、 user, group の定義を追加
+  # Postfix smtp-auth
+  unix_listener /var/spool/postfix/private/auth {
+    mode = 0666
+    user = postfix
+    group = postfix
+  }
+}}}
+
+これで postfix と dovecot を restart したらメール送信も無事動くようになりました。よかった…。
+
+TODO: (あとで調査) SASL も dovecot に任せられるということは、パスワード比較時にハッシュ関数をかます用にすればパスワードをハッシュ値で持てるようになるということなのでは…
+
+…サイズオーバーになってしまったので、[wiki:HowTo/SakuraVpsSetup3b パート2] に続く。