uechi.io

Building mozc for macOS

2022-05-19T15:00:00.000Z

Mozc is an open-source counterpart of Google Japanese Input, a Japanese input method developed by Google.

Build environment

$ sw_vers
ProductName:	macOS
ProductVersion:	12.6.1
BuildVersion:	21G217

$ xcodebuild -version
Xcode 14.1
Build version 14B47b

Build mozc

# Install dependencies
brew install qt@5 bazel packages

# Clone the repository
git clone https://github.com/google/mozc -b master --single-branch --recursive

# Build
cd mozc/src
MOZC_QT_PATH=/usr/local/opt/qt@5 ANDROID_NDK_HOME= bazel build package --config macos -c opt

# Install
open bazel-bin/mac/Mozc.pkg
reboot

国内のルート認証局とACME対応状況

2022-03-04T06:00:00.000Z

本記事と関係ないが在日ウクライナ大使館に寄付をした。なぜかというと、非常にお世話になっているFSNotesの開発者が先月末から続いているウクライナ侵攻によって OSS 活動を無期限停止せざるを得ない状況に追い込まれており、少しでも支援をしたかったからだ。在日ウクライナ大使館のサイトにアクセスできない状態が続いているため、公式ツイートから寄付先を参照すると良い。

概要

まず断っておきたいが、ルート認証局のせいで子孫 SSL 証明書の運用に問題が生じたことはWoSignやTrustCor(TrustCor は少し毛色が違うが)の例を除いてほとんどない。わざわざ高額な手数料を支払うより、同じセキュリティ強度の証明書を無料で提供してくれる Let's Encrypt (ISRG)や ZeroSSL (Sectigo) をありがたく使わせていただく、そういう意識で問題ないのである。

国内唯一のルート認証局は SECOM が所有

Security Communication RootCA1 (crt.sh)
Security Communication RootCA2 (crt.sh)

個人が取得可能かつ自動更新に対応しているワイルドカード証明書の年間料金

金額は 2022 年 3 月現在。

FujiSSL (SSLStore) 19,800 円
FujiSSL 20,350 円
JPRS (Gonbei Domain) 16,500 円
JPRS (さくらの SSL) 18,150 円クレカ不可(請求書払いのみ)
JPRS (ラット) 15,000 円
JPRS (JPDirect) 47,960 円

FujiSSL、JPRS のルート認証局はどちらも Security Communication RootCA2 だ。

FujiSSL は独自の自動更新ツールを提供しているが、ホストに PHP や Apache をセットアップしなければならず、HTTP サーバーを内蔵している lego や certbot と比べてやや煩雑な印象は拭えない。独自方式なので、当然 ACME 対応クライアントは使えない。

ACME

RFC 8555 - Automatic Certificate Management Environment (ACME) は自動化されたドメイン認証 SSL 証明書発行手続きを標準化しようとする一連の努力の成果である。

JPRS が ACME に対応

タイミングの良いことに、JPRS が 2022/3/2 から ACME に対応した。

JPRS サーバー証明書認証局証明書ポリシーに目を通してどの認証方式に対応しているのか確認しよう。

3.2.2.4.7 DNS Change

DNS ゾーンに_acme-challenge TXT レコードを置いてドメインの所有権を確認する方式。一番簡単で制約が少ない。

3.2.2.4.18 Agreed-Upon Change to Website v2

HTTP/HTTPS サーバーを立ち上げて.well-known/pki-validation以下に置いたチャレンジトークンを PKI 側が確認する方式。しかし、

2021 年 11 月 18 日以降に発行する証明書について、先頭ラベルが"*"（ワイルドカード）の FQDN に対してこの方法を適用外とする。

ワイルドカード証明書の場合この方式が使えない。

3.2.2.4.19 Agreed-Upon Change to Website - ACME

先頭ラベルが"*"（ワイルドカード）の FQDN に対してこの方法を適用外とする

同上

4.2.4 CAA レコードの確認

本 CA は、RFC 6844 に従い、申請情報の審査時に CAA レコードを確認する。CAA レコードに記載する本 CA のドメインは「jprs.jp」とする。

DNS ゾーンに CAA レコードを置いて内容をjprs.jpにする必要がある。

ACME クライアント

Go 製の ACME クライアントlegoは DNS-01 認証に対応しているため、JPRS ACME 証明書の発行がスムーズにできる可能性がある。

コマンド例(執筆時点では動作しない)
CLOUDFLARE_DNS_API_TOKEN=<token> \
lego \
  --server 'https://acme.amecert.jprs.jp/DV/getDirectory' \
  --eab --kid 'NUtfiBgcWr9oGCWmF8PQd2d499T7WrgqsnkxIOAPASE' --hmac 'Shn8-aYwhUw0esMLnqJL_o9Fg_BszfAgrRJjOtGQGGY' \
  --accept-tos \
  --path ./certs \
  --dns cloudflare \
  --email '[email protected]' \
  --domains '*.example.jp' \
  run

nginx-proxy/acme-companionは、ACME_CA_URI環境変数を指定することで JPRS に対応できるが、HTTP-01 認証に依存しているためワイルドカード証明書は発行できないだろう。今後対応する可能性はある。

docker run -d \
  --name your-proxied-app \
  -e "VIRTUAL_HOST=subdomain.example.jp" \
  -e "LETSENCRYPT_HOST=subdomain.example.jp" \
  -e "ACME_CA_URI=https://acme.amecert.jprs.jp/DV/getDirectory" \
  nginx

JPRS に問い合わせたところ、ACME の利用には JPRS と指定事業者両方の対応が必要になるそうだ。現在どの指定事業者も対応していないため、残念ながらもう少し待たなくてはならない。今後 ACME 経由で証明書の発行を試す機会があれば記事を更新する。

解剖学アトラス

2021-06-07T15:00:00.000Z

いつもの幅優先探索癖。アトラスの用途は美術解剖と消化器系の構造理解。

ノート

肉眼解剖学はアプローチの違いから局所解剖学と系統解剖学に分けられる。

体表解剖は解剖学的構造と体表の特徴との関連を視覚的に理解するための節。微視的レベルで観察する組織学—又の名を顕微鏡解剖学—が肉眼解剖学に対置する。

他にも、胚からの成長過程に着目する発生学、部位の機能を明らかにする生理学、物質代謝の機序に興味をおく生化学等が周辺にある。

テキスト、アトラス、カラーアトラスが一冊ずつあれば事足りそう。個人的には『グレイ解剖学』、『ネッター解剖学アトラス』、『解剖学カラーアトラス』。余裕があれば『プロメテウス解剖学アトラス胸部／腹部・骨盤部』。

教科書

グレイ解剖学原著第 4 版

2019（原著 2018）

腹膜と腸間膜の節に限ってみても、筆者の「絶対にわからせる」という強い意志を感じさせる説明によって圧倒的にわからされてしまう
各章は概観、局所解剖、体表解剖、臨床症例から構成されている、肉眼解剖学に的を絞った本
腹腔・腹膜・腸間膜関連はプロメテウスより詳しい（特に一部腸管が二次的に腹膜後器官になる過程等）
Meckel 憩室の臨床症例が写真とともに載っている

アトラス

ネッター解剖学アトラス原著第 6 版

2016（原著 2014）

元々ノバルティスの販促のために描かれたイラストをまとめ上げたもの
組織と筋肉、血管、神経がまとまって描かれており、位置関係がわかりやすい
断面解剖の CT と図譜両方がある（プロメテウスは CT のみ）
グラントと比べてカラフル

グラント解剖学図譜第 7 版

2016（原著 2013）

イラストは立体感を把握しやすいタッチ

プロメテウス解剖学アトラス解剖学総論／運動器系第 3 版

2017（原著 2014）

全身の骨格から筋肉、血管、神経、リンパ系が一通り概説されている
ポージングの参考になる関節力学の知見が豊富
消化器系は解説なし
病例と診断方法、その施術指南が特徴

プロメテウス解剖学アトラス口腔・頭頸部第 2 版

2018（原著 2015）

脳、頭部、口腔、頸部に絞って解説
口腔から食道、胃までの部分に関する記述が非常に豊富
歯科臨床を意識した紙面構成
口腔・頭頸部以外の部位についての説明もざっくりされている

プロメテウス解剖学アトラス胸部／腹部・骨盤部第 3 版

2020（原著 2015）

胸部から腹部にかけて発生学・解剖学の図説が中心
食道の筋の機能的構造の図解など、グレイ解剖学には載っていない内容も多い

プロメテウス解剖学コアアトラス第 3 版

2016

プロメテウス 3 巻を一冊にまとめた本で、部位ごとに内容が集約されている
胃の解説に 2 ページしか割かれていないなど、情報が広く浅い

カラーアトラス

解剖学カラーアトラス第 8 版 A Photographic Atlas

2016（原著 2016）

ほとんどがリアルな解剖写真
写真と共に図解イラストが対照されており理解が捗る
図とアノテーションしか無いため、機能理解は他の本に頼る必要がある
ユニークな点として、胎児の矢状断面図が掲載されている

人体解剖カラーアトラス原著第 8 版 Clinical Atlas of Human Anatomy

こちらも基本的にアノテーションのみだが、注釈的説明が若干多め
解剖学カラーアトラスと比べて 140 ページ少ない
腹膜のヒダの写真はこちらにしか載っていない

アプリ

Human Anatomy Atlas

https://apps.apple.com/jp/app/human-anatomy-atlas-2021/id1117998129?l=en

毎年 11 月から 12 月頃にセールをしている

Web サイト

1 年生の解剖学辞典 - https://anatomy1.net/
医学生の教科書 - https://store.isho.jp/

知見

食道は腰椎と胸大動脈の前方、気管と心臓の後方を通る
横隔膜のすぐ上方に心臓、すぐ下方に胃がある
食道の正常な内径は 20mm
食道には縦走ヒダが走っているが、Z 線を超えると胃底となり模様が変化する
噴門括約筋は横隔膜食道裂孔の筋肉が代行しており、ジグザグ状であるので Z 線と呼ばれている（リング状に筋肉が縮まるのではなく、ジグザグ状の縦筋が縮まることで噴門を締め上げている）→ プロメテウス胸部 p. 168
心臓はわずかに左にずれているため、左肺は右肺より小さい
憩室といえば大腸だと思っていたが、食道にも発生する → プロメテウス胸部 p. 169
「滑り説」筋収縮のメカニズムの学説のひとつ

用語

翻転（ほんてん） - 組織をひっくりかえすこと
腋窩（えきか）
網嚢孔（もうのうこう）
横紋筋（おうもんきん）と平滑筋（へいかつきん）
蠕動運動（ぜんどう—）

手のひらサイズのオイルランタン

2021-06-07T15:00:00.000Z

UCO キャンドルランタンを改造して手のひらサイズのオイルランタンを作った。

特徴

手のひらサイズのオイルランタン
ロウソクより大きい炎
暗所でもオイル残量が見やすい
揺らしてもオイルが漏れない
瓶を入れたまま仕舞える

材料

ほとんどのパーツはドラッグストアやホームセンターで調達できる。

大正漢方胃腸薬（30 ml）
C タイプアンカー M8（ステンレス）
袋ナット M8（ステンレス）
ハードロックボルト M8（ステンレス）
ゴムパッキン直径 28x 内径 23x 厚さ 2mm（耐熱ではないけど今のところ耐えている）
3mm グラスファイバー芯
隙間テープ（ダイソー）

手順

M8 アンカーのネジ部分を金属ノコギリで切断して断面をヤスリで整える
キャップに印字されているラベルをヤスリで削りとる（任意）
キャップの裏に張り付いている液漏れ防止シールを剥がす（熱で溶解するため）
キャップの内側からドリルで穴をあけ、棒やすりでネジが入るサイズまで広げる
ネジをキャップに差し込む
ゴムパッキンをキャップの裏にはめ込む
ハードロックボルトでネジの両側を固定する（レンチ等を使用して強く固定する）
芯をボルトの中に通す（テープで芯の先を固定するとやりやすい）
袋ネジで封をする
切断した隙間テープをランタンの底面キャップに巻きつける
瓶をランタンに差し込み底面キャップを締める

使用法

パラフィンオイルを 4/5 ほど入れてキャップを締め、オイルが芯の先に浸透するまで 15 分以上放置する
芯の焦げている部分を 1mm 前後、それ以外の部分を 1mm ほど露出させてほぐす
芯に火を付けてホヤを上げる
使わないときはオイルを抜く（オイルが入ったままだと毛細管現象で染み出してくる）

🔥 燃焼時間

3-4cm の炎で 2-3 時間
最大 3 時間 47 分

製作メモ

UCO キャンドルランタンの寸法 (mm)

筒の経	筒の長さ	筒口（上）	土台経	キャップ内径	筒露出長
35.0	92.45	20.0	32.5	41.7	9.0

やってみたい

内径が 18 ～ 21、太さが 2mm 程度で耐油性のあるパッキンを試す
M8 ボルトが通り、外径がガラス内径に近い低めの瓶を探す
ガスケットで密封?

失敗例: M6 ボルトは微妙

ネットで広く紹介されている M6 ボルトを使う方法だと、炎がロウソク並に小さくなってしまった。あまりオススメできない。

Distill Thumbnail from .afphoto and .afdesign

2021-02-14T04:30:00.000Z

Nextcloud does not support generating thumbnails from Affinity Photo and Affinity Designer. Fine, I'll do it myself!

Digging Binary

Glancing at .afphoto and .afdesign in Finder, I noticed that it has a QuickLook support and an ability to show the thumbnail image. Meaning there's a chance that these files contain pre-generated thumbnail images somewhere inside its binaries, meaning I don't have to reverse-engineer their format from ground up.

To verify this, I wrote a piece of Node.js script to seek for PNG blob inside an .afphoto/.afdesign file and save it as a normal PNG file.

In the 11.2.1 General of the PNG spec, they stated a valid PNG image should begin with a PNG signature and end with an IEND chunk.

A valid PNG datastream shall begin with a PNG signature, immediately followed by an IHDR chunk, then one or more IDAT chunks, and shall end with an IEND chunk. Only one IHDR chunk and one IEND chunk are allowed in a PNG datastream.

Conveniently, it is also guaranteed that there should be only one IEND chunk in a PNG file, so greedy search would just work.

gen_thumbnail.js
const fs = require("fs");

// png spec: https://www.w3.org/TR/PNG/
const PNG_SIG = Buffer.from([137, 80, 78, 71, 13, 10, 26, 10]);
const IEND_SIG = Buffer.from([73, 69, 78, 68]);

function extractPngBlob(buf) {
  const start = buf.indexOf(PNG_SIG);
  const end = buf.indexOf(IEND_SIG, start) + IEND_SIG.length * 2; // IEND + CRC
  return buf.subarray(start, end);
}

function extractThumbnail(input, output) {
  const buf = fs.readFileSync(input);
  const pngBlob = extractPngBlob(buf);
  fs.writeFileSync(output, pngBlob);
}

extractThumbnail(process.argv[2], process.argv[3] || "output.png");

That's right. This script just do indexOf on a Buffer and distill a portion of which starts with PNG signature and ends with IEND (+ CRC checksum).

CRC (Cyclic Redundancy Code)

You may have wondered about IEND_SIG.length * 2 part. It was to include 32-bit CRC (Cyclic Redundancy Code) for IEND to the resulting blob.

Here, the byte-length of IEND chunk and its CRC checksum are coincidentally the same (4 bytes), so I just went with that code.

Now I can generate a thumbnail image from arbitrary .afphoto and .afdesign file. Let's move on delving into Nextcloud source code.

Tweaking Nextcloud

At this point, all I have to do is to rewrite the above code in PHP and make them to behave as a Nextcloud Preview Provider.

lib/private/Preview/Affinity.php
<?php

namespace OC\Preview;

use OCP\Files\File;
use OCP\IImage;
use OCP\ILogger;

class Affinity extends ProviderV2 {
	public function getMimeType(): string {
		return '/application\/x-affinity-(?:photo|design)/';
	}

	public function getThumbnail(File $file, int $maxX, int $maxY): ?IImage {
		$tmpPath = $this->getLocalFile($file);

		$handle = fopen($tmpPath, 'rb');
		$fsize = filesize($tmpPath);
		$contents = fread($handle, $fsize);
		$start = strrpos($contents, "\x89PNG");
		$end = strrpos($contents, "IEND", $start);
		$subarr = substr($contents, $start, $end - $start + 8 );

		fclose($handle);
		$this->cleanTmpFiles();

		$image = new \OC_Image();
		$image->loadFromData($subarr);
		$image->scaleDownToFit($maxX, $maxY);

		return $image->valid() ? $image : null;
	}
}

Also make sure my component to be auto-loaded on startup.

lib/private/PreviewManager.php
@@ -363,6 +365,8 @@
 		$this->registerCoreProvider(Preview\Krita::class, '/application\/x-krita/');
 		$this->registerCoreProvider(Preview\MP3::class, '/audio\/mpeg/');
 		$this->registerCoreProvider(Preview\OpenDocument::class, '/application\/vnd.oasis.opendocument.*/');
+		$this->registerCoreProvider(Preview\Affinity::class, '/application\/x-affinity-(?:photo|design)/');

 		// SVG, Office and Bitmap require imagick
 		if (extension_loaded('imagick')) {

lib/composer/composer/autoload_static.php
@@ -1226,6 +1226,7 @@
         'OC\\OCS\\Result' => __DIR__ . '/../../..' . '/lib/private/OCS/Result.php',
         'OC\\PreviewManager' => __DIR__ . '/../../..' . '/lib/private/PreviewManager.php',
         'OC\\PreviewNotAvailableException' => __DIR__ . '/../../..' . '/lib/private/PreviewNotAvailableException.php',
+        'OC\\Preview\\Affinity' => __DIR__ . '/../../..' . '/lib/private/Preview/Affinity.php',
         'OC\\Preview\\BMP' => __DIR__ . '/../../..' . '/lib/private/Preview/BMP.php',
         'OC\\Preview\\BackgroundCleanupJob' => __DIR__ . '/../../..' . '/lib/private/Preview/BackgroundCleanupJob.php',
         'OC\\Preview\\Bitmap' => __DIR__ . '/../../..' . '/lib/private/Preview/Bitmap.php',

lib/composer/composer/autoload_classmap.php
@@ -1197,6 +1197,7 @@
     'OC\\OCS\\Result' => $baseDir . '/lib/private/OCS/Result.php',
     'OC\\PreviewManager' => $baseDir . '/lib/private/PreviewManager.php',
     'OC\\PreviewNotAvailableException' => $baseDir . '/lib/private/PreviewNotAvailableException.php',
+    'OC\\Preview\\Affinity' => $baseDir . '/lib/private/Preview/Affinity.php',
     'OC\\Preview\\BMP' => $baseDir . '/lib/private/Preview/BMP.php',
     'OC\\Preview\\BackgroundCleanupJob' => $baseDir . '/lib/private/Preview/BackgroundCleanupJob.php',
     'OC\\Preview\\Bitmap' => $baseDir . '/lib/private/Preview/Bitmap.php',

Voilà! Now I can see beautiful thumbnails for my drawings in Nextcloud web interface.

This is exactly why I love FOSS. It allows me to materialize any niche things I want in the FOSS without bothering its developers. This fact not only gives me confidence that I can control the functionality of the software, but it also makes me have more trust in the developers for giving me such freedom to make changes to their software.

Finalized Solution

Enough talking, I've pushed my Nextcloud Docker setup with the above patches included on GitHub. You can see the actual patch here. Note that it also contains the patches for PDF thumbnail generator described below, and this particular patch may pose security implications because of the usage of Ghostscript against PDF.

Bonus: PDF thumbnail generator

Install ghostscript on your server to make it work.

lib/private/Preview/PDF.php
<?php

namespace OC\Preview;

use OCP\Files\File;
use OCP\IImage;

class PDF extends ProviderV2 {
	public function getMimeType(): string {
		return '/application\/pdf/';
	}

	public function getThumbnail(File $file, int $maxX, int $maxY): ?IImage {
		$tmpPath = $this->getLocalFile($file);
		$outputPath = \OC::$server->getTempManager()->getTemporaryFile();

		$gsBin = \OC_Helper::findBinaryPath('gs');
		$cmd = $gsBin . " -o " . escapeshellarg($outputPath) . " -sDEVICE=jpeg -sPAPERSIZE=a4 -dLastPage=1 -dPDFFitPage -dJPEGQ=90 -r144 " . escapeshellarg($tmpPath);
		shell_exec($cmd);

		$this->cleanTmpFiles();

		$image = new \OC_Image();
		$image->loadFromFile($outputPath);
		$image->scaleDownToFit($maxX, $maxY);

		unlink($outputPath);

		return $image->valid() ? $image : null;
	}
}

[].map(parseInt)

2021-02-14T02:30:00.000Z

Fun fact: [0xa, 0xa, 0xa].map(parseInt) yields [10, NaN, 2].

Why

parseInt(0xa, 0, [0xa, 0xa, 0xa]);

The second argument is 0 so the first argument going to be treated as decimal number becoming 10.

parseInt(0xa, 1, [0xa, 0xa, 0xa]);

The second argument is 1 which is invalid as a radix, so the result ends up with NaN.

parseInt(0xa, 2, [0xa, 0xa, 0xa]);

The second argument is 2 meaning the first argument going to be handled as a binary number. 0xa is 10 in binary, which results in 2 in decimal form.

最小送金回数で精算する割り勘アルゴリズム

2021-02-13T15:00:00.000Z

大人数で旅行を楽しんだあとに待っているのは耐え難き精算・送金処理だ。次回から楽をするためにも、送金回数を最小化する制約で精算表を作る方法を考えよう。

tl;dr

アイディアは「最も支払わなかった人が最も支払った人に払えるだけ払う ⇢ 債権を再計算して繰り返す」

全員の出費を算出（払い過ぎは正、払わなさすぎは負の数）
降順でソート（出費過多が先頭）
リストの最後（最大債務者, 出費=L）がリストの最初（最大債権者, F）にを支払ってバランス(負債)を再計算
全員のバランスが 0 になるまで 2-3 を繰り返す

実験

実際にコードを書いて本当に望んでいる結果が得られるのかを検証する。

split-bill.js
const history = [
  {
    amount: 121,
    payer: "A",
    involves: ["A", "B", "C"],
  },
  {
    amount: 98,
    payer: "B",
    involves: ["A", "B", "C"],
  },
  {
    amount: 10,
    payer: "C",
    involves: ["A", "B", "C"],
  },
  {
    amount: 10,
    payer: "C",
    involves: ["A", "B"],
  },
  {
    amount: 50,
    payer: "C",
    involves: ["A"], // meaning C lent A 50
  },
];

// calculate balance sheet
const init = { balance: 0, consumption: 0 };
Map.prototype.fetch = function (id) {
  return (
    this.get(id) || this.set(id, Object.assign({ name: id }, init)).get(id)
  );
};

const data = new Map();

for (const { payer, amount, involves } of history) {
  const record = data.fetch(payer);
  record.balance += amount;
  const debt = Math.ceil(amount / involves.length);
  // actual payer should not owe extra debt coming from rounded up numbers
  const payerDebt = amount - debt * (involves.length - 1);
  for (const debtor of involves.map((i) => data.fetch(i))) {
    const cost = Math.round(amount / involves.length);
    debtor.balance -= cost;
    debtor.consumption += cost;
  }
}

console.log(data);

// calculate transaction table
const transaction = [];
let paidTooMuch, paidLess;
while (true) {
  for (const [_, tbl] of data) {
    if (tbl.balance >= (paidTooMuch?.balance || 0)) {
      paidTooMuch = tbl;
    }
    if (tbl.balance <= (paidLess?.balance || 0)) {
      paidLess = tbl;
    }
  }

  if (paidLess.balance == 0 || paidTooMuch.balance == 0) break;

  const amount = Math.min(paidTooMuch.balance, Math.abs(paidLess.balance));

  transaction.push({
    sender: paidLess.name,
    receiver: paidTooMuch.name,
    amount,
  });

  paidTooMuch.balance -= amount;
  paidLess.balance += amount;
}

console.log("Settled");

console.log("\n# Transaction table");
for (const ev of transaction) {
  console.log(`${ev.sender} owes ${ev.receiver} ¥${ev.amount}`);
}

console.log("\n# History");
for (const { payer, amount, involves } of history) {
  if (involves.length === 1) {
    console.log(`${payer} lent ¥${amount} to ${involves[0]}`);
  } else {
    console.log(`${payer} paid ¥${amount} for ${involves.join(", ")}`);
  }
}

console.log("\n# Expenses");
for (const [_, { name, consumption }] of data) {
  console.log(`${name} virtually paid ¥${consumption} in total`);
}

historyに支払い履歴を書き込んで実行すると、「送金表」「履歴」「実質支払総額」が得られる。

# Transaction table

A owes B ¥10
C owes B ¥6

# History

A paid ¥121 for A, B, C
B paid ¥98 for A, B, C
C paid ¥10 for A, B, C
C paid ¥10 for A, B
C lent ¥50 to A

# Expenses

A virtually paid ¥131 in total
B virtually paid ¥81 in total
C virtually paid ¥76 in total

旅行中、A と B は 1 回、C は 3 回支払いを建て替えた。そのうち 3 回は普通の割り勘だが、他 2 回はそれぞれ「C が A と B の分を建て替えた」「C が A の分を建て替えた(=C が A に金を貸した)」である。

このようなケースで一件ずつナイーブに精算しようとすると、合計 12 回のお金のやり取りが発生することになる。しかし負債を同額の債権で打ち消す操作を繰り返して最適化した結果、たった 2 回お金のやり取りをするだけで全員分の精算を完了できることがわかった。

プログラムに落とし込むことができたら、あとはスプレッドシートのマクロにするなりスマホのアプリにするなり自由だ。面倒なことは全部コンピューターにやらせよう！

点字の表現力

2021-02-12T16:00:00.000Z

「n 種類の文字を表現できる点字を作らないといけなくなったらどうしよう」

例としてドットが 3 つの点字を用意した。

組み合わせ数は 3P3 + 3P2 + 3P1
2 の n 乗っぽい
べき集合の濃度？
2 進数のブール配列と考えればわかりやすくなった
ということは X 個の表現をするために必要なブール配列の長さは
例えばアルファベットなら 6 ドットの点字で表現できる
だから英語の点字は 6 つの点で構成されている
点字を 18 ドットに拡張すれば Unicode 13.0 の文字すべてを表現できる

新しい自宅サーバーの構成

2021-02-12T15:00:00.000Z

10 年ぶりにサーバーを更新した。初めての AMD、初めての DDR4、初めての NVM Express！

用途

各種セルフホスト (Docker)
Docker Swarm クラスターのマスターノード
計算実験
VS Code Remote SSH のホストマシン

スペック

重いタスクを並列してやらせたいので最優先は CPU とメモリ。メモリはDDR4-3200 32GBx2 を、CPU は昨今のライブラリのマルチコア対応を勘案して Ryzen 9 3950X を選んだ。CPU クーラーは静音性を考えて Noctua の NH-D15 Black 。

追記: メモリ異常を起因とするシステム誤動作により、/sbin 以下がゼロ上書きされカーネルが起動しなくなる災害が起きた。後日 ECC 付きのメモリに交換してからは、現在に至るまでメモリ関連の異常は発生していない。常時稼働するサーバーには最初から ECC メモリを選ぼう。

追記 2: 結果から言うとメモリは 64GB では足りなかった。巨大な Pandas データフレームを弄ったり、10 億レコード以上ある MongoDB を走査したりするたびに OOM が発動してしまう。最終的に 128GB まで増やす羽目になった。

追記 3: 結局 128GB でも OOM になる場面が出てきたが、スロットが埋まっていてもうこれ以上増設できないし、できたとしても Ryzen シリーズが 128GB までしかサポートしてないのでどちらにしろ詰みである。

これから機械学習/OLAP サーバーを構築しようと考えている読者は、最初から DIMM スロットが豊富な Dual-socket (CPU が 2 つ挿せる) マザーボードと、サーバー向け CPU (EPYC または Xeon)の組み合わせを検討すべきだ。サーバー向け CPU に関しては、EOL を迎えてデータセンターから放出された 5 年ほど前のモデルが eBay で安く手に入るはず。

追記 4: eBay で良いパーツを探すコツ

発送時期が異様に長くない (所有しているものを出品している)

シリアル番号が写っている現物の写真がある (偽物や Engineering Sample の可能性が低い)

通電に加えて正常な動作確認を行っている (疑問点があれば出品者に質問を送ってしっかり言質をとっておくこと)

GPU は古いサーバーに突っ込んでいた NVIDIA GeForce GTX TITAN X (Maxwell)を流用した。VRAM が 12GB ちょっとしかないが、最大ワークロード時でも 5GB は残るので今のところ十分。

追記: 結果から言うと GPT-J や Megatron-LM を始めとした億パラメータ級のモデルを学習・推論させるには、DeepSpeed の助けがあったとしても最低 16GB の VRAM が必要だった。他の例を挙げると、Stable Diffusion の Fine-tuning には最低 30GB 前後の VRAM が必要になるし、OpenAI Whisper の large モデルを動かす際にも 13GB は見ておく必要がある。

今から GPU を買うなら、2022 年 10 月現在中古市場で 10 万前後で推移している RTX 3090 (24GB)を 2 枚買う戦略が筋が良いだろう。お金持ちなら A100 を買えば良い。

追記 2: RTX 3090 を安く仕入れることができたが、サイズが大きすぎて Meshify 2 ケースの HDD ベイに干渉してしまった。いくつか HDD を移動させることで上手く挿入できたが、かわりに 3 つ分のベイが使用できなくなった。

これからケースを買おうとしている読者は、最初から ATX ケースを通り越して Meshify 2 XL など、E-ATX/EE-ATX 対応ケースを選ぶことをおすすめする。どちらにせよそのようなケースでないと上記の Dual-socket マザーボードは挿せないし、十分な冷却環境を確保できない。

記憶装置は WD HDD 3TB 2 台と Samsung 970 EVO Plus 500GB M.2 PCIe、そして古いサーバーから引っこ抜いた Samsung 870 EVO Plus 500GB SSD 。NVMe メモリは OS とキャッシュ用、SSD/HDD はデータ用にする。

マザーボードは、X570 と比較して実装されているコンデンサーやパーツがサーバー向きだと感じたASRock B550 Taichi にした。

電源は今後 GPU を追加することを考えて Seasonic PRIME TX 850 を選んだ。実際にサーバーを稼働させながら使用電力を計測したところ、アイドル時に 180W 前後、フル稼働時でも 350W を超えない程度だった。

ケースは Fractal Design の Meshify 2 。

OS は長年付き合ってきた Ubuntu と袂を分かち、Arch Linux を選んだ。ミニマルと実用の間のバランスが取れていて好み。

Arch Linux のセットアップは個別に記事を書いた。

また、AUR (Arch User Repository)にパッケージを公開したい人向けに、Docker 自動ビルド・テストツールをGitHub で公開した。

パーツ選定時のポイント

Disk Prices でディスクの値段チェック
WikiChipで CPU のモデルやスペックを調査する
PCPartPickerでパーツのコスト計算をする
Bottleneck Calculatorで CPU と GPU の組み合わせを選び、そのうちどちらが性能のボトルネックになるか調べる
UserBenchmarkでユーザーが投稿したベンチマーク結果を眺める
Linux Hardware Database を見て、インストールする予定の Linux ディストリとパーツの相性をチェックする
CPU クーラーは大口径の方が静か
PSU は Seasonic が評判良い
東芝 D01 が HGST の系譜
B550 は長期運用に向いている（らしい）
- B520 は廉価版
TSUKUMO eX. の自作 PC コーナーのスタッフはガチ勢なので信頼できる
- 不明な部分があれば根掘り葉掘り聞く

組立ての勘所

少なくとも 1 年間はすべての箱・書類を取っておく（特にメモリは箱自体が保証書代わりになっている場合がある）
筐体は無視してまずマザボ、CPU、クーラー、（オンボードグラフィックが無い CPU なら）グラボ、そして電源を繋いで通電・動作テストをする
- MemTest86でメモリのテストを最後までやる（エラーが出たら交換依頼）
- USB ブートで OS の起動確認
Ethernet が死んでいる場合は USB-Ethernet アダプターでまずネットを確保する
- ほとんどの場合 Linux カーネルのバージョンを上げると（デバイスドライバーも新しくなり）直る
  - Arch Linux の場合: linux-ltsが駄目ならlinuxに切り替えて試す
  - Ubuntu の場合: kernel.ubuntu.com から探してアップデートする（https://itsfoss.com/upgrade-linux-kernel-ubuntu/）
- 駄目ならマザボまたはアダプターメーカーからアップデートを探す
安い筐体のネジは柔いことがあるため、強く押し込みながら少しずつ回す
- 山が潰れてきたらゴムシートを挟む
すべて動いたら、Linux Hardware Database に Probe を送信して貢献する

Installing Arch Linux on Bare-metal Server

2021-02-11T15:00:00.000Z

This is all the commands I typed when I set up Arch Linux on my new compute server.

PSA[1]: I published a toolchain for creating/testing PKGBUILD in a clean-room Docker container https://github.com/uetchy/archpkgs

PSA[2]: Also published cfddns (AUR), a Cloudflare DDNS client written in Rust.

Goals

/dev/sda - NVMe M.2 SSD
- /dev/sda1 - EFI system partition mounted on /boot (systemd-boot)
- /dev/sda2 - LUKS partition contains Btrfs subvolumes
  - @ -> /
  - @home -> /home
  - @srv -> /srv
    - Docker stacks directory (nginx-proxy, Mail, Nextcloud, Minio, JupyterHub, Weights & Biases, etc)
  - @log -> /var/log
  - @cache -> /var/cache
/dev/sdb - HDD for data vault
- /dev/sdb1 - LUKS partition contains Btrfs mounted on /mnt/vault
/dev/sdc - HDD for backups
- /dev/sdc1 - Btrfs mounted on /mnt/backups
/dev/sde - SSD for analytical database (intensive write-ops)
- /dev/sde1 - XFS mounted on /mnt/analytics

Why XFS for analytical database storage? Refer to Production Notes — MongoDB Manual and Configure Scylla | Scylla Docs.

Setup

Wipe a disk

# Erase file-system magic strings (insecure but super fast, suitable when reusing a disk)
wipefs -a /dev/sdN

# or

# Write (random then zeroes) to the device (takes longer but more secure, suitable when selling a disk)
shred -v -n 1 -z /dev/sdN

Create partitions

This command will calculate optimal sector alignments correctly. You can confirm it by running sfdisk -d /dev/sda.

# Overwrite new GPT
sgdisk -og /dev/sda

# Create 1GiB EFI system partition
sgdisk -n 1:0:+1G -c 1:boot -t 1:ef00 /dev/sda

# Fill the rest with a LUKS partition
sgdisk -n 2:0:0 -c 2:crypt -t 2:8308 /dev/sda

# Data disks
sgdisk -og /dev/sdb
sgdisk -n 1:0:0 -c 1:vault -t 1:8308 /dev/sdb # LUKS

sgdisk -og /dev/sdc
sgdisk -n 1:0:0 -c 1:backups /dev/sdb

sgdisk -og /dev/sde
sgdisk -n 1:0:0 -c 1:analytics /dev/sdb

# Verify the result
sgdisk -p /dev/sdN

NOTE: Since my server has 128GB of physical memory, I would rather let OOM Killer do its job than creating a swap partition. Should the need for swap comes up later, consider swap file (no perf difference in general)

Write file systems

# VFAT32 ESP
mkfs.vfat -F 32 -n ESP /dev/sda1

# LUKS2
cryptsetup luksFormat /dev/sda2
cryptsetup \
  --allow-discards \
  --perf-no_read_workqueue \
  --perf-no_write_workqueue \
  --persistent \
  open /dev/sda2 crypt

cryptsetup luksFormat /dev/sdb1
cryptsetup open /dev/sdb1 vault

# Verify the LUKS devices
cryptsetup luksDump /dev/sdN # Dump LUKS2 header
dmsetup table # Show flags for the currently opened devices

# Also, backup the LUKS headers to safe storage
cryptsetup luksHeaderBackup /dev/sdN --header-backup-file /path/to/luks_header_sdN

# Btrfs for root partition
mkfs.btrfs -L crypt /dev/mapper/crypt
mount /dev/mapper/crypt /mnt # Temporary mounted to create subvolumes
# btrfs [su]bvolume [cr]eate
btrfs su cr /mnt/@
btrfs su cr /mnt/@home
btrfs su cr /mnt/@cache
btrfs su cr /mnt/@log
btrfs su cr /mnt/@srv # Home for Docker Compose stacks
btrfs su set-default 256 /mnt # Required for remote unlocking
umount /mnt

# Btrfs
mkfs.btrfs -L vault /dev/mapper/vault
mkfs.btrfs -L backups /dev/sdc1

# XFS
mkfs.xfs -L analytics /dev/sde1

See Discard/TRIM support for solid state drives (SSD) - Dm-crypt - ArchWiki for the reasoning behind these cryptsetup flags.

User:I2Oc9/Btrfs subvolumes - ArchWiki

Mount partitions

# Root partition
mount /dev/mapper/crypt /mnt
mount -m -o subvol=@home /dev/mapper/crypt /mnt/home
mount -m -o subvol=@cache /dev/mapper/crypt /mnt/var/cache
mount -m -o subvol=@log /dev/mapper/crypt /mnt/var/log
mount -m -o subvol=@srv /dev/mapper/crypt /mnt/srv

# EFI system partition
mount -m /dev/sda1 /mnt/boot

# Extra disks
mount -m /dev/mapper/vault /mnt/mnt/vault
mount -m /dev/sde1 /mnt/mnt/analytics
mount -m /dev/sdc1 /mnt/mnt/backups

Install Linux kernel

# This is necessary for older Arch ISO image
pacman -Sy archlinux-keyring

# Choose between 'linux-lts' and 'linux'
pacstrap /mnt base linux-lts linux-firmware \
  btrfs-progs xfsprogs vim man-db man-pages

Generate fstab

# Generate fstab based on current /mnt structure
genfstab -U /mnt >> /mnt/etc/fstab

Tweak pacman

# Optimize mirrorlist (replace `country` params with your nearest countries)
pacman -S --needed pacman-contrib
curl -s 'https://archlinux.org/mirrorlist/?use_mirror_status=on&protocol=https&country=JP&country=KR&country=HK' | sed -e 's/#//' -e '/#/d' | rankmirrors -n 10 - > /mnt/etc/pacman.d/mirrorlist

# Colorize output
sed '/#Color/a Color' -i /mnt/etc/pacman.conf

# Parallel downloads
sed '/#ParallelDownloads/a ParallelDownloads = 5' -i /mnt/etc/pacman.conf

# ILoveCandy
sed '/# Misc/a ILoveCandy' -i /mnt/etc/pacman.conf

Chroot into the installation

# Chroot
arch-chroot /mnt

# Change root password
passwd

Finish structuring file systems

# Verify fstab entries
findmnt --verify --verbose

crypttab

echo "crypt UUID=$(blkid /dev/sda2 -s UUID -o value) none luks" >> /etc/crypttab
echo "vault UUID=$(blkid /dev/sdb1 -s UUID -o value) none luks" >> /etc/crypttab

cat /etc/crypttab

Remote unlocking

pacman -S --needed mkinitcpio-systemd-tool openssh cryptsetup tinyssh busybox mc python3

# crypttab for initramfs
echo "crypt UUID=$(blkid /dev/sda2 -s UUID -o value) none luks" >> /etc/mkinitcpio-systemd-tool/config/crypttab
# [!] Add every other device whose password is different from `crypt` device
#     to make sure that all the passwords will be asked during the remote unlocking

# fstab for initramfs
echo "UUID=$(blkid /dev/mapper/crypt -s UUID -o value) /sysroot auto x-systemd.device-timeout=9999h 0 1" >> /etc/mkinitcpio-systemd-tool/config/fstab

# Append 'systemd systemd-tool' to and remove 'udev' from mkinitcpio HOOKS
sed -r '/^HOOKS=/s/^/#/' -i /etc/mkinitcpio.conf
sed -r '/^#HOOKS=/a HOOKS=(base autodetect modconf block filesystems keyboard fsck systemd systemd-tool)' -i /etc/mkinitcpio.conf

# Change SSH port
mkdir -p /etc/systemd/system/initrd-tinysshd.service.d
cat > /etc/systemd/system/initrd-tinysshd.service.d/override.conf <<EOD
[Service]
Environment=
Environment=SSHD_PORT=12345
EOD

# Assign static IP because we are behind NAT
cat > /etc/mkinitcpio-systemd-tool/network/initrd-network.network <<EOD
[Match]
# [!] use kernel interface name, not udev name
Name=eth0

[Network]
Address=10.0.1.2
Gateway=10.0.1.1
DNS=9.9.9.9
EOD

# Enable required services
systemctl enable initrd-cryptsetup.path
systemctl enable initrd-tinysshd
systemctl enable initrd-debug-progs
systemctl enable initrd-sysroot-mount

# Generate host SSH key pair
ssh-keygen -A

# Download SSH public keys to use ([!] tinysshd only supports ed25519)
curl -s https://github.com/<username>.keys >> /root/.ssh/authorized_keys

# Build initramfs
mkinitcpio -P

# Verify initramfs contents
lsinitcpio -l /boot/initramfs-linux-lts.img

Case: Complete BTRFS Setup (step by step)

Periodic TRIM

systemctl enable fstrim.timer

Run lsblk --discard to see the TRIM-supported devices (it does if both DISC-GRAN and DISC-MAX have non-empty values).

Solid state drive - ArchWiki

SSH

vim /etc/ssh/sshd_config
# Change port
sed '/#Port /a Port 12345' -i /etc/ssh/sshd_config
# Limit to pubkey auth
sed '/#PasswordAuthentication /a PasswordAuthentication no' -i /etc/ssh/sshd_config
systemctl enable sshd

Bootloader (systemd-boot)

Because GRUB's LUKS2 support is still limited (It does not support cryptsetup's default Argon2id yet. I've tested in a VM and confirmed it doesn't work).

In the end, I end up liking systemd-boot (formerly Gummiboot) more. It's refreshingly simple and easier to understand, doesn't this sound like Arch Linux?

# Install AMD microcode updates (pick `intel-ucode` for Intel CPU)
pacman -S amd-ucode

# Install systemd-boot on /boot
bootctl install

# Add bootloader config
cat > /boot/loader/loader.conf <<EOD
default arch-lts.conf
timeout 3
console-mode max
editor no
EOD

# Add an entry for `linux-lts` (omit -lts for `linux`)
cat > /boot/loader/entries/arch-lts.conf <<EOD
title Arch Linux (LTS)
initrd /amd-ucode.img
initrd /initramfs-linux-lts.img
linux /vmlinuz-linux-lts
options root=/dev/mapper/crypt
EOD

options are kernel params.

systemd-boot - ArchWiki

Network

systemd-networkd

/etc/systemd/network/wired.network
[Match]
# `ip l` to find the right interface
Name=enp5s0

[Network]
Address=10.0.1.2/24
Gateway=10.0.1.1
MulticastDNS=yes
#DHCP=yes

systemctl enable systemd-networkd

systemd-resolved

mkdir /etc/systemd/resolved.conf.d
cat > /etc/systemd/resolved.conf.d/dns.conf <<EOD
[Resolve]
DNS=1.1.1.1 1.0.0.1
DNSOverTLS=yes
EOD
systemctl enable systemd-resolved

sysctl

# Increase max map count for Elasticsearch on Docker
# https://www.elastic.co/guide/en/elasticsearch/reference/current/docker.html#_linux
echo "vm.max_map_count=262144" > /etc/sysctl.d/96-map-count.conf

# Increase inotify limit to avoid "too many open files"
echo "fs.inotify.max_user_watches=1048576" > /etc/sysctl.d/97-inotify.conf

# Auto reboot after 60s of kernel panic
echo "kernel.panic=60" > /etc/sysctl.d/98-kernel-panic.conf

# Tweak swappiness value for memory-rich servers
# https://linuxhint.com/understanding_vm_swappiness/
echo "vm.swappiness=10" > /etc/sysctl.d/99-swappiness.conf

faillock

Change deny from 3 to 5:

sed '/^# deny/a deny = 5' -i /etc/security/faillock.conf

NVIDIA driver

# 'nvidia' for 'linux'
pacman -S nvidia-lts

Create operator user

# Install ZSH and sudo
pacman -S zsh sudo

# Add operator user (op) with wheel membership
useradd -m -s /bin/zsh -G wheel op

# Change operator user password
passwd op

# Populate SSH public keys
mkdir /home/op/.ssh
curl -s https://github.com/<username>.keys >> /home/op/.ssh/authorized_keys
chown -R op:op /home/op/.ssh

# [!] Don't put SSH key pairs on the server. Use SSH agent forwarding instead.

# Grant wheel group sudo priv
(umask 0337; echo "%wheel ALL=(ALL) ALL" > /etc/sudoers.d/wheel)

visudo -c # Verify sudoers
userdbctl # Verify users
userdbctl group # Verify groups

Octal codes - umask - Wikipedia

Time and locales

# Set time zone
ln -sf /usr/share/zoneinfo/Asia/Tokyo /etc/localtime

# Enable NTP
systemctl enable systemd-timesyncd

# Sync system time to hardware clock
hwclock --systohc

sed '/#en_US.UTF-8 UTF-8/s/^#//' -i /etc/locale.gen
locale-gen
echo "LANG=en_US.UTF-8" >> /etc/locale.conf

Leave chroot and reboot

exit # leave chroot

# Symlink stub resolver config (non-chroot required)
ln -rsf /run/systemd/resolve/stub-resolv.conf /mnt/etc/resolv.conf

umount -R /mnt # unmount /mnt recursively
reboot

[!] From now on, run all commands as the operator user (use sudo if necessary)

Set hostname

hostnamectl set-hostname tako
hostnamectl set-chassis server
echo "127.0.0.1 tako" >> /etc/hosts

Check-ups

# Check network status
networkctl status
resolvectl status
resolvectl query uechi.io
resolvectl query -p mdns tako.local

# Verify time and NTP status
timedatectl status

# Verify sysctl values
sysctl --system

If networkctl keeps showing enp5s0 as degraded, then run ip addr add 10.0.1.2/24 dev enp5s0 to manually assign static IP address for the workaround.

S.M.A.R.T.

pacman -S smartmontools

# Needed for sending email
pacman -S s-nail

Automated disk health check-ups and reporting

/etc/smartd.conf
# Scan all but removable devices and notify any test failures
# Also, start a short self-test every day around 1-2am, and a long self test every Saturday around 3-4am
DEVICESCAN -a -o on -S on -n standby,q -s (S/../.././02|L/../../6/03) -m [email protected]

Tips: Add -M test immediately after DEVICESCAN to send test mail

systemctl enable --now smartd

Manual testing

smartctl -t short /dev/sda
smartctl -l selftest /dev/sda

AUR Helper (yay)

pacman -S base-devel git
git clone https://aur.archlinux.org/yay.git
cd yay
makepkg -si

Docker

pacman -S docker docker-compose
yay -S nvidia-container-runtime

/etc/docker/daemon.json
{
  "log-driver": "json-file", // default: "json-file"
  "log-opts": {
    "max-size": "10m", // default: -1 (unlimited)
    "max-file": "3" // default: 1
  },
  "runtimes": {
    // for Docker Compose
    "nvidia": {
      "path": "/usr/bin/nvidia-container-runtime",
      "runtimeArgs": []
    }
  }
}

systemctl enable --now docker

# Allow operator user to run docker command without sudo (less secure)
#   Re-login for the changes to take effect
usermod -aG docker op

# Enable Swarm
docker swarm init --advertise-addr $(curl -s https://ip.seeip.org)
# Create overlay network for Swarm stack
# docker network create --attachable -d overlay --subnet 10.11.0.0/24 <network>

# Verify installation
docker run --rm --gpus all nvidia/cuda:11.7.1-cudnn8-runtime-ubuntu20.04 nvidia-smi

NVIDIA/nvidia-container-runtime: NVIDIA container runtime

Cross-platform build support (BuildKit, QEMU)

docker run --rm --privileged multiarch/qemu-user-static --reset --persistent yes

# Verify
docker run --rm --platform linux/arm64/v8 -t arm64v8/ubuntu uname -m # => aarch64

Tips: Use `journald` log driver in Docker Compose

This is particularly useful when you want to feed container logs to fail2ban through journald.

services:
  web:
    logging:
      driver: "journald"
      options:
        tag: "{{.ImageName}}/{{.Name}}/{{.ID}}" # default: "{{.ID}}"

DNS resolver (Pi-hole + unbound)

git clone https://github.com/uetchy/docker-dns /srv/dns
cd /srv/dns
rm -rf .git
cp .env.example .env
vim .env
mkdir -p data/unbound
cp examples/unbound/forward-records.conf data/unbound/
vim data/unbound/forward-records.conf # see below
docker compose up -d

For Quad9 resolver, I chose ECS-enabled resolver because their nearest anycast server from Tokyo is in another country (Singapore), which could confuse CDN server selection and result in higher latency.

If your favorite DNS resolver DOES have their anycast servers near your city, you don't need ECS at all.

If you are in Japan, I would recommend IIJ Public DNS. They offer secure DoT/DoH resolvers (actually, they don't support "normal" unencrypted DNS queries so there's no room for the "accidental fallback to an unencrypted query in Opportunistic TLS configuration" scenario)

/etc/systemd/network/dns-shim.netdev
# workaround to route local dns lookups to Docker managed MACVLAN interface
[NetDev]
Name=dns-shim
Kind=macvlan

[MACVLAN]
Mode=bridge

/etc/systemd/network/dns-shim.network
# workaround to route local dns lookups to Docker managed MACVLAN interface
[Match]
Name=dns-shim

[Network]
IPForward=yes

[Address]
Address=10.0.1.103/32
Scope=link

[Route]
Destination=10.0.1.100/30

cat >> /etc/systemd/network/wired.network <<EOD
# workaround to route local dns lookups to Docker managed MACVLAN interface
MACVLAN=dns-shim
EOD

cat > /etc/systemd/resolved.conf.d/dns.conf <<EOD
[Resolve]
DNS=10.0.1.100
EOD

If you want to do the same thing but using ip:

ip link add dns-shim link enp5s0 type macvlan mode bridge # add macvlan shim interface
ip a add 10.0.1.103/32 dev dns-shim # assign the interface an ip address
ip link set dns-shim up # enable the interface
ip route add 10.0.1.100/30 dev dns-shim # route macvlan subnet (.100 - .103) to the interface

DDNS (cfddns)

Dynamic DNS for Cloudflare.

Star the GitHub repository if you like it :)

yay -S cfddns

/etc/cfddns/cfddns.yml
token: <token>
notification:
  # You'll need local mail transfer agent such as Mailu/Mailcow
  enabled: true
  from: cfddns@localhost
  to: [email protected]
  server: localhost

/etc/cfddns/domains
example.com
dev.example.com
example.org

systemctl enable --now cfddns

Reverse proxy (nginx-proxy)

nginx-proxy serves as an ingress gateway for port 80 and 443, as well as a TLS terminal.

git clone --recurse-submodules https://github.com/evertramos/nginx-proxy-automation.git /srv/proxy
cd /srv/proxy/bin

./fresh-start.sh --yes -e your_email@domain --skip-docker-image-check

nginx-proxy-automation/docs at master · evertramos/nginx-proxy-automation · GitHub

ACME CA (step-ca)

With nginx-proxy, you can generate and auto-rotate self-signed ACME certificates for private Docker containers.

/srv/ca/docker-compose.yml
version: "3"
services:
  step-ca:
    image: smallstep/step-ca:0.22.1
    restart: unless-stopped
    ports:
      - "9000:9000"
    environment:
      DOCKER_STEPCA_INIT_NAME: ${DOCKER_STEPCA_INIT_NAME}
      DOCKER_STEPCA_INIT_DNS_NAMES: ${DOCKER_STEPCA_INIT_DNS_NAMES}
    volumes:
      - "./data/step-ca:/home/step"
    dns:
      # Split horizon DNS server for private web services (also point <domain> to the server)
      - 10.0.1.100

/srv/ca/.env
DOCKER_STEPCA_INIT_NAME=MySign Root CA
DOCKER_STEPCA_INIT_DNS_NAMES=localhost,<hostname>,<domain>

pacman -S step-cli

# Start step-ca
docker compose up -d

# Show CA password
docker compose exec step-ca cat secrets/password

# Enable ACME module
docker compose exec step-ca step ca provisioner add acme --type ACME

# Download root cert and CA configuration
CA_FINGERPRINT=$(docker compose exec step-ca step certificate fingerprint certs/root_ca.crt)
step-cli ca bootstrap --ca-url https://localhost:9000 --fingerprint $CA_FINGERPRINT

# Test installation
step-cli certificate inspect $(step-cli path)/certs/root_ca.crt
step-cli certificate inspect https://<domain>:9000

# Install root cert system-wide
step-cli certificate install $(step-cli path)/certs/root_ca.crt

Auth gateway and identity provider (Authelia)

Authelia acts as:

OIDC identity provider (single sign-on)
Auth gateway for some self-hosted web apps lacking user authentication

/srv/authelia/docker-compose.yml
version: "3.9"
secrets:
  JWT_SECRET:
    file: ./data/authelia/secrets/JWT_SECRET
  SESSION_SECRET:
    file: ./data/authelia/secrets/SESSION_SECRET
  STORAGE_PASSWORD:
    file: ./data/authelia/secrets/STORAGE_PASSWORD
  STORAGE_ENCRYPTION_KEY:
    file: ./data/authelia/secrets/STORAGE_ENCRYPTION_KEY
  OIDC_HMAC_SECRET:
    file: ./data/authelia/secrets/OIDC_HMAC_SECRET
  PRIVATE_KEY:
    file: ./data/authelia/keys/private.pem

services:
  server:
    container_name: authelia
    image: authelia/authelia:4
    restart: unless-stopped
    networks:
      - default
      - webproxy
    secrets:
      - JWT_SECRET
      - SESSION_SECRET
      - STORAGE_PASSWORD
      - STORAGE_ENCRYPTION_KEY
      - OIDC_HMAC_SECRET
      - PRIVATE_KEY
    environment:
      AUTHELIA_JWT_SECRET_FILE: /run/secrets/JWT_SECRET
      AUTHELIA_SESSION_SECRET_FILE: /run/secrets/SESSION_SECRET
      AUTHELIA_STORAGE_POSTGRES_PASSWORD_FILE: /run/secrets/STORAGE_PASSWORD
      AUTHELIA_STORAGE_ENCRYPTION_KEY_FILE: /run/secrets/STORAGE_ENCRYPTION_KEY
      AUTHELIA_IDENTITY_PROVIDERS_OIDC_HMAC_SECRET: /run/secrets/OIDC_HMAC_SECRET
      AUTHELIA_IDENTITY_PROVIDERS_OIDC_ISSUER_PRIVATE_KEY_FILE: /run/secrets/PRIVATE_KEY
      VIRTUAL_PROTO: https
      VIRTUAL_HOST: ${VIRTUAL_HOST}
      LETSENCRYPT_HOST: ${VIRTUAL_HOST}
    volumes:
      - ./data/authelia/config:/config
      - ${AUTHELIA_CERTS}:/certs:ro
    depends_on:
      - redis
      - postgres

  redis:
    image: redis:7-alpine
    restart: unless-stopped
    volumes:
      - ./data/redis:/data

  postgres:
    image: postgres:11-alpine
    restart: unless-stopped
    secrets:
      - STORAGE_PASSWORD
    environment:
      POSTGRES_USER: authelia
      POSTGRES_PASSWORD_FILE: /run/secrets/STORAGE_PASSWORD
      POSTGRES_DB: authelia
    volumes:
      - ./data/postgres:/var/lib/postgresql/data

networks:
  webproxy:
    external: true

/srv/authelia/.env
VIRTUAL_HOST=auth.example.com
# Use nginx-proxy managed TLS cert
AUTHELIA_CERTS=/srv/proxy/data/certs/auth.example.com

Mail server (Mailu)

See Setup a new Mailu server — Mailu, Docker based mail server

Nextcloud

git clone https://github.com/uetchy/docker-nextcloud.git /srv/cloud
cd /srv/cloud
cp .env.example .env
vim .env # fill the blank variables
make # pull, build, start
make applypatches # apply custom patches (run only once after the update)

Monitor (Telegraf + InfluxDB + Grafana)

Grafana + InfluxDB (Docker)

git clone https://github.com/uetchy/docker-monitor.git /srv/monitor
cd /srv/monitor
docker compose up -d

Telegraf (Host)

yay -S telegraf

/etc/telegraf/telegraf.conf
# Global tags can be specified here in key="value" format.
[global_tags]

# Configuration for telegraf agent
[agent]
  interval = "15s"
  round_interval = true
  metric_batch_size = 1000
  metric_buffer_limit = 10000
  collection_jitter = "0s"
  flush_interval = "10s"
  flush_jitter = "0s"
  precision = ""
  hostname = "tako"
  omit_hostname = false

# Read InfluxDB-formatted JSON metrics from one or more HTTP endpoints
[[outputs.influxdb]]
  urls = ["http://127.0.0.1:8086"]
  database = "<db>"
  username = "<user>"
  password = "<password>"

# Read metrics about cpu usage
[[inputs.cpu]]
  percpu = true
  totalcpu = true
  collect_cpu_time = false
  report_active = false

# Read metrics about disk usage by mount point
[[inputs.disk]]
  ignore_fs = ["tmpfs", "devtmpfs", "devfs", "iso9660", "overlay", "aufs", "squashfs"]

# Read metrics about disk IO by device
[[inputs.diskio]]

# Get kernel statistics from /proc/stat
[[inputs.kernel]]

# Read metrics about memory usage
[[inputs.mem]]

# Get the number of processes and group them by status
[[inputs.processes]]

# Read metrics about system load & uptime
[[inputs.system]]

# Read metrics about network interface usage
[[inputs.net]]
  interfaces = ["enp5s0"]

# Read metrics about docker containers, requires docker group membership for telegraf user
[[inputs.docker]]
  endpoint = "unix:///var/run/docker.sock"
  perdevice = false
  total = true

[[inputs.fail2ban]]
  interval = "15m"
  use_sudo = true

# Pulls statistics from nvidia GPUs attached to the host
[[inputs.nvidia_smi]]
  timeout = "30s"

[[inputs.http_response]]
  interval = "5m"
  urls = [
    "https://example.com"
  ]

# Monitor sensors, requires lm-sensors package
[[inputs.sensors]]
  interval = "60s"
  remove_numbers = false

/etc/sudoers.d/telegraf
Cmnd_Alias FAIL2BAN = /usr/bin/fail2ban-client status, /usr/bin/fail2ban-client status *
telegraf  ALL=(root) NOEXEC: NOPASSWD: FAIL2BAN
Defaults!FAIL2BAN !logfile, !syslog, !pam_session

chmod 440 /etc/sudoers.d/telegraf
chown -R telegraf /etc/telegraf
usermod -aG docker telegraf

# Verify config
telegraf -config /etc/telegraf/telegraf.conf -test

systemctl enable --now telegraf

Bruce-force attack mitigation (fail2ban)

pacman -S fail2ban

/etc/fail2ban/jail.local
[DEFAULT]
ignoreip = 127.0.0.1/8 10.0.1.0/24 10.0.10.0/24

[sshd]
enabled = true
port = 12345
bantime = 1h
mode = aggressive

# https://mailu.io/1.9/faq.html?highlight=fail2ban#do-you-support-fail2ban
[mailu]
enabled = true
backend = systemd
filter = mailu
action = docker-action
findtime = 15m
maxretry = 10
bantime = 1w

[gitea]
enabled = true
backend = systemd
filter = gitea
action = docker-action
findtime = 30m
maxretry = 5
bantime = 1w

/etc/fail2ban/filter.d/mailu.conf
[INCLUDES]
before = common.conf

[Definition]
__date = \d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}
__mailu_prefix = ^%(__prefix_line)s%(__date)s \[info\] \d+#\d+: \*\d+ client login failed:
__mailu_suffix = while in http auth state, client: <HOST>,
failregex =
    %(__mailu_prefix)s "AUTH not supported" %(__mailu_suffix)s
    %(__mailu_prefix)s "Authentication credentials invalid" %(__mailu_suffix)s
journalmatch = CONTAINER_NAME=mail-front-1

/etc/fail2ban/filter.d/gitea.conf
[INCLUDES]
before = common.conf

[Definition]
failregex = ^%(__prefix_line)sDisconnected from invalid user \S+ <HOST> port \d+ \[preauth\]
journalmatch = CONTAINER_NAME=gitea

/etc/fail2ban/action.d/docker-action.conf
[Definition]

actionstart = iptables -N f2b-bad-auth
              iptables -A f2b-bad-auth -j RETURN
              iptables -I DOCKER-USER -p tcp -j f2b-bad-auth

actionstop = iptables -D DOCKER-USER -p tcp -j f2b-bad-auth
             iptables -F f2b-bad-auth
             iptables -X f2b-bad-auth

actioncheck = iptables -n -L DOCKER-USER | grep -q 'f2b-bad-auth[ \t]'
actionban = iptables -I f2b-bad-auth 1 -s <ip> -j DROP
actionunban = iptables -D f2b-bad-auth -s <ip> -j DROP

# Test regex pattern or specific filter against journald logs
fail2ban-regex systemd-journal -m 'CONTAINER_NAME=gitea' ': Disconnected from invalid user .+ <HOST> port \d+ \[preauth\]'
fail2ban-regex systemd-journal -m 'CONTAINER_NAME=gitea' gitea --print-all-matched

# Test config
fail2ban-client --test

systemctl enable --now fail2ban
fail2ban-client status

Firewall (ufw)

pacman -S ufw
systemctl enable --now ufw

VPN (WireGuard)

pacman -S wireguard-tools

# gen private key
(umask 0077; wg genkey > server.key)

# gen public key
wg pubkey < server.key > server.pub

# gen preshared key for each client
(umask 0077; wg genpsk > secret1.psk)
(umask 0077; wg genpsk > secret2.psk)
...

/etc/wireguard/wg0.conf
[Interface]
Address = 10.0.10.1/24
ListenPort = 121212
PrivateKey = <content of server.key>

PostUp   = iptables -A FORWARD -i %i -j ACCEPT; iptables -t nat -A POSTROUTING -o dns-shim -d 10.0.1.100/32 -j MASQUERADE; iptables -t nat -A POSTROUTING -o enp5s0 ! -d 10.0.1.100/32 -j MASQUERADE
PostDown = iptables -D FORWARD -i %i -j ACCEPT; iptables -t nat -D POSTROUTING -o dns-shim -d 10.0.1.100/32 -j MASQUERADE; iptables -t nat -D POSTROUTING -o enp5s0 ! -d 10.0.1.100/32 -j MASQUERADE

[Peer]
PublicKey = <public key>
PresharedKey = <content of secret1.psk>
AllowedIPs = 10.0.10.2/32

[Peer]
PublicKey = <public key>
PresharedKey = <content of secret2.psk>
AllowedIPs = 10.0.10.3/32

ufw allow 121212/udp # If ufw is running

sysctl -w net.ipv4.ip_forward=1

systemctl enable --now wg-quick@wg0

# Show active settings
wg show

Backup (restic)

pacman -S restic

/etc/restic/systemd/restic.service
[Unit]
Description=Daily Backup Service

[Service]
Nice=19
IOSchedulingClass=idle
KillSignal=SIGINT
ExecStart=/etc/restic/cmd/run

/etc/restic/systemd/restic.timer
[Unit]
Description=Daily Backup Timer

[Timer]
OnCalendar=*-*-* 0,6,12,18:0:0
RandomizedDelaySec=15min
Persistent=true

[Install]
WantedBy=timers.target

/etc/restic/cmd/config
export RESTIC_REPOSITORY=/mnt/backups/restic
export RESTIC_PASSWORD_FILE=/etc/restic/key # a file contains password
export RESTIC_CACHE_DIR=/var/cache/restic
export RESTIC_PROGRESS_FPS=1

/etc/restic/cmd/run
#!/bin/bash -ue

# https://restic.readthedocs.io/en/latest/040_backup.html#

DIR=$(dirname "$(readlink -f "$0")")
source "$DIR/config"

date

# system
echo "> system"
restic backup --tag system -v \
  --one-file-system \
  --exclude .cache \
  --exclude .vscode-server \
  --exclude TabNine \
  --exclude /swapfile \
  --exclude "/lost+found" \
  --exclude "/var/lib/docker/overlay2/*" \
  / /boot /home /srv

# vault
echo "> vault"
restic backup --tag vault -v \
  --one-file-system \
  --exclude 'appdata_*/preview' \
  --exclude 'appdata_*/dav-photocache' \
  /mnt/vault

echo "! prune"
restic forget --prune --group-by tags \
  --keep-last 4 \
  --keep-within-daily 7d \
  --keep-within-weekly 1m \
  --keep-within-monthly 3m

echo "! check"
restic check

/etc/restic/cmd/show
#!/bin/bash -ue

DIR=$(dirname "$(readlink -f "$0")")
source "$DIR/config"

TAG=${TAG:-system}
ID=$(restic snapshots --tag $TAG --json | jq -r ".[] | [.time, .short_id] | @tsv" | fzy | awk '{print $2}')

TARGET=${1:-$(pwd)}
MODE="ls -l"
if [[ -f $TARGET ]]; then
  TARGET=$(realpath ${TARGET})
  MODE=dump
fi
>&2 echo "Command: restic ${MODE} ${ID} ${TARGET}"

restic $MODE $ID ${TARGET}

/etc/restic/cmd/restore
#!/bin/bash -ue

# https://restic.readthedocs.io/en/latest/050_restore.html

DIR=$(dirname "$(readlink -f "$0")")
source "$DIR/config"

TARGET=${1:?Specify TARGET}
TARGET=$(realpath ${TARGET})

TAG=$(restic snapshots --json | jq -r '[.[].tags[0]]|unique|.[]' | fzy)
ID=$(restic snapshots --tag $TAG --json | jq -r ".[] | [.time, .short_id] | @tsv" | fzy | awk '{print $2}')

>&2 echo "Command: restic restore ${ID} -i ${TARGET} -t /"

read -p "Press enter to continue"

restic restore $ID -i ${TARGET} -t /

(umask 0377; echo -n "<password>" > /etc/restic/key)
chmod 700 /etc/restic/cmd/config
ln -sf /etc/restic/systemd/restic.{service,timer} /etc/systemd/system/
systemctl enable --now restic.timer
systemctl status restic.timer
systemctl status restic

Restic Documentation — restic 0.12.1 documentation

Miscellaneous stuff

Kubernetes

pacman -S minikube

# see https://github.com/kubernetes/minikube/issues/4172#issuecomment-1267069635
#   for the reason having `--kubernetes-version=v1.23.1`
minikube start \
  --driver=docker \
  --cpus=max \
  --disable-metrics=true \
  --subnet=10.100.0.0/16 \
  --kubernetes-version=v1.23.1

alias kubectl="minikube kubectl --"

# Allow the control plane to allocate pods to itself
kubectl taint nodes --all node-role.kubernetes.io/control-plane:NoSchedule-

# NGINX Ingress
minikube addons enable ingress
minikube service list

# Verify
docker network inspect minikube
minikube ip # => should be 10.100.0.2
kubectl cluster-info
kubectl get cm -n kube-system kubeadm-config -o json | jq .data.ClusterConfiguration -r | yq
kubectl get nodes
kubectl get po -A

# Hello world
kubectl create deployment web --image=gcr.io/google-samples/hello-app:1.0
kubectl expose deployment web --type=NodePort --port=8080
kubectl get service web
curl $(minikube service web --url)

# Hello world through ingress
kubectl apply -f https://k8s.io/examples/service/networking/example-ingress.yaml
kubectl get ingress
curl -H "Host: hello-world.info" http://$(minikube ip)

Install useful tools

# Tips: to find packages that provide specific command, say `pygmentize`:
pacman -Fy pygmentize # => python-pygments

yay -S --needed htop mosh tmux direnv ncdu fx jq yq fd ripgrep exa bat fzy peco fastmod rsync \
  antibody-bin hub lazygit git-lfs git-delta difftastic ghq-bin ghq-gst iperf gptfdisk lsof lshw lostfiles \
  ffmpeg yt-dlp prettier age gum pyenv neofetch pqrs tea

Make SSH forwarding work with tmux + sudo

/home/op/.ssh/rc
if [ ! -S ~/.ssh/ssh_auth_sock ] && [ -S "$SSH_AUTH_SOCK" ]; then
  ln -sf $SSH_AUTH_SOCK ~/.ssh/ssh_auth_sock
fi

/home/op/.tmux.conf
set -g update-environment -r
setenv -g SSH_AUTH_SOCK $HOME/.ssh/ssh_auth_sock

(umask 0337; echo "Defaults env_keep += SSH_AUTH_SOCK" > /etc/sudoers.d/ssh)

Temperature sensors

pacman -S lm_sensors
sensors-detect
systemctl enable --now lm_sensors

# Now you can configure htop to show the CPU temps
htop

lm_sensors - ArchWiki

Telegram notifier

/usr/local/bin/telegram-notifier
#!/bin/bash

BOT_TOKEN=<your bot token>
CHAT_ID=<your chat id>
PAYLOAD=$(ruby -r json -e "print ({text: ARGF.to_a.join, chat_id: $CHAT_ID}).to_json" </dev/stdin)

OK=$(curl -s -X "POST" \
  -H "Content-Type: application/json; charset=utf-8" \
  -d "$PAYLOAD" \
  https://api.telegram.org/bot${BOT_TOKEN}/sendMessage | jq .ok)

if [[ $OK == true ]]; then
  exit 0
else
  exit 1
fi

Audio

pacman -S alsa-utils # may require rebooting system

# Grant op user audio priv
usermod -aG audio op

# List devices as root
aplay -l
arecord -L
cat /proc/asound/cards

# Test speaker
speaker-test -c2

# Test mic
arecord -vv -Dhw:2,0 -fS32_LE mic.wav
aplay mic.wav

# GUI mixer
alsamixer

# For Mycroft.ai
pacman -S pulseaudio pulsemixer
pulseaudio --start
pacmd list-cards

/etc/pulse/default.pa
# INPUT/RECORD
load-module module-alsa-source device="default" tsched=1
# OUTPUT/PLAYBACK
load-module module-alsa-sink device="default" tsched=1
# Accept clients -- very important
load-module module-native-protocol-unix
load-module module-native-protocol-tcp

/etc/asound.conf
pcm.mic {
  type hw
  card M96k
  rate 44100
  format S32_LE
}

pcm.speaker {
  type plug
  slave {
    pcm "hw:1,0"
  }
}

pcm.!default {
  type asym
  capture.pcm "mic"
  playback.pcm "speaker"
}

#defaults.pcm.card 1
#defaults.ctl.card 1

Maintenance

Quick checkups

htop # show task overview
systemctl --failed # show failed units
free -h # show memory usage
lsblk -f # show disk usage
networkctl status # show network status
userdbctl # show users
nvidia-smi # verify nvidia cards
ps aux | grep "defunct" # find zombie processes

Delve into system logs

journalctl -p err -b-1 -r # show error logs from previous boot in reverse order
journalctl -u sshd -f # tail logs from sshd unit
journalctl --no-pager -n 25 -k # show latest 25 logs from the kernel without pager
journalctl --since="6 hours ago" --until "2020-07-10 15:10:00" # show logs within specific time range
journalctl CONTAINER_NAME=service_web_1 # show error from the docker container named 'service_web_1'
journalctl _PID=2434 -e # filter logs based on PID and jump to the end of the logs
journalctl -g 'timed out' # filter logs based on a regular expression. if the pattern is all lowercase, it will become case-insensitive mode

g - go to the first line
G - go to the last line
/ - search for the string

Force overriding installation

pacman -S <pkg> --overwrite '*'

Check memory modules

pacman -S lshw dmidecode

lshw -short -C memory # lists installed mems
dmidecode # shows configured clock speed

smartctl -a /dev/sdN

# via USB bridge
smartctl -a -d sat /dev/sdN

Ext4

# e2fsck with badblocks (non-destructive read-write test) and preen enabled
# [!] umount the drive before this ops
# [!] Never perform this on an unmounted LUKS partition, as it may lead to data loss
e2fsck -vcckp /dev/sdNn

-v: Be verbose
-cc: This option causes e2fsck to use badblocks(8) program to do a read-only scan of the device in order to find any bad blocks. If any bad blocks are found, they are added to the bad block inode to prevent them from being allocated to a file or directory. If this option is specified twice, then the bad block scan will be done using a non-destructive read-write test.
-k: When combined with the -c option, any existing bad blocks in the bad blocks list are preserved, and any new bad blocks found by running badblocks(8) will be added to the existing bad blocks list.
-p: Automatically repair ("preen") the file system. This option will cause e2fsck to automatically fix any file system problems that can be safely fixed without human intervention. If e2fsck discovers a problem which may require the system administrator to take additional corrective action, e2fsck will print a description of the problem and then exit with the value 4 logically or'ed into the exit code. This option is normally used by the system's boot scripts. It may not be specified at the same time as the -n or -y options.

Fix broken file system headers

testdisk /dev/sdN

Troubleshooting

systemctl restart systemd-logind
systemctl restart polkit

A comprehensive guide to fixing slow SSH logins – JRS Systems: the blog

Annoying `systemd-homed is not available` messages flooding journald logs

Move pam_unix before pam_systemd_home.

/etc/pam.d/system-auth
#%PAM-1.0

auth       required                    pam_faillock.so      preauth
# Optionally use requisite above if you do not want to prompt for the password
# on locked accounts.
auth       [success=2 default=ignore]  pam_unix.so          try_first_pass nullok
-auth      [success=1 default=ignore]  pam_systemd_home.so
auth       [default=die]               pam_faillock.so      authfail
auth       optional                    pam_permit.so
auth       required                    pam_env.so
auth       required                    pam_faillock.so      authsucc
# If you drop the above call to pam_faillock.so the lock will be done also
# on non-consecutive authentication failures.

account    [success=1 default=ignore]  pam_unix.so
-account   required                    pam_systemd_home.so
account    optional                    pam_permit.so
account    required                    pam_time.so

password   [success=1 default=ignore]  pam_unix.so          try_first_pass nullok shadow
-password  required                    pam_systemd_home.so
password   optional                    pam_permit.so

session    required                    pam_limits.so
session    required                    pam_unix.so
session    optional                    pam_permit.so

[solved] pam fails to find unit dbus-org.freedesktop.home1.service / Newbie Corner / Arch Linux Forums

Annoying `systemd-journald-audit` logs

/etc/systemd/journald.conf
Audit=no

Missing `/dev/nvidia-{uvm*,modeset}`

This usually happens right after updating the Linux kernel.

Run docker run --rm --gpus all --device /dev/nvidia0 --device /dev/nvidiactl --device /dev/nvidia-modeset --device /dev/nvidia-uvm --device /dev/nvidia-uvm-tools -it nvidia/cuda:10.2-cudnn7-runtime nvidia-smi once.

`[sudo] Incorrect password` while password is correct

faillock --reset

Useful links

OAuth 2.0 と JWT 関連 RFC

2021-02-10T15:00:00.000Z

個人的な調査のために OAuth 2.0 と JWT 関連 RFC を発行日順に並べた。

RFC6749 — The OAuth 2.0 Authorization Framework

2012 年 10 月

OAuth 1.0a に代わる新たな認証基盤 OAuth 2.0 のコアを規定しており、特筆すべき点がいくつかある。

access_token の内容は規定されておらず、ベンダーに委ねられている
- JWS でもなんでもいい
リソースサーバーに access_token を渡す方法は規定されていない（同月発行の RFC6750 で規定された）

Authorization Grant

トークンエンドポイントでaccess_tokenを発行してもらう際に使用できる Grant (許可証)は、提案中の拡張仕様を含めて 5 つある。

Authorization Code Grant: RFC6749 – Section 1.3.1
1. grant_type=authorization_code
2. Authorization Code Grant with PKCE
Implicit Flow: RFC6749 – Section 1.3.2
1. もともと CORS (Cross Origin Resource Sharing) が登場する以前の SPA で、POST リクエストを回避しつつ Access Token を得る"妥協案"として策定された
2. CSRF 耐性が無い (RFC6819 - Section 4.4.2.5)ため、使うべきではない
Resource Owner Password Credentials Grant: RFC6749 – Section 1.3.3
1. 直接パスワードで認証する形式
Client Credentials Grant: RFC6749 – Section 1.3.4
1. クライアントシークレットでトークンを取得する形式。
Device Grant: RFC Draft — OAuth 2.0 Device Authorization Grant
1. 入力機器が無い場合もある組み込みデバイス向けの認証フロー

RFC6750 — The OAuth 2.0 Authorization Framework: Bearer Token Usage

2012 年 10 月

OAuth 2.0 において、access_tokenをリソースサーバーに渡す手法を規定する。OAuth 2.0 JWT Bearer Token Flowではない。

手法として 3 つが挙げられている。

Bearer Token (SHOULD)
Form Encoded Parameters (SHOULD NOT)
URI Query Parameters (SHOULD NOT)

OIDC — OpenID Connect Core 1.0

2014 年 11 月

OAuth 2.0 の上にいくつか仕様を足したサブセットで、OAuth (Authorization)に Authentication の機能を付与した画期的なプロトコル。

RFC7515 — JSON Web Signature (JWS)

2015 年 5 月

JSON ベースの署名プロトコル。

RFC7516 — JSON Web Encryption (JWE)

2015 年 5 月

JSON ベースの暗号化プロトコル。

RFC7517 — JSON Web Key (JWK)

2015 年 5 月

JWT の署名チェックに用いる公開鍵を配信するためのプロトコル。

RFC7518 — JSON Web Algorithms (JWA)

2015 年 5 月

JWS、JWE、JWK で利用されるアルゴリズム (alg)やその他プロパティを規定する。

RFC7519 — JSON Web Token (JWT)

2015 年 5 月

JWT は JSON を利用して Assertion を生成するための仕様。

RFC7521 — Assertion Framework for OAuth 2.0 Client Authentication and Authorization Grants

2015 年 5 月

任意の Assertion を OAuth 2.0 Client Authentication の Client Credentials として使ったり、あるいは Authorization Grant として Access Token と交換するための仕様。

トークンエンドポイントに強化されたクライアント認証を付与する。続く RFC で、それぞれ SAML と JWT を使用したパターンを規定している。

OAuth 2.0 JWT Bearer Token Flowとも呼ばれている。

RFC7522 — Security Assertion Markup Language (SAML) 2.0 Profile for OAuth 2.0 Client Authentication and Authorization Grants (2015 年 5 月)
RFC7523 — JSON Web Token (JWT) Profile for OAuth 2.0 Client Authentication and Authorization Grants (2015 年 5 月)

2015 年 5 月 https://tools.ietf.org/html/rfc7523

RFC Draft — JSON Web Token (JWT) Profile for OAuth 2.0 Access Tokens

2019 年 7 月

リソースサーバーへ渡す Access Token に JWT を使用することを定めている。

Securing Local Dev Server

2020-02-06T06:00:00.000Z

Sometimes you want to interact with a local webserver with https support because of some browser APIs that are only available in an https environment.

You can easily create a self-signed TLS cert for development purposes with mkcert.

brew install mkcert
mkcert -install # Install the local CA in the OS keychain

After installing mkcert and generating system-wide local CA cert, you can create a certificate for each project.

cd awesome-website
mkcert localhost # this will generate ./localhost.pem and ./localhost-key.pem
npm install -g serve
serve --ssl-cert ./localhost.pem --ssl-key ./localhost-key.pem

Bose Noise Cancelling Headphones 700レビュー

2019-10-25T01:49:01.000Z

Bose Noise Cancelling Headphones 700 を使い始めて一ヶ月が経ったので、現時点での印象をまとめる。

Pros

ノイズキャンセリング性能の高さ
8 台までのマルチペアリング
2 台までのマルチポイント
タッチコントロール
3 段階ノイズキャンセリングレベルコントロール
- 10 段階の内 3 つをあらかじめ選んでおき、ボタンを押してローテーションできる
- QC30 は 1 段階ずつしか変更出来ずボタンを連打させられる仕様だったので、大きな改善
バッテリーの持ちの良さ
- 15 時間くらいは動く
有線対応
- 有線時も ANC が働く
USB-C 充電対応

Cons

マルチポイント時の混線ノイズ
- 音楽再生中にもう一方のデバイスで何か通知音が鳴るとストリームに対して「プツプツ」ノイズが入る
システムサウンドが大きすぎる（変更不可）
- 公式英語フォーラムで多くのユーザーが苦情を書き込んでいるが、完全に無視されている
消耗部品の多さ
- ヒンジ部分はケースに仕舞う度に動かなさいといけないため消耗が心配
- 一般論として、可動部が多いほど故障率が上がる
本体側での接続先選択が不可能
- QC30 では出来ていた本体側のボタンで接続先を選択できる機能が無くなっていた
ボタン配置のミス
- ボタンが手に触れやすい位置にあるため、ヘッドホンを外す度に間違って押してしまう
ストリーム元とボタンの送信先が異なるバグ
- マルチポイント接続で一方のデバイスで音楽を流している際に、再生ボタンの信号が音楽を流していない方のデバイスに送信されてしまうバグがある

プログラムの速度改善が誤差かどうかを統計的に調べる

2019-10-02T23:21:00.000Z

Welch の t 検定を用いて 2 つのベンチマークの分布の平均が等しい（速度差は誤差の範疇）か、あるいは異なる（=有意な速度改善が成されている）かどうかを判定したい。

ベンチマーク用に TypeScript プログラムを用意した。

a.ts
function a() {
  const noise = Math.random() - 0.5;
  const offset = 1.0;
  const t = noise * 2 + offset;
  setTimeout(() => console.log(t), t * 1000);
}
a();

b.ts
function b() {
  const noise = Math.random() - 0.5;
  const offset = 2.0;
  const t = noise * 2 + offset;
  setTimeout(() => console.log(t), t * 1000);
}
b();

まずhyperfineで 2 つのプログラムのベンチマークを取り、result.jsonに保存する。

hyperfine 'ts-node a.ts' 'ts-node b.ts' -r 50 --warmup 3 --export-json ab.json

result.jsonの中身は以下のようになる。

result.json
{
  "results": [
    {
      "command": "ts-node a.ts",
      "mean": 1.9369869248950002,
      "stddev": 0.6074252496423262,
      "median": 2.005230080295,
      "user": 1.549546345,
      "system": 0.08031985000000001,
      "min": 0.8807363742950001,
      "max": 2.830435366295,
      "times": [
        1.4010462692949999,
        2.830435366295,
        1.010024359295,
        1.159667609295,
        1.8311979602950001,
        ...
      ]
    },
    {
      "command": "ts-node b.ts",
      "mean": 2.833931665055,
      "stddev": 0.6505564501747996,
      "median": 2.7373719187950005,
      "user": 1.5474132649999999,
      "system": 0.07978893000000001,
      "min": 1.938184970295,
      "max": 3.946562622295,
      "times": [
        2.2806011012950003,
        2.0140897212950004,
        2.1835023382950003,
        2.304886362295,
        3.8122057912950003,
        ...
      ]
    }
  ]
}

t 検定はサンプルが正規分布に従っているという仮定を置いているため、大数の法則から本当はもっと試行回数を増やした方が良い。

このresult.jsonのtimes配列を受け取り、2 つの分布間に有意差があるかどうかを判定する。

import fs from "fs";
import { jStat } from "jstat";

const log = console.log;

const sum = (x: number[]) => x.reduce((a: number, b: number) => a + b); // 総和
const sqsum = (x: number[], mu: number) =>
  x.reduce((a: number, b: number) => a + (b - mu) ** 2); // 自乗誤差の総和

function ttest(X: number[], Y: number[]) {
  const Xn = X.length; // サンプル数
  const Yn = Y.length;
  log(`Xn = ${Xn}`);
  log(`Yn = ${Yn}`);

  const X_mu = sum(X) / Xn; // 平均
  const Y_mu = sum(Y) / Yn;
  log(`X_mu = ${X_mu}`);
  log(`Y_mu = ${Y_mu}`);

  const X_sigma = sqsum(X, X_mu) / (Xn - 1); // 不偏分散
  const Y_sigma = sqsum(Y, Y_mu) / (Yn - 1);
  log(`X_sigma = ${X_sigma}`);
  log(`Y_sigma = ${Y_sigma}`);
  const t = (X_mu - Y_mu) / Math.sqrt(X_sigma / Xn + Y_sigma / Yn); // t値
  log(`t = ${t}`);
  const df =
    (X_sigma + Y_sigma) ** 2 /
    (X_sigma ** 2 / (Xn - 1) + Y_sigma ** 2 / (Yn - 1)); // 自由度
  log(`df = ${df}`);
  return jStat.studentt.cdf(-Math.abs(t), df) * 2.0; // p値
}

const filename = process.argv.slice(2)[0];
const result = JSON.parse(fs.readFileSync(filename).toString());
const X = result.results[0].times;
const Y = result.results[1].times;
const p = ttest(X, Y);
log(`p = ${p}`);
log(`p < 0.05 = ${p < 0.05}`);
log(p < 0.05 ? "Possibly some difference there" : "No difference");

ここでX_muは分布 X の平均、X_sigmaは分布 X の不偏分散だ。

これを X と Y 両方に対して求めます。さらに以下のようにして t を求める。

t 分布の累積密度関数 (Cumlative Distribution Function; CDF) を定義する。面倒すぎたのでjstatのstudentt.cdfを使った。コードを見ると、分子の積分はシンプソンの公式を使って近似していた。

CDF を用いて p 値を求める。両側検定をするので 2 を掛ける。t 分布の自由度 (degree of freedom; df) はなので、両分布の自由度をで与える。本当は

で求める必要があるが、さぼって近似した。

結果

異なる実行時間を示すプログラムa,bを比較すると、2 つの分布の平均が異なることが示唆された。

❯ ts-node test.ts ab.json
Xn = 10
Yn = 10
X_mu = 1.8022945422950003
Y_mu = 2.9619571628950006
X_sigma = 0.6067285795623545
Y_sigma = 0.6593856215802901
t = -3.2590814831310353
df = 17.968919419652778
-0.0001571394779906754
p = 0.004364964634417297
p < 0.05 = true
Possibly some difference there

p 値が 0.05 未満となり、帰無仮説「２つの分布は等しい」が棄却されたので「２つの分布は等しくない」ことがわかった。では、同じプログラム同士でベンチマークを取るとどうなるか？

❯ ts-node test.ts aa.json
Xn = 10
Yn = 10
X_mu = 1.7561671737900002
Y_mu = 1.9892996860899999
X_sigma = 0.5127362786380443
Y_sigma = 0.442053230382934
t = -0.754482245774979
df = 17.901889803947558
-27359.526584574112
p = 0.4603702896905685
p < 0.05 = false
No difference

p 値が 0.05 未満ではないため、帰無仮説は棄却されず、つまり「２つの分布は等しい」ことがわかった。

ウェルチの t 検定はスチューデントの t 検定と違って等分散性（２つの分布の分散が等しいこと）を仮定しないため、とても取り扱いやすい検定だ。もちろん等分散性のある分布でも使用できるので、基本的にはウェルチの方法を使う方針で良さそうだ。

参考文献

Welch's t-test - Rosetta Code

Give Your App Slick Name with namae.dev

2019-08-28T09:12:00.000Z

Have you ever struggled with naming your new OSS project or web app? While hoping no one claimed your desired one in GitHub, npm, Homebrew, PyPI, Domains, etcetera, choosing the best name is weary work.

That's why I created namae.

namae

namae is an inter-platform name availability checker for developers and entrepreneurs.

Once you fill out a form with a name you want to use, namae will check through various registries and check if the name is already in use or not.

Supported Platforms

namae supports 15 package registries and web platforms, and it's growing.

Domains
GitHub Organization
npm / npm Organization
PyPI
RubyGems
Rust (crates.io)
Homebrew / Homebrew Cask
Linux (Launchpad & APT)
Twitter
Spectrum
Slack
Heroku
ZEIT Now
AWS S3
js.org

Additionally, the search result comes with a list of projects which has a similar name on GitHub and App Store.

Name Suggestion

namae also has a unique feature called Name Suggestion. It suggests auto-generated names made up of common prefix/suffix and synonyms. Take look at some examples.

Clicking the suggestion, namae completes the form with it and start searching around the registries.

Open Source

namae is completely open-sourced and the entire source code is available at GitHub. It consists of Node.js Lambda for APIs and React app for the web frontend, and is running on ZEIT Now.

Conclusion

namae saves your time searching for a universally available name around a set of hosting providers and package registries.

Go to namae.dev and grab a report for the availability of your future product name. If you have any suggestion, poke me on Twitter ([@uechz](https://twitter.com/uechz)).

Electronアプリをコード署名してApple 公証 (Notary) を通過させる方法

2019-06-04T06:00:00.000Z

electron-builder を利用して macOS 向け Electron アプリをコード署名し、公証を通過させる。

tl;dr: コード署名と公証に対応した macOS アプリ Juno のリポジトリをGitHub で公開している。

Code Sign

アプリのコード署名はelectron-builderによって自動で行われる。内部的にはelectron-osx-signが使用される。

リリース用のアプリにコード署名をするには、Keychain に有効な Developer ID Certificate が格納されている必要がある。macOS Developer Certificate は開発用のコード署名にしか使えないため、リリース用としては不十分だ。

まだ証明書を発行していない場合は、Apple Developerで証明書の追加ウィザードに進み、Developer ID Applicationを選択して証明書を発行する。

Notarize

コード署名済みのアプリをelectron-notarizeを使用して Apple Notary Service に提出する。

const { notarize } = require("electron-notarize");
notarize({
  appBundleId,
  appPath,
  appleId,
  appleIdPassword,
  ascProvider,
});

appBundleId: アプリの Bundle ID 。package.jsonのbuild.appIdと同じものを使う。
appPath: .appの絶対パスを指定する。
appleId: Apple Developer として登録している Apple ID を指定する。
appleIdPassword: Apple ID のパスワード。2 要素認証を必要としないパスワードが必要なので、Apple IDにアクセスしてApp-specific Passwordを発行する。
ascProvider: Apple Developer の Membership に記載されているTeam IDを指定する。

electron-builder の afterSign フック

electron-builder の afterSign フックを使用して、コード署名が済んだアプリを自動で Notary に提出する。

フックスクリプトを./scripts/after-sign-mac.jsに置く。

const path = require("path");
const { notarize } = require("electron-notarize");

const appleId = process.env.APPLE_ID;
const appleIdPassword = process.env.APPLE_PASSWORD;
const ascProvider = process.env.ASC_PROVIDER;

const configPath = path.resolve(__dirname, "../package.json");
const appPath = path.resolve(__dirname, "../dist/mac/App.app");
const config = require(configPath);
const appBundleId = config.build.appId;

async function notarizeApp() {
  console.log(`afterSign: Notarizing ${appBundleId} in ${appPath}`);
  await notarize({
    appBundleId,
    appPath,
    appleId,
    appleIdPassword,
    ascProvider,
  });
  console.log("afterSign: Notarized");
}

exports.default = async () => {
  await notarizeApp();
};

package.jsonのbuildにafterSignを追加して、コード署名が終わった後にスクリプトが実行されるようにする。

"build": {
  "afterSign": "./scripts/after-sign-mac.js"
}

Hardened Runtime and Entitlements

このままでは公証に失敗する。デフォルトで書き出されるバイナリでは、セキュリティの強化されたHardened Runtimeが有効になっていないためだ。以下のようなエラーメッセージが帰ってくる。

{
  "status": "Invalid",
  "statusSummary": "Archive contains critical validation errors",
  "statusCode": 4000,
  "issues": [
    {
      "severity": "error",
      "code": null,
      "path": "App.zip/App.app/Contents/MacOS/App",
      "message": "The executable does not have the hardened runtime enabled.",
      "docUrl": null,
      "architecture": "x86_64"
    },
  }
}

そこで、package.jsonのbuild.mac.hardenedRuntimeをtrueにして Hardened Runtime を有効にする。

"build": {
  "mac": {
    "hardenedRuntime": true
  }
}

Hardened Runtime 下では、必要に応じて Entitlement を指定しなければならない。Electron の実行にはallow-unsigned-executable-memory Entitlement が必要だ。そこで、entitlement.plistファイルをbuildフォルダに作成し、以下のような plist を記述する。

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
  <dict>
    <key>com.apple.security.cs.allow-unsigned-executable-memory</key>
    <true/>
  </dict>
</plist>

package.jsonのentitlements及びentitlementsInheritに Entitlement が記述された plist のファイルパスを指定する。

"build": {
  "mac": {
    "hardenedRuntime": true,
    "entitlements": "./src/build/entitlement.plist",
    "entitlementsInherit": "./src/build/entitlement.plist"
  }
}

Hardened Runtime で Electron を実行することができるようになったので、Notary を通過できる状態になった。

実際にelectron-builderを実行して、すべてのプロセスが滞りなく動作することを確かめよう。

Verify Notary Status

ただしく公証を得られたかどうかはaltoolで調べることができる。

公証通過後に送られてくるメールにRequest Identifierが記載されているのでメモする。

Dear uetchy,

Your Mac software has been notarized. You can now export this software and distribute it directly to users.

Bundle Identifier: <Bundle ID>
Request Identifier: <UUID>

For details on exporting a notarized app, visit Xcode Help or the notarization guide.
Best Regards,
Apple Developer Relations

xcrun altool --notarization-infoコマンドに UUID と Apple ID、パスワードを指定して公証ステータスを確認する。

xcrun altool --notarization-info <UUID> -u $APPLE_ID -p $APPLE_PASSWORD

正しく公証が得られている場合は以下のようなメッセージが表示される。おめでとう！

2019-06-05 13:51:18.236 altool[5944:261201] No errors getting notarization info.

   RequestUUID: <UUID>
          Date: 2019-06-05 04:45:54 +0000
        Status: success
    LogFileURL: https://osxapps-ssl.itunes.apple.com/itunes-assets/Enigma123/v4/<Log file identifier>
   Status Code: 0
Status Message: Package Approved

参考文献

英語メモ

2019-01-17T01:31:00.000Z

雑多なメモです。

spin up - 立ち上げる
woe - 悲しみ
a little too - 少し〜すぎる
all that much - それほど（否定形で）
- family doesn't mean all that much to you.
articulate - 考えをはっきり述べられる
concordant - 調和した
ergo - それ故に
- かたい ergo - thus - therefore - so やわらかい
endeavor - 努力
- I myself struggle with the endeavor of mastering the English language
vis-à-vis - 〜と向かい合って、〜と比較して
takeaway - 要点
thoroughly - 徹底的に
have little to do with ほとんど関係がない
As well as I recall, - 記憶している限りでは、
He is more of a researcher - どちらかというと研究者だ
It is more a matter of feelings. - どちらかというと気持ちの問題だ
more of a curse than a blessing - メリットよりデメリットが多い
manifold — 多数の
three-fold — 三倍
evade — 避ける = avoid
- a word that evades definition — 定義しにくい言葉
don't be fooled by A — A に惑わされるな
thrice — とても
- Circuit Judge Joseph Bulone called 49-year-old Michael Drejka a “wanna-be” law enforcement officer and a self-appointed “handicapped parking space monitor.”
encapsulate — 包容している
atm — at this moment
so far — これまで
SMDH — Shaking My Damn Head
micro stutter — プログラム上の細微な遅延
- When characters are missing from fonts, it's nice to be able to communicate to the user that this happened. — フォントに文字が欠けている場合、それをユーザーに伝えることができると便利です。
for the sake of A — A の名のもとに
- Firefox has abandoned subpixel-AA for the sake of simplicity — Firefox はシンプルさの名のもとにサブピクセル AA を棄てました。
- The entire idea behind subpixel-AA is that you are abusing how the pixels are laid out in a display. — サブピクセルアンチエイリアスは、ディスプレイにピクセルがどのように配置されているかという知識を基に成り立っています。
a reasonable balance — 適度なバランス
That said, — とはいえ、
A with B on it — B が乗っている A
can play a bit fast and loose with A — A を大雑把に扱える
current iteration of A — 現行の A
A doesn't play nice with B — B がため A が上手く動かない
- our current iteration of search doesn't play nice with CJK characters
Tried out and see what happens — 試して成り行きを見てみた
Losing your shit — the state of being pushed over the edge of sanity and having a complete and utter freak out or mental/emotional breakdown ≒ お前は完全にイッちまうぜ

And this is a Tech Forum, AND it's supposed to be a safe space. — そしてここは技術フォーラムであり、かつ心理的安全性が確保されているべき場所だ。 If you don't want to answer questions for "n00b", then don't answer. — "初心者"の質問に答えたくないなら、ただ口をつぐんでくれ

Have you thought of what you’ll do after you retire? — 引退したらやりたいことについて考えたことある？

any of those — これらどれでも (all of, every と交換可能 | 肯定文)
there aren't any apples on the floor (否定の場合は any の後に複数形)
you will likely do A — あなたは A することだろう
99% of the time this is what you want to use — 99%これを使えば良い
The one catch is that — 例外は、
I ended up settling for this which looks incredibly anti-pattern-y but was the only option that wouldn’t explode on me — 最終的にこれに落ち着いた。アンチパターンっぽいけど僕にとっては一番安定している
Why was that even created? — まずなぜこれが作られたの？
Putting the main code in another function serves two purposes:
one week cannot and should not define any team
it go to show that A — A ということの証明となる
A is to not have B — 「A」とは、B を持たないことである

wireless charging is kinda funny because it really goes to show that the only way to get the tech industry to agree on a unified connector is to not have a connector

me: it’s not that I mind freelancing, I love it. It’s just that the social interaction is pretty minimal and extremely uneven day-to-day and sometimes I wonder how that will affect me long term, you know? barista: ok are you going to order

constitute, make up

glad you’re happily situated elsewhere now. — あなたが他の場所で活躍しているようで嬉しい

My dA account turned 10yo. In fact, I had spent 99% of the time as a lurker and six months ago finally started drawing and posting art.
A conditional request is one that triggers if something happens, like: "If you don't quit talking, I am gonna have to ask you to leave." In this case, you can't really say, "If you don't quit talking, I have to ask you to leave." So even though it's not really conditional, using a conditional form is more polite because it's less direct.
come to pass
come across

I would also half-expect the following sentences to contain further information on this particular group of students, like this:

It uses the definite article before "majority of the students", as if referring to a known group.

This sentence uses the indefinite article before the "majority of the students". This has the effect of introducing this group of students to the reader or the listener.

It may give a hint that the exact number of the students that will vote is uncertain: it could be 51%, but then it could be 88%.

Design is not just a visual thing, it's a thought process. it's a skill.

at will — 意思次第で
for asking — 望むなら
fuck A up — A をボコボコにする
friendly reminder - a euphemism for "this is the last warning"
I feel attached
I feel called out

Lots of bittersweet feelings over this

LRT: My favorite part of this is the upload on Youtube that's titled "Iwata vs Reggie (full fight)" like it was stitched together from multiple episodes of Naruto.
get around to — 先延ばしにしていたことにやっと取り掛かる
Finally got around to writing something on @ThePracticalDev, which was a really great experience!
wordy, lengthy — 言葉の多い、冗長な
A teenager not old to buy a six-pack — ビールも買えない年頃の子供
It is likely that 未来形 — 〜になるだろう
- It's likely that the affair will come to nothing — どうやら無事に治まりそうだ
We will most likely do A — 我々は必ず A をするでしょう
chirring - 虫が鳴く; bugs chirring
what are you waiting for
with a grain of salt — 割り引いて（考えて）

learning foreign languages is for me lifelong hobby. knowledge likely to requires much time to acquiring but it never decays.

sees client, whistles loudly

weston comes out of nowhere running on all fours like a gorilla towards client

I don't even understand how there can be HOURS of planned downtime for a service like this.

And what could go wrong, in depending on the internet to keep the child warm

the developer advocate in question understands the language barrier, it would seem; he’s not a native English speaker. regardless, his stance puts many who haven’t had a strong English education at a disadvantage. it prioritizes “getting things done” over people...

save my dying cactus. what's wrong. cactus should have been easy stuff since they barely need water.

higher form of something

i hope it will inspire Americans to pursue a second language

I love the fact that

let's see if the result is the same (spoiler alert: it wasn't)

Feature engineering is when we use existing features to create new features to determine if they provide new signals to predict our outcome.

The happiest moment of my life was when I passed the entrance test.

Controversial opinion: Every single opinion is controversial.

Actually, my younger brother is a bit of a chav. — 弟はちょっとヤンキーなんだよ。
take leap of faith 確証が持てないことを信じること（盲信とは違う）
icky — 古めかしい
adherence — 執着 one's adherence to A
belief — 信念
on principle — 道徳的見地から
in set terms — 決まり文句で
(Evening|Cold weather) has set in — (夜に|寒く)なった

i feel like i'm most productive when i'm avoiding some other kind of responsibility

be more of A — どちらかといえば A である; He is more of a researcher.
be more of A thant B — B というよりむしろ A だ
see less pain but also less joy — 痛みを感じることも少ないが喜びも少ない
in term of A — A の観点から

Go

go into 何かを始める；状態に入る；費やされる
go down 降りる；落ちる；低下する; go down on all fours — 四つん這いになる
go easy on fellow insiders 身内に甘い；身内に手加減する
go easy with her 彼女に優しくしろよ

Get

get over it （障害を）乗り越えろ
get out 出て行く
get down on A for B — B したことに大して A を批判し続ける
get down to [verb.] — やっと始める。
get in — 乗り込む
too much to take - 手に負えない
de rigueur - 慣習上必要不可欠
utterly - 完全に

make sure you know what the author expects you to know.

The doom-laden feeling that this creates in us is then intensified by our inability to remember the past;
smoke-laden 煙が立ち込めた
doom-laden 厭世観で満ちた

Thanks to his help, we managed to finish the work in time. 彼のおかげでなんとか時間内に仕事を終えることできた

Thanks to the development of medicine, people have been able to live longer.

Owing to the rise in oil prices, people are forced to use public transportation.

The balloon is likely to burst at any time その風船は今にも爆発しそうだ

It is because the air was polluted that the experiment was a failure. The experiment was a failure because the air was polluted.

Thesis. Remote companies have less of an echo chamber since they are distributed. Thoughts?

Obviously they should A, and B when C. Not D forever.

Still - there is no A, just B.

I think people are angry because Slack A, B and is C. No D, no E.

Because he's the kind of person who likes helping others and is always gentle and kind as you described

it was more difficult to get it wrong than guess it right! XD

I'm pretty sure there was a lot of uproar about the Equifax thing

Idioms

Don’t make me blush XD — 恥ずかしい XD
Think before you speak next time — 次からは考えてから話せ
just a citation of the law they're overcompensating for — 彼らは濫用している法律の引用ただそれだけしか示してない
repeal — 撤回する
no respect for their users — ユーザーに対する敬意がない
be now going the A route — 今度は A 作戦ときた
in a blunt fashion — 露骨なやり方で
"DM us, we'll take a look!" faux-friendly route — 偽りの友情作戦「DM で詳しく話を聞かせて！」
reinstate — （アカウントを）復活させる
shut the whole thing down — 全てを終わらせる
as if, as though — 後者は話者の疑いが現れている. 仮定法過去を取る. It's as if I were a movie star.
predominatly — 大抵は. Your costs are predominantly human labor.
a myriad of A — 無数の A
funnel toward 狭いところを前へと通る
in a verifiable manner — 検証可能な方法で
in a frigid manner — 冷たい態度で
are expressed as — 〜として表せる
a cup of tea — 好きなこと、得意なこと (It's not my cup of tea)
I have a lot on my plate — やることが沢山ある
It's a piece of cake — 朝飯前、超簡単
can enforce fine-grained control over — 何かをきめ細かく制御することができる
C’est la vie! — それが人生
What’s done is done — 終わったものは仕方ない
If you've got it, flaunt it — 良いものは隠さないで
clench my teeth — 歯を食いしばる（って耐える）

Hello, I just came across this wonderful library and was really intrigued by it :)

When teaching, be careful not to mix up "" and "".

life saver under this condition
It turned to be such great experience, I couldn’t miss opportunity to share it
I like Makefiles, they are simple and yet very powerful.
To my surprise — 驚くべきことに
I did it out of curiosity — 興味本位でやった
If you're of the belt-and-suspenders mindset, consider setting UsePAM to 'no' as well. — 心配性な性格のこと
you can cancel it as long as it has not been matched — 〜されていない限りいつでも
By definition — 定義によると
A found B C — A は B が C だと思った
in that — という点において
Iconoclast — 因襲打破主義者

Researchers spend a great deal of time doing something — 研究者は多くの時間を〜するのに割いています。

~ upon demand for ~ — _{の要請に応じて}
Granularity — 粒度
in a manner — いわば、ある意味
periodic – 定期的 <=> sporadic – 不定期的
abuse — 名詞は(a)bjú:s 動詞は(a)bjú:z
eavesdrop — 盗み聞きする
hypernym – 上位概念 <=> hyponym – 下位概念
in this case — 今回の場合
imply, represent, mean, stand for, refer to — 意味する
redundant — 余剰であり過剰であり不必要なもの
appropriate, proper, reasonable — 妥当な
barely — かろうじて、ほとんど〜ない

The iPad already has external keyboard support and an external trackpad support would go a long way to making the iPad a Mac replacement.

Countless wrong inferences could be drawn from those observation.

it drives me crazy [nuts] — イライラさせられる
describes the steps that are involved in ~ — ~に関する手順について説明する
前置詞 in は特徴の違いを、of は程度の違いを表す
A is in proportion to B — A は B に比例している
A is out of proportion to B — A は B に反比例している
受動態は不自然に手を加えられて発生した結果に付随する、能動態は自然に発生した場合に付随する — our profits were increased は不正があったかのような表現、our profits increased が正しい
be collectively known as A — A と総称されている
Any links to this, as to be honest nobody is providing evidence, just lip-service relying on the ignorance of most readers
in a great hurry - 大急ぎで
gross 名詞 — 明らかな〜, a gross oversimplification - 明らかに過度な簡略化
among — 〜の間で — in, through で代替可能
throw A away — A を捨てる、A を無駄にする
throw A up — 急にやめる
be quick to — すぐ〜する。(People are quick to alienate outsiders 人々はすぐよそ者を阻害する)
incredulous at — 〜を容易に信じない
lack of standards for — 〜に対するけじめの無さ
ludicrous, ridiculous — 馬鹿げた
derogatory — 差別的な
A that it was B — A だったので、B , 便利な接続詞
After (p.p.), He (p.) — 〜の後、彼は〜した
vicious — 凶悪な
relentless, ruthless — しつこく、in の時は徹底的な
mercilessly — 無慈悲に
reckless — 無謀な
profound — 心理的影響が重大な、深刻な(物理的には deep が適切)

I felt like a coward hiding this from people — それを隠すことで自分が臆病者に思えた

While training for the marathon, she was relentless in following the same schedule — マラソンの練習の間、彼女は同じスケジュールをしつこいほど守った。

His history of A led to B — 彼が A を繰り返したせいで B を招いた。
hatred — 憎悪
coarse — 粗い
B with A everywhere — A がいたるところに散乱している B
people, all, the crowd — 人々

A was quick to spot the potential of the Internet — A はインターネットの可能性をいち早く見出した

a man who's nice to be around — そばに居てくれると助かる親切な人
His generosity knows no bounds — 彼の寛大さには限りが無い
borad-minded — 心が広い
in one way or the other — どのみち、ある意味 e.g. This inspired you in one way or the other これはある意味あなたをインスピレートした
to some extent — ある程度は、e.g. Travelling only helps to some extent 旅行はある程度それを助ける
close-knit — 密接に関係している
hot take — 走り書き
cost an arm and a leg — 大変な金がかかる
person with a forgiving nature — 寛大な心の持ち主
we are on the same page — これで我々の認識が一致しましたね
in that — という点で。 Man differ from animals in that they can think and speak.
That said, — とは言え。ですから。

p.p. the present progressive form, 現在進行系

There have long been allegations that という噂がある
The antisocial behaviour you are naturing あなたが心に抱いている反社会的行動
have a lot to do with ～によるところが大きい

一般に前置詞＋ who(m)は既知の情報を確認する際に, who ＋前置詞は新しい情報を求める際に好まれる

This is sure to satisfy those who are into computers. これはコンピュータにはまっている人をきっと満足させるだろう

I've always wanted to study abroad someday but I haven't been able to yet.

複文と分詞構文

A typhoon hit the city, causing big destruction.
While skiing in Hakuba, I twisted my ankle.
Not knowing what to say, she kept silent.
Seeing me, the man ran away. ←→ As the man saw me, he ran away.
Written in simple English, this book is easy to understand. ←→ Since this book is written in simple English, it is easy to understand.
Walking along the beach, I found a beautiful shell. ←→ When I was walking along the beach, I found a beautiful shell.
and そうすれば or 然もなくば but けれども so だから、それで for というのも nor 〜もまた、〜ではない
She is not a politician, nor is she a diplomat.

when

未来の条件を表す場合は現在形を使う When I arrive at the station, I'll call you.
過去の時を表す場合は過去形 When I was a child, I used to like soccer.
未来の可能性を話す場合は未来形 I don't know when he will come.

happened to — たまたま、偶然、もしかして
Do you happen to know if she has a boyfriend? — あの子に彼氏いるのかな？

不定詞は名詞・形容詞・副詞的働きをする動詞ベースの詞のこと

to 不定詞が unrealized(未実現)、-ing が realized(実現)

I want (to eat an apple)← 名詞的
Thank you for playing the game

She is studying English hard to study abroad.
She study English hard to study abroad.

違いは？

only to A — 思わぬ悲観的な事実を説明する clause
- He returned after the war only to be told that his wife had left him.
- I tore open the box, only to discover that some of the parts were missing.
- I arrived only to find that the others had already left.

倒置法

So do I — 私も！(I like apple に対して)
So am I — 私も！(I'm twenty years old に対して)
Here comes bus — もうバス来たよ
Here we go — ほら行こう
In you go — 中にお入り
What a shitty day — なんて日だ
How beautiful (that is) — なんて綺麗なの
"I'm fine", said he — 大丈夫だと彼は言った
Dark as(though) it was, I found the footprints. — 暗かったが、なんとか足跡を見つけた
Hard though she tried, she couldn't make the deadline. — 頑張ったが間に合わなかった
Do what you will, I won't give up — 何をされようとも諦めない
Walk as he would, he couldn't get to the station. — どんなに歩いても駅にたどり着けなかった

"We live in a world of churn, but we do not have to accept high churn rates as the only reality." from "Subscription Marketing: Strategies for Nurturing Customers in a World of Churn (English Edition)" by Anne Janzer 45 Ways To Avoid Using The Word 'Very' - Writers Write

I still hate that "atheist" now is code for "bigoted asshole."

Life only comes around once. So do whatever makes you happy and be with whoever makes you smile！๑╹◡╹)ﾉ…

This is exactly what I thought was gonna happen when I saw those tweets, thank you…

@Nodejs and @the_jsf have merged to form the #OpenJSFoundation! The OpenJS Foundation is to become the central place to support collaborative development of #JavaScript and web technologies.

I love critical thinking and I admire skepticism, but only within a framework that respects the evidence.

In earlier versions of TypeScript, we generalized mapped types to operate differently on array-like types. This meant that a mapped type like Boxify could work on arrays and tuples alike.

a cool thing about the last few years is that the U.S. became the leading exporter of the intellectual machinery of western fascism and one of the leading domestic debates about it is whether undergrads are treating the people behind it politely enough

Perhaps it would be less of a debate if they were more circumspect in who/what they call fascism. The main criticism seems to be that they have a lot of false positives in their "fascist-test" and treat anyone who points this out as fascist fellow travellers

Universities are filled with people who feel like they are competing against their colleagues. When you do this, you end up constantly looking in front of you, feeling bitter. Or looking behind you, becoming arrogant. Run your own race. — Marc Lamont Hill https://twitter.com/marclamonthill/status/1109500482500939776?s=12

Much discussion about bias in ML due to the training dataset - this has been an active area of study for a long time in population genetics, and is still not fully resolved — Miriam Huntley https://twitter.com/iam_mir_iam/status/1108819635959418881?s=12

Welcome to the FGO NA Twitter. If you look to your left, you'll see the salty people club that are currently sulling about not pulling Okita. If you look to your right, you'll see the angry weeb club still screeching about Emiya Alter. Please enjoy your stay.… — ℭ𝔦𝔫𝔡𝔢𝔯 𝔉𝔞𝔩𝔩 https://twitter.com/zettainverse/status/1109231751019278337?s=12

Probably one of the most auto-bookmarkable post I've seen in a while, regardless of skill level with git: — Ben Halpern 🤗 https://twitter.com/bendhalpern/status/1135319291568562176?s=12

Now announcing tsconfig-api 🎉 An experimental microservice for retrieving @typescript compiler option details 🔎 100% open source and hosted by @zeithq Now — Matterhorn https://twitter.com/matterhorndev/status/1138610398159147008?s=12

Amid all of the chaos, an answer could be found. There’s a special kind of joy in UI libraries when you see small primitives working. Like maybe it’s a two rectangle demo. But you’ve already learned that thanks to composition, if it worked for two rectangles, you can make it work for a whole FB/Twitter-level app. — Dan Abramov https://twitter.com/dan_abramov/status/1143911059717263360?s=12

Yes, assuming something will work like literally every other software that has ever been created will work is subjective. Super annoying that these people are so insecure about themselves that they have to do that kind of thing.… — Kent C. Dodds https://twitter.com/kentcdodds/status/1147142716280602629?s=12

Honest question: how does banning people from an opportunity to build a professional presence and potentially escape an oppressive regime advance human rights?… — Dan Abramov https://twitter.com/dan_abramov/status/1154871232459956224?s=12

The national flag of Japan is a rectangular white banner bearing a crimson-red disc at its center. This flag is officially called Nisshōki (日章旗, the "sun-mark flag"), but is more commonly known in Japan as Hinomaru (日の丸, the "circle of the sun"). It embodies the country's sobriquet: Land of the Rising Sun. reading this tweet is weird because at first you're like "hahaha they're not used to how gacha works" then you realize you've just been conditioned into being ok with predatory game models You're offering subjective value assessments, not facts.… — Levi Roach https://twitter.com/DrLRoach/status/1172907254892421120?s=17

My takeaway is that I'm starting a support group for design systems engineers across the world. 😛 We're all going through different versions of the same challenges at each of our companies and it's always encouraging to share information about where we are in this journey. — Maja Wichrowska https://twitter.com/majapw/status/1187891828189589504?s=17

padStartにおけるpadSizeの求め方

2019-01-13T06:00:00.000Z

padStart における適切な padSize の求め方。

const padSize = Math.ceil(Math.log10(arr.length + 1));

arr.forEach((item, index) => {
  console.log(`${index.padStart(padSize, "0")}: ${item}`);
});

結果は以下のようになる。

01: item1
02: item2
03: item3
04: item4
05: item5
06: item6
07: item7
08: item8
09: item9
10: item10

Math API: LaTeX Math as SVG image

2018-10-22T09:19:00.000Z

I've always wanted to put LaTeX Math equations on a web page where MathJax is not allowed to run inside it.

Spending some time, I made Math API, that renders LaTeX Math markup into an SVG image.

So you can place your equation on almost everywhere on which you could put <img> or Markdown (![]()), such as GitHub, Jupyter Notebook or dev.to (here!).

![](https://math.now.sh?from=\LaTeX)

Equation

![](https://math.now.sh?from=\log\prod^N_{i}x_{i}=\sum^N_i\log{x_i})

Equation

Inline image

It is possible to generate an inline equation by changing the query from from to inline.

<img src="https://math.now.sh?inline=\\LaTeX" />

Online Editor

Also, there is the online editor available at https://math.now.sh.

Conclusion

The source code is available on GitHub. Give it a try and leave a comment/idea for a new feature.

Comparing OSS on GitHub

2018-09-22T09:21:00.000Z

You are making a decision on which open source project you would adopt for your newly developing application.

This time it is a little bit difficult for you because the candidates are seemingly almost the same in a functional perspective.

So let's delve into this from a different perspective: contributors and users activities.

More stars, forks, and watchers are the good vital sign of a vibrant project, which indicates many users getting involved with the project.
More issues stand for both good and bad sign but basically it indicates their activeness.
Organization owned projects are, in most cases, more stable and robust than user owned projects.
Size of the repository have complexed meanings but in practice, simpler code is better than the massive one if both are trying to achieve the same goal.

I made a simple tool to get you covered with the above guidelines.

gh-compare

gh-compare is a simple terminal app to explore your candidates and aggregate a result into a nice-looking report.

npm install -g gh-compare
gh-compare facebook/react vuejs/vue riot/riot

You will see the GitHub activities for each candidate at once. It could help you to decide which library you would adopt!

Warmly welcome to any comments/ideas to improve gh-compare!

uechi.io

Building mozc for macOS

Build environment

Build mozc

国内のルート認証局とACME対応状況

概要

国内唯一のルート認証局は SECOM が所有

個人が取得可能かつ自動更新に対応しているワイルドカード証明書の年間料金

ACME

JPRS が ACME に対応

3.2.2.4.7 DNS Change

3.2.2.4.18 Agreed-Upon Change to Website v2

3.2.2.4.19 Agreed-Upon Change to Website - ACME

4.2.4 CAA レコードの確認

ACME クライアント

解剖学アトラス

ノート

教科書

グレイ解剖学 原著第 4 版

アトラス

ネッター解剖学アトラス 原著第 6 版

グラント解剖学図譜 第 7 版

プロメテウス解剖学アトラス 解剖学総論／運動器系 第 3 版

プロメテウス解剖学アトラス 口腔・頭頸部 第 2 版

プロメテウス解剖学アトラス 胸部／腹部・骨盤部 第 3 版

プロメテウス解剖学 コアアトラス 第 3 版

カラーアトラス

解剖学カラーアトラス 第 8 版 A Photographic Atlas

人体解剖カラーアトラス 原著第 8 版 Clinical Atlas of Human Anatomy

アプリ

Human Anatomy Atlas

Web サイト

知見

用語

手のひらサイズのオイルランタン

特徴

材料

手順

使用法

🔥 燃焼時間

製作メモ

UCO キャンドルランタンの寸法 (mm)

やってみたい

失敗例: M6 ボルトは微妙

Distill Thumbnail from .afphoto and .afdesign

Digging Binary

CRC (Cyclic Redundancy Code)

Tweaking Nextcloud

Finalized Solution

Bonus: PDF thumbnail generator

[].map(parseInt)

Why

最小送金回数で精算する割り勘アルゴリズム

tl;dr

実験

点字の表現力

新しい自宅サーバーの構成

用途

スペック

パーツ選定時のポイント

組立ての勘所

Installing Arch Linux on Bare-metal Server

Table of Contents

Goals

Setup

Wipe a disk

Create partitions

Write file systems

Mount partitions

Install Linux kernel

Generate fstab

Tweak pacman

Chroot into the installation

Finish structuring file systems

crypttab

Remote unlocking

Periodic TRIM

SSH

Bootloader (systemd-boot)

Network

グレイ解剖学原著第 4 版

ネッター解剖学アトラス原著第 6 版

グラント解剖学図譜第 7 版

プロメテウス解剖学アトラス解剖学総論／運動器系第 3 版

プロメテウス解剖学アトラス口腔・頭頸部第 2 版

プロメテウス解剖学アトラス胸部／腹部・骨盤部第 3 版

プロメテウス解剖学コアアトラス第 3 版

解剖学カラーアトラス第 8 版 A Photographic Atlas

人体解剖カラーアトラス原著第 8 版 Clinical Atlas of Human Anatomy

Tips: Use `journald` log driver in Docker Compose

Annoying `systemd-homed is not available` messages flooding journald logs

Annoying `systemd-journald-audit` logs

Missing `/dev/nvidia-{uvm*,modeset}`

`[sudo] Incorrect password` while password is correct