{ "version": "https://jsonfeed.org/version/1", "title": "別在圍城時走散", "subtitle": "", "icon": "https://8loser.github.io/assets/favicon.ico", "description": "我在八樓閒晃", "home_page_url": "https://8loser.github.io", "items": [ { "id": "https://8loser.github.io/2026/02/10/linux-hid-permission/", "url": "https://8loser.github.io/2026/02/10/linux-hid-permission/", "title": "Linux HID 裝置權限問題", "date_published": "2026-02-09T17:21:00.000Z", "content_html": "

# 問題描述

\n

ErgoKB 在 Chrome 進行 Remap 時，選擇 HID 裝置後出現 Could not open 錯誤訊息。

\n

# 環境

\n\n

# Diagnosis

\n

查看 HID 裝置權限，全部都只有 root 才有讀寫權限，應該是權限問題（這邊看不出每個 HID 是什麼裝置）

\n
ls -l /dev/hidraw*\ncrw------- 1 root root 243, 0  2月  9 12:50 /dev/hidraw0\ncrw------- 1 root root 243, 1  2月  9 12:50 /dev/hidraw1\ncrw------- 1 root root 243, 2  2月  9 12:50 /dev/hidraw2\ncrw------- 1 root root 243, 3  2月  9 12:50 /dev/hidraw3
\n

# Solution

\n

查看裝置 VID, PID, 得知 VID/PID 為 1209:2304

\n
lsusb\nBus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub\nBus 001 Device 003: ID 046d:c52b Logitech, Inc. Unifying Receiver\nBus 001 Device 004: ID 8087:0029 Intel Corp. AX200 Bluetooth\nBus 001 Device 007: ID 1209:2304 Generic Phoenix-v2\nBus 002 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub\nBus 003 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub\nBus 004 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
\n

建立裝置專用 rule 檔案 /etc/udev/rules.d/99-ergokb.rules

\n

寫入設定

\n
KERNEL==\"hidraw*\", SUBSYSTEM==\"hidraw\", \\\n  ATTRS{idVendor}==\"1209\", ATTRS{idProduct}==\"2304\", MODE=\"0666\"
\n

說明：

\n\n

重新載入設定

\n
sudo udevadm control --reload-rules  # 重新載入 udev 規則檔案\nsudo udevadm trigger                  # 觸發事件，將新規則應用到現有設備
\n\n

執行完後 如果還是不行我勸你鍵盤拔掉重插啦，重新開啟 remap 頁面即可正常使用。 🎉

\n

對了，如果在 Linux OS, 這篇就有可能遇到這個問題; Node.JS 控制 USB 繼電器

\n", "tags": [ "Trouble", "Linux", "HID", "udev" ] }, { "id": "https://8loser.github.io/2026/02/07/rag-tutorial/", "url": "https://8loser.github.io/2026/02/07/rag-tutorial/", "title": "RAG 教學", "date_published": "2026-02-07T02:00:00.000Z", "content_html": "

# 架構

\n

RAG（Retrieval-Augmented Generation; 檢索增強生成）

\n\n

我理解的架構圖\"RAG

\n
Gemini 畫的啥玩意兒
\n

\"RAG

\n
\n

# 需求

\n\n

# Embedding

\n

使用 Sentence-Transformers 載入 embed model，將文字轉成高維度向量特徵。

\n
安裝依賴套件
\n
pip install sentence-transformers
\n
\n
# 加上 huggingface 的鏡像站點環境變數，避免下載模型太慢\nimport os\nos.environ[\"HF_ENDPOINT\"] = \"https://hf-mirror.com\"\nfrom sentence_transformers import SentenceTransformer\n\n# 載入模型\nmodel = SentenceTransformer('all-MiniLM-L6-v2')\n\n# 準備文字\nsentences = [\"這是一段測試文字\", \"EndeavourOS 開發環境\"]\n\n# 取得 Feature Vector\nembeddings = model.encode(sentences)\n\n# 查看 Shape [句子數量, 每個句子的維度]\n# 輸出會是 (2, 384)，代表 2 個句子，每個句子 384 維, 是 all-MiniLM-L6-v2 模型的特徵維度。\nprint(f\"向量形狀 (embeddings.shape): {embeddings.shape}\") \n\n# 查看具體數值 (只印出第一句的前 5 個特徵值作為範例)\nprint(f\"第一句的前 5 個特徵值: {embeddings[0][:5]}\")\n\n# 執行結果\n# 向量形狀 (embeddings.shape): (2, 384)\n# 第一句的前 5 個特徵值: [0.03097137 0.09432378 0.04806018 0.02745436 0.02937624]
\n
\n\n
\n

# Vector DB

\n

將向量與內容存入 vector db，後續可以搜尋跟問題相似度高的內容，這裡選用 Qdrant

\n
安裝依賴套件
\n
pip install sentence-transformers qdrant-client
\n
\n
可以用 docker 或 podman 啟動 Qdrant
\n
podman run -p 6333:6333 -p 6334:6334 \\\n    -v $(pwd)/qdrant_storage:/qdrant/storage:z \\\n    docker.io/qdrant/qdrant
\n
\n
import os\nos.environ[\"HF_ENDPOINT\"] = \"https://hf-mirror.com\"\nfrom sentence_transformers import SentenceTransformer\nfrom qdrant_client import QdrantClient\nfrom qdrant_client.models import Distance, VectorParams, PointStruct\n\n# 載入 Embed Model, 改用 paraphrase-multilingual-MiniLM-L12-v2 對中文理解程度比較好\nmodel = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')\n\n# 建立 Qdrant 客戶端\nclient = QdrantClient(\"127.0.0.1\", port=6333)\n\n# collection 不存在則建立\n# size 為 384, 必須跟 embed model 維度搭配\ncollection_name = \"multilingual_notes\"\nif not client.collection_exists(collection_name):\n    client.create_collection(\n        collection_name=collection_name,\n        vectors_config=VectorParams(size=384, distance=Distance.COSINE),\n    )\n\n# 準備寫入的資料\ndocuments = [\n    {\"id\": 1, \"text\": \"EndeavourOS 使用 pacman 作為套件管理器。\"},\n    {\"id\": 2, \"text\": \"Python 的虛擬環境可以透過 venv 模組建立。\"},\n    {\"id\": 3, \"text\": \"Vector Database 負責儲存高維度的向量數據。\"},\n    {\"id\": 4, \"text\": \"等春節特賣叫隔壁王叔叔買給你\"},\n    {\"id\": 5, \"text\": \"牛仔褲特賣會在下週末舉行，別忘了去看看！\"},\n]\n\n# 批次產生每個內容的向量, 利用 GPU 加速批次處理省效能\ntexts = [doc[\"text\"] for doc in documents]\nvectors = model.encode(texts)\n\n# 建立向量與內容資料點\npoints = []\nfor i, doc in enumerate(documents):\n    points.append(PointStruct(\n        id=doc[\"id\"],\n        vector=vectors[i].tolist(),\n        payload={\"page_content\": doc[\"text\"]}\n    ))\n\n# 新增資料點到 Qdrant\nclient.upsert(collection_name=collection_name, points=points)\n\n# 語義搜尋測試\nquery_text = \"媽媽我好想要一台 Steam Deck\"\nquery_vector = model.encode(query_text).tolist()\n\nsearch_result = client.query_points(\n    collection_name=collection_name,\n    query=query_vector,\n    # 搜尋相似度最高的 5 筆\n    limit=5\n).points\n\n# 顯示搜尋結果\nprint(f\"--- 針對「{query_text}」搜尋到前 {len(search_result)} 筆相關資料 ---\")\nfor i, res in enumerate(search_result):\n    content = res.payload['page_content']\n    score = res.score\n    print(f\"{i+1}. [分數: {score:.4f}] {content}\")\n\n# 執行結果\n# --- 針對「媽媽我好想要一台 Steam Deck」搜尋到前 5 筆相關資料 ---\n# 1. [分數: 0.2213] 等春節特賣叫隔壁王叔叔買給你\n# 2. [分數: 0.1929] 牛仔褲特賣會在下週末舉行，別忘了去看看！\n# 3. [分數: -0.0284] Python 的虛擬環境可以透過 venv 模組建立。\n# 4. [分數: -0.0446] Vector Database 負責儲存高維度的向量數據。\n# 5. [分數: -0.0561] EndeavourOS 使用 pacman 作為套件管理器。
\n
\n\n
\n
Qdrant 有 web 界面
\n

\"Qdrant\"

\n
\n

# RAG

\n

要進行 RAG 還差 LLM (Large Language Model), LLM 屬於 RAG 的 G (Generate), 這邊使用 Ollama 載入 llama3

\n
安裝依賴套件
\n
pip install langchain-huggingface langchain-qdrant langchain-ollama langchain-core
\n
\n
在 Arch Linux 安裝 Ollama
\n
yay -S ollama-cuda\nsudo systemctl start ollama\n# 檢查是否啟用成功\nsystemctl is-active ollama\n# 載入 llama3 模型\nollama run llama3
\n
\n
import os\n# 鏡像加速（如果模型已下載則會自動跳過）\nos.environ[\"HF_ENDPOINT\"] = \"https://hf-mirror.com\"\n\nfrom langchain_huggingface import HuggingFaceEmbeddings\nfrom langchain_qdrant import QdrantVectorStore\nfrom langchain_ollama import ChatOllama\nfrom langchain_core.prompts import ChatPromptTemplate\nfrom langchain_core.runnables import RunnablePassthrough\nfrom langchain_core.output_parsers import StrOutputParser\n\n# 統一模型名稱，要跟寫入 vector db 時使用的模型一致\nEMBEDDING_MODEL_NAME = \"paraphrase-multilingual-MiniLM-L12-v2\"\nembeddings = HuggingFaceEmbeddings(model_name=EMBEDDING_MODEL_NAME)\n\n# Retrieval - 用於檢索的向量資料庫\nvector_store = QdrantVectorStore.from_existing_collection(\n    embedding=embeddings,\n    collection_name=\"multilingual_notes\",\n    url=\"http://127.0.0.1:6333\"\n)\n\n\n# Augmentation - 定義詢問 LLM 的 prompt 模板\ntemplate = \"\"\"你是一個基於本地知識庫的 AI 助手。\n請根據以下提供的「參考資料」回答「問題」。\n如果參考資料中沒有相關答案，請誠實告知你不知道。\n\n[參考資料]:\n{context}\n\n[問題]:\n用中文回答 `{question}`\n\"\"\"\nprompt = ChatPromptTemplate.from_template(template)\n\n# 檢索設定, 檢索相似度最高的 2 筆資料\nretriever = vector_store.as_retriever(search_kwargs={\"k\": 2})\n\n# 文檔格式化函數\ndef format_docs(docs):\n    return \"\\n\".join(doc.page_content for doc in docs)\n\n# Generation - 使用的生成模型\nllm = ChatOllama(model=\"llama3\", base_url=\"http://localhost:11434\")\n\n# 構建 RAG 鏈, 執行：搜尋 Qdrant -> 填入模板 -> 丟給 Llama3 -> 輸出文字\nrag_chain = (\n    {\n        \"context\": retriever | format_docs,      # 從向量庫檢索並格式化文檔\n        \"question\": RunnablePassthrough()        # 原樣傳遞用戶問題\n    }\n    | RunnablePassthrough.assign(\n        # prompt - 接收 {context, question}，生成格式化的提示詞\n        # llm - 將提示詞發送給 Llama3 模型，得到 AI 回答\n        # StrOutputParser() - 將 LLM 的輸出（通常是個 AIMessage 對象）轉換成純文字字符串\n        # | 是 LangChain 的 LCEL 語法\n        answer=prompt | llm | StrOutputParser()\n    )\n)\n\n\n# 執行對話測試\nif __name__ == \"__main__\":\n    query = \"EndeavourOS 適合什麼樣的開發者？\"\n    print(f\"\\n提問：{query}\")\n    \n    # R - Retrieval：從向量庫檢索相關文檔\n    print(\"\\n----------R Retrieval 檢索階段----------\")\n    docs = retriever.invoke(query)\n    formatted_context = format_docs(docs)\n    print(f\"檢索到的參考資料（{len(docs)} 筆）：\\n{formatted_context}\")\n    \n    # A - Augmentation：將檢索結果填入提示詞\n    print(\"\\n----------A Augmentation 增強階段----------\")\n    augmented_prompt = prompt.invoke({\"context\": formatted_context, \"question\": query})\n    print(f\"生成的提示詞：\\n{augmented_prompt.to_string()}\")\n    \n    # G - Generation：LLM 生成回答\n    print(\"\\n----------G Generation 生成階段----------\")\n    result = rag_chain.invoke(query)\n    print(f\"AI 回答：\\n{result['answer']}\")\n\n# 執行結果\n# 提問：EndeavourOS 適合什麼樣的開發者？\n\n# ----------R Retrieval 檢索階段----------\n# 檢索到的參考資料（2 筆）：\n# EndeavourOS 使用 pacman 作為套件管理器。\n# Python 的虛擬環境可以透過 venv 模組建立。\n\n# ----------A Augmentation 增強階段----------\n# 生成的提示詞：\n# Human: 你是一個基於本地知識庫的 AI 助手。\n# 請根據以下提供的「參考資料」回答「問題」。\n# 如果參考資料中沒有相關答案，請誠實告知你不知道。\n\n# [參考資料]:\n# EndeavourOS 使用 pacman 作為套件管理器。\n# Python 的虛擬環境可以透過 venv 模組建立。\n\n# [問題]:\n# 用中文回答 `EndeavourOS 適合什麼樣的開發者？`\n\n# ----------G Generation 生成階段----------\n# AI 回答：\n# 根據提供的參考資料，EndeavourOS 使用 pacman 作為套件管理器。因此，我們可以知道 EndeavourOS 是一種 Linux 發行版。\n# 結論：EndeavourOS 适合 Linux 開發者的需求。
\n
\n\n
\n", "tags": [ "Tutorial", "RAG", "AI", "檢索增強生成" ] }, { "id": "https://8loser.github.io/2025/12/21/deploy-docker-nginx/", "url": "https://8loser.github.io/2025/12/21/deploy-docker-nginx/", "title": "多服務 Docker 部署與 Nginx 設定筆記", "date_published": "2025-12-21T00:58:03.000Z", "content_html": "

# 文章說明

\n

這是將服務部署到雲端的專案。
\nVM 建立好後，將專案 pull 到 /opt 下即可快速部署。

\n

# 環境

\n

每個服務程式碼由 GitHub 託管，並設置自動打包成 Docker image。
\n機器安裝 Docker，部署時 pull Docker image 啟動多個服務 container。
\n由 Nginx 控制請求進入服務。

\n

# 專案資料夾結構

\n
.\n├── init.sh                # 機器初始化\n├── prod\n│   ├── docker-compose.yml # 正式站 Docker Swarm Stack 設定\n│   └── nginx.conf         # 正式站 Nginx 設定\n├── start-prod.sh          # 啟動\n└── stop-prod.sh           # 停止
\n

首先執行 init.sh 更新系統、安裝常用程式，參考 GCP VM 建置筆記。

\n

# start-prod.sh

\n
#!/bin/sh\n\n# 啟動正式站 container\ndocker stack deploy --compose-file prod/docker-compose.yml --with-registry-auth company
\n

這邊沒什麼好介紹的，就是用 docker stack deploy 啟動 Docker Swarm Stack。

\n

--with-registry-auth 會把本機 docker login 的 registry 認證一併傳給 Swarm 節點，
\n讓節點在拉私有 image 時能順利通過授權；不加的話，私有倉庫常會出現拉不到 image 的錯誤。

\n

# docker-compose.yml

\n
# 正式站 container\nversion: '3.8'\n\nservices:\n  nginx:\n    image: nginx\n    restart: unless-stopped\n    volumes:\n      # Nginx 設定檔\n      - ./nginx.conf:/etc/nginx/conf.d/default.conf\n    environment:\n      TZ: Asia/Taipei\n    ports:\n      - target: 80\n        published: 80\n        protocol: tcp\n        mode: host\n\n  # 後端 API\n  backend:\n    image: ghcr.io/8loser/backend:main\n    restart: unless-stopped\n    environment:\n      TZ: Asia/Taipei\n\n\n  # 前端\n  frontend:\n    image: ghcr.io/8loser/frontend:main\n    restart: unless-stopped\n    environment:\n      TZ: Asia/Taipei
\n

說明：

\n\n

# nginx.conf

\n
# 正式站 Nginx\n\n# 預設 server; 使用 IP 或未匹配的域名都會進入\nserver {\n  listen 80;\n  server_name _;\n\n  # 不合法 Host 訪問 /，不返回內容\n  location / {\n      return 204;\n  }\n}\n\nserver {\n  listen 80;\n  # 允許的域名\n  server_name www.*******.com *******.com;\n\n  # Load Balancer Public IP address\n  set_real_ip_from <LB_IP>/32; # 填入你的 LB IP\n  # Google CIDR 網段\n  set_real_ip_from 130.211.0.0/22;\n  set_real_ip_from 35.191.0.0/16;\n  real_ip_header X-Forwarded-For;\n  real_ip_recursive on;\n\n  # 阻擋的 User Agent\n  if ($http_user_agent ~* \"ApacheBench|pingback|YisouSpider|MJ12bot|AhrefsBot|360JK|Jorgee|FeedDemon|BOT/0.1 (BOT for JCE)|CrawlDaddy|Java|Jullo|Feedly|UniversalFeedParser|Swiftbot|YandexBot|jikeSpider|ZmEu phpmyadmin|WinHttp|EasouSpider|HttpClient|Microsoft URL Control|YYSpider|jaunty|oBot|Python-urllib|Indy Library|FlightDeckReports Bot|Linguee Bot\" )\n  {return 101;}\n\n  # 正式站設定 robots.txt 允許爬蟲\n  location = /robots.txt {\n    add_header Content-Type text/plain;\n    return 200 \"User-agent: *\\nAllow: /\\n\";\n  }\n\n\n  # 前端\n  location / {\n    proxy_pass http://frontend/;\n    proxy_set_header Host $host;\n    proxy_set_header X-Real-IP $remote_addr;\n    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;\n    proxy_set_header X-Custom-Referrer smc_identity_layer;\n  }\n  \n  # 後端\n  location /api/ {\n    proxy_pass http://backend/;\n    proxy_set_header Host $host;\n    proxy_set_header X-Real-IP $remote_addr;\n    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;\n    proxy_set_header X-Custom-Referrer smc_identity_layer;\n  }\n}
\n

說明：

\n\n", "tags": [ "Deploy", "GCP", "Nginx", "log", "Docker", "Deploy" ] }, { "id": "https://8loser.github.io/2025/06/23/node-usb-relay/", "url": "https://8loser.github.io/2025/06/23/node-usb-relay/", "title": "Node.JS 控制 USB 繼電器", "date_published": "2025-06-23T06:36:42.000Z", "content_html": "

# USB Relay

\n

USB relay 模組就是這個，預計用 Node.js 程式輸出電氣訊號控制機械手臂，這個是兩路的（兩個 relay），還有一路或者更多路的。

\n

\"USB

\n

輸出接點跟一般繼電器的接點一樣

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
端點全名功能描述
COMCommon（共用端）中心端點，根據控制情況與 NC 或 NO 接通
NCNormally Closed（常閉）在 未通電 狀態下，與 COM 接通
NONormally Open（常開）在 未通電 狀態下，與 COM 斷開，通電後才接通
\n

接線方式使用 USB-A 轉 USB-B，USB-A 接電腦，USB-B 接模組

\n

\"USB-A

\n

# 程式測試

\n

使用 node-hid 套件，請先確定使用的模組支援 HID

\n
const HID = require('node-hid');\n\n// 尋找連接裝置中 USBRelay 名稱的裝置\nconst deviceList = HID.devices();\nconst connectedRelays = deviceList.filter((device) => device.product && device.product.indexOf('USBRelay') !== -1);\n\nconst device = new HID.HID(connectedRelays[0].path);\n\n// 啟動第一個 relay\ndevice.sendFeatureReport([0x00, 0xFF, 0x01, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00]);\n// 啟動第二個 relay\ndevice.sendFeatureReport([0x00, 0xFF, 0x02, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00]);\n\n// 關閉第一個 relay\ndevice.sendFeatureReport([0x00, 0xFD, 0x01, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00]);\n// 關閉第二個 relay\ndevice.sendFeatureReport([0x00, 0xFD, 0x02, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00]);
\n

如果正常啟動繼電器時，模組上對應的繼電器旁 LED 會亮

\n

# 設定 Bytes 說明

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
Byte 位置說明
0命令標頭（通常是固定值）
1控制命令
2要控制的繼電器位元組（bitmask）
3~8充填位元
\n

# 程式設計思路

\n\n

# 部份程式碼

\n
// 啟動第幾個 relay\nsetOn(number) {\n    const commandList = [\n        // all\n        [0x00, 0xFE, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],\n        // 第一個 relay\n        [0x00, 0xFF, 0x01, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],\n        // 第二個 relay\n        [0x00, 0xFF, 0x02, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],\n        // 第三個 relay\n        [0x00, 0xFF, 0x03, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],\n        // 第四個 relay\n        [0x00, 0xFF, 0x04, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],\n        // 第五個 relay\n        [0x00, 0xFF, 0x05, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],\n        // 第六個 relay\n        [0x00, 0xFF, 0x06, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],\n        // 第七個 relay\n        [0x00, 0xFF, 0x07, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],\n        // 第八個 relay\n        [0x00, 0xFF, 0x08, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00]\n    ];\n    this.device.sendFeatureReport(commandList[number]);\n}
\n
// 關閉第幾個 relay\nsetOff(number) {\n    const commandList = [\n        // all\n        [0x00, 0xFC, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],\n        // 第一個 relay\n        [0x00, 0xFD, 0x01, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],\n        // 第二個 relay\n        [0x00, 0xFD, 0x02, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],\n        // 第三個 relay\n        [0x00, 0xFD, 0x03, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],\n        // 第四個 relay\n        [0x00, 0xFD, 0x04, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],\n        // 第五個 relay\n        [0x00, 0xFD, 0x05, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],\n        // 第六個 relay\n        [0x00, 0xFD, 0x06, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],\n        // 第七個 relay\n        [0x00, 0xFD, 0x07, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],\n        // 第八個 relay\n        [0x00, 0xFD, 0x08, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00]\n    ];\n    this.device.sendFeatureReport(commandList[number]);\n}
\n
ActionOK() {\n    // relay 1 作為 OK 訊號\n    this.setOn(1);\n}
\n
ActionNG() {\n    // relay 2 作為 NG 訊號\n    this.setOn(2);\n}
\n

# 備註

\n\n", "tags": [ "Node.js", "USB Relay" ] }, { "id": "https://8loser.github.io/2024/11/08/gcp-mutual-tls/", "url": "https://8loser.github.io/2024/11/08/gcp-mutual-tls/", "title": "GCP mTLS(mutual TLS) 憑證設定", "date_published": "2024-11-08T15:38:07.000Z", "content_html": "

# 緣由

\n

有一網站需要限制只有特定人員才可瀏覽，通常會使用來源 IP 進行限制，若是無固定辦公室人員（業務）則使用 VPN 連入公司網路獲得允許 IP。

\n

但因為公司沒有自己的網路，所以沒辦法使用這個方法，因此採用 mTLS。

\n

一般網站憑證只是單向用於驗證網站是否合法，mTLS 則是雙向驗證 雙向奔赴的憑證，除了驗證網站是否合法外，也驗證連接端 (client, browser) 是否合法。

\n

官方文件其實有教學(Set up mutual TLS with user-provided certificates)，但是官方文件都是透過 gcloud 設定，所以這篇紀錄一下怎麼使用 GUI 方式設定。

\n

思路：從 load balance 下手，在 load balance 進行驗證，client 合法才導入後端。

\n

# 需求

\n

先安裝 openssl 用於產生憑證

\n

# 產生根憑證

\n

# 憑證設定檔

\n

建立憑證設定檔 example.cnf

\n
[req]\ndistinguished_name = empty_distinguished_name\n[empty_distinguished_name]\n# Kept empty to allow setting via -subj command line arg.\n[ca_exts]\nbasicConstraints=critical,CA:TRUE\nkeyUsage=keyCertSign\nextendedKeyUsage=clientAuth
\n

# 根憑證與密鑰

\n

使用 openssl 產生根憑證密鑰 root.key 與根憑證 root.cert

\n
openssl req -x509 \\\n    -new -sha256 -newkey rsa:2048 -nodes \\\n    -days 3650 -subj '/CN=root' \\\n    -config example.cnf \\\n    -extensions ca_exts \\\n    -keyout root.key -out root.cert
\n

# 產生中繼憑證

\n

# 中繼憑證簽名請求

\n

產生中繼憑證密鑰 int.key 跟中繼憑證簽名請求 int.req

\n
openssl req \\\n    -new -sha256 -newkey rsa:2048 -nodes \\\n    -subj '/CN=int' \\\n    -config example.cnf \\\n    -extensions ca_exts \\\n    -keyout int.key -out int.req
\n

# 中繼憑證

\n

產生中繼憑證 int.cert

\n
openssl x509 -req \\\n    -CAkey root.key -CA root.cert \\\n    -set_serial 1 \\\n    -days 3650 \\\n    -extfile example.cnf \\\n    -extensions ca_exts \\\n    -in int.req -out int.cert
\n

# 建立信任設定

\n

從 https://console.cloud.google.com/security/ccm/list/trustConfigs 建立信任設定
\n把前面步驟產生的 root.cert 內容增加到信任錨點、int.cert 內容增加到中繼 CA。

\n

\"信任設定\"

\n

# 建立用戶端驗證

\n

從 https://console.cloud.google.com/net-security/clientauth/serverTlsPolicies 建立用戶端驗證
\n用戶端驗證模式選擇 負載平衡 以及 拒絕無效的用戶憑證，信任設定選取前一步驟建立的設定檔。
\n\"用戶端驗證\"

\n

# 負載平衡設定

\n

https://console.cloud.google.com/net-services/loadbalancing/list/loadBalancers
\n在負載平衡的前端設定處，選取剛建立的用戶端驗證，可能不會馬上生效，如果生效後開啟網址會是 ERR_CONNECTION_CLOSED 的訊息。

\n

\"負載平衡\"

\n

# 建立用戶端憑證

\n

# 用戶端設定檔

\n

建立用戶端設定檔 client.config

\n
[req]\ndefault_bits              = 2048\nreq_extensions            = extension_requirements\ndistinguished_name        = dn_requirements\nprompt                    = no\n\n[extension_requirements]\nbasicConstraints          = critical, CA:FALSE\nkeyUsage                  = critical, nonRepudiation, digitalSignature, keyEncipherment\nextendedKeyUsage          = clientAuth\n\n[dn_requirements]\ncountryName               = US\nstateOrProvinceName       = California\nlocalityName              = San Francisco\n0.organizationName        = example\norganizationalUnitName    = test\ncommonName                = test.example.com\nemailAddress              = test@example.com
\n

# 產生用戶密鑰與簽名請求

\n

會產生 client.key, client.csr。這邊會詢問金鑰密碼，後面匯出時會用到。

\n
openssl req -new -keyout client.key -out client.csr -config client.config
\n

# 產生用戶端憑證

\n

使用 int.cert、int.key、client.csr 產生用戶端憑證 client.cert

\n
openssl x509 -req -in client.csr -out client.cert -extfile client.config -extensions extension_requirements -days 365 -CA int.cert -CAkey int.key
\n

測試

\n
curl -v -k --key client.key --cert client.cert https://網址
\n

# 瀏覽器匯入憑證

\n

server 端大致上設置完成，還需設定 client 端，client 匯入憑證這邊使用 PKCS #12 格式。
\n首先將 client.key、client.cert 封裝。會產生 client.p12。
\n這邊會詢問剛剛產生 client.key 時的金鑰密碼，驗證後會再詢問金鑰匯出密碼，在匯入時會需要 (可不設置)。

\n
openssl pkcs12 -export -inkey client.key -in client.cert -out client.p12 -name \"client-cert\"
\n

# 憑證匯入

\n

在 Windows、Linux 桌面環境大致上都直接點兩下 client.p12 後輸入匯出密碼即可。之後可開啟瀏覽器查看網站是否可正常瀏覽。

\n

macOS 可能會出現一直詢問密碼 (匯出密碼錯誤) 的情況，強者我同事說是因為 openssl 版本差異關係，使用舊版的 openssl 重新匯出 p12 憑證即可。

\n

macOS 還需要從 鑰匙圈 設定憑證的存取權限為一律允許，否則在瀏覽網站的時候，會一直出現詢問密碼請求允許的情況。

\n", "tags": [ "Step By Step", "GCP", "mutual TLS", "憑證", "SSL" ] }, { "id": "https://8loser.github.io/2024/06/17/dev-container-bind-source-error/", "url": "https://8loser.github.io/2024/06/17/dev-container-bind-source-error/", "title": "bind source path does not exist", "date_published": "2024-06-16T16:38:53.000Z", "content_html": "

# 問題描述

\n

DevContainer 啟動 container 錯誤，查看錯誤訊息如下
\nError response from daemon: invalid mount config for type "bind": bind source path does not exist: /run/user/1000/wayland-0

\n

# 環境

\n\n

# 修正方法

\n

刪除下面兩個檔案

\n\n", "tags": [ "Trouble", "VSCode", "Remote Container" ] }, { "id": "https://8loser.github.io/2024/06/16/shokaX-waline-comment/", "url": "https://8loser.github.io/2024/06/16/shokaX-waline-comment/", "title": "Hexo ShokaX 主題使用 Waline 留言版", "date_published": "2024-06-15T17:17:17.000Z", "content_html": "

# 佈署 Waline server 端

\n

參考 Waline 佈署教學網站 https://waline.js.org/guide/deploy/vercel.html ，點選 Deploy 按鈕，會跳轉 Vercel 頁面建立 Waline server。

\n

\"Vercel

\n

如果使用該方式，在 Vercel 出現下面錯誤訊息，改用這個 [Deploy] 試試

\n
\n

Error: No Output Directory named "dist" found after the Build completed. You can configure the Output Directory in your Project Settings.

\n
\n
\n

除了 Vercel 作為 Waline 服務之外，也有其他選擇 https://waline.js.org/guide/get-started/server.html

\n
\n

# 建立 Waline 使用的資料庫

\n

Waline 需要資料庫儲存留言資料，Waline 支援多種資料庫 https://waline.js.org/guide/database.html 。
\nVercel 也有提供資料庫，所以這邊使用 Vercel 內建的資料庫服務，建立 PostgreSQL。

\n

\"Create

\n

\"Create

\n
\n

需要的資料表請參考
\nhttps://github.com/walinejs/waline/blob/main/assets/waline.pgsql

\n
\n

# 將 Waline 服務與資料庫連接

\n

進入 App
\n\"Enter
\n連接剛剛建立的 PostgreSQL
\n\"Database

\n

# 設定 Waline 環境變數

\n

\"Setting

\n

如果資料庫連接成功，會看到紅框內的環境變數。
\n\"Connected

\n

但這樣還無法讓 Waline server 成功連接資料庫，還需要設定下面的環境變數

\n\n
\n

Waline 可設定的 PostgreSQL 環境變數
\nhttps://waline.js.org/guide/database.html#postgresql

\n
\n

# 測試 Waline 功能

\n

進入 Waline project 查看 Waline 留言頁面。

\n

\"Visit

\n

如果正常的話會看到如下畫面，可以留言測試看看是否成功。

\n

\"Waline

\n

# 設定 ShokaX

\n

修改 Hexo ShokaX 設定檔；Hexo 資料夾 /_config.shokax.yml 或 /_config.shokaX.yml

\n

增加下面設定

\n
waline:\n  enable: true # 啟用狀態\n  serverURL: \"https://waline-three-wine.vercel.app\" # Waline server 網址，從 Vercel Project 查看 domain\n  lang: \"zh-TW\" # comment 界面語言\n  meta: # comment 可填寫項目\n    - nick\n    - mail\n  requiredMeta: # comment 必填項目\n    - nick\n    - mail\n  wordLimit: 400 # comment 字數上限\n  pageSize: 10 # 每頁顯示筆數
\n
\n

Hexo ShokaX 的 Waline 其他設定項目
\nhttps://docs.kaitaku.xyz/guide/comment.html#valine-系评论系统

\n
\n

# 使用紀錄

\n

# 2024/06

\n\n", "tags": [ "Step By Step", "Hexo theme", "Waline" ] }, { "id": "https://8loser.github.io/2023/10/30/spawn-node-gyp-ENOENT/", "url": "https://8loser.github.io/2023/10/30/spawn-node-gyp-ENOENT/", "title": "spawn node-gyp ENOENT", "date_published": "2023-10-29T17:04:26.000Z", "content_html": "

# 問題描述

\n

要把 theme 轉為 shokaX 時，執行 SXC install shokaX 出現錯誤訊息

\n
error /workspaces/page/node_modules/deasync: Command failed.\nExit code: 1\nCommand: node ./build.js\nArguments: \nDirectory: /workspaces/page/node_modules/deasync\nOutput:\nnode:events:495\n      throw er; // Unhandled 'error' event\n      ^\n\nError: spawn node-gyp ENOENT\n    at ChildProcess._handle.onexit (node:internal/child_process:284:19)\n    at onErrorNT (node:internal/child_process:477:16)\n    at process.processTicksAndRejections (node:internal/process/task_queues:82:21)\nEmitted 'error' event on ChildProcess instance at:\n    at ChildProcess._handle.onexit (node:internal/child_process:290:12)\n    at onErrorNT (node:internal/child_process:477:16)\n    at process.processTicksAndRejections (node:internal/process/task_queues:82:21) {\n  errno: -2,\n  code: 'ENOENT',\n  syscall: 'spawn node-gyp',\n  path: 'node-gyp',\n  spawnargs: [ 'rebuild' ]\n}\n\nNode.js v18.18.2\ninfo Visit https://yarnpkg.com/en/docs/cli/add for documentation about this command.
\n

# 環境

\n\n

# 修正方法

\n

安裝下面套件，不確定 make, g++ 需不需要，因為之前遇過類似的問題都裝這三個，所以直接複製過來用。如果沒有安裝的話，在安裝 node-gyp 會出現其他錯誤。

\n
apt-get install -y python3 make g++
\n

安裝 node-gyp

\n
pnpm add -g node-gyp
\n", "tags": [ "Trouble", "Docker", "Hexo", "Shoka", "Node.js" ] }, { "id": "https://8loser.github.io/2023/08/27/static-web-page-refresh-404/", "url": "https://8loser.github.io/2023/08/27/static-web-page-refresh-404/", "title": "靜態網頁 refresh 出現 404", "date_published": "2023-08-26T16:40:55.000Z", "content_html": "

# Trouble

\n

Vue 開發網頁打包成靜態網頁檔案，使用 docker compose 結合 nginx 佈署，網頁切換到有路徑的頁面後按 F5 重新整理頁面會出現 404錯誤 。

\n

靜態頁面打包後有再用 thttpd 作為 web 服務並打包成 container 方便佈署，實際錯誤情況如下圖，如果不同的 web 服務會有不同畫面。

\n

\"404

\n

# Docker-compose.yml

\n

有修改過的內容，實際不只有兩個 container

\n
services:\n  nginx:\n    image: nginx\n    restart: unless-stopped\n    volumes:\n      # nginx 設定檔\n      - ./nginx.conf:/etc/nginx/conf.d/default.conf\n      - ./robots.txt.test:/usr/share/nginx/html/robots.txt\n    environment:\n      TZ: Asia/Taipei\n    ports:\n      - target: 80\n        published: 80\n        protocol: tcp\n        mode: host\n\n  # 前端 web service\n  branded:\n    image: ***馬賽克***\n    restart: unless-stopped
\n

# Nginx.conf

\n
server {\n  listen 80;\n  server_name \"\";\n  \n  # LB Public IP address\n  set_real_ip_from ***馬賽克***;\n  set_real_ip_from 130.211.0.0/22;\n  set_real_ip_from 35.191.0.0/16;\n  real_ip_header X-Forwarded-For;\n  real_ip_recursive on;\n\n  # 阻擋的 User Agent\n  if ($http_user_agent ~* ***不要告訴泥*** )\n  {return 101;}\n\n  location /robots.txt {\n    alias /usr/share/nginx/html/robots.txt;\n  }\n\n  location /healthcheck {\n    access_log off;\n    return 200 'ok';\n  }\n\n  # 前端\n  location / {\n    proxy_pass http://branded/;\n    proxy_set_header Host $host;\n    proxy_set_header X-Real-IP $remote_addr;\n    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;\n    proxy_set_header X-Custom-Referrer smc_identity_layer;\n  }\n}
\n

# Solution

\n

在 nginx.conf 加上

\n
proxy_intercept_errors on;\nerror_page 404 /index.html;
\n
  # 前端\n  location / {\n    proxy_pass http://branded/;\n    proxy_set_header Host $host;\n    proxy_set_header X-Real-IP $remote_addr;\n    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;\n    proxy_set_header X-Custom-Referrer smc_identity_layer;\n    # 高情商(?)加下面這兩行\n    proxy_intercept_errors on;\n    error_page 404 /index.html;\n  }
\n", "tags": [ "Trouble", "Deploy", "Nginx", "static web page", "Docker Compose" ] }, { "id": "https://8loser.github.io/2023/07/14/fixing-mixed-content/", "url": "https://8loser.github.io/2023/07/14/fixing-mixed-content/", "title": "瀏覽器出現 Mixed Content 訊息", "date_published": "2023-07-14T11:25:05.000Z", "content_html": "

Chrome Console 出現 Mixed Content 訊息

\n
Mixed Content: The page at 'https://www.***.com/' was loaded over HTTPS, but requested an insecure XMLHttpRequest endpoint 'http://192.168.10.200:3000/'. \nThis request has been blocked; the content must be served over HTTPS.
\n

出現該訊息是因為在 https 頁面內，呼叫 http 協定的 API，基於安全問題，瀏覽器會封鎖該請求。解決方式是把 API 換成 https 即可，但這個 API 是我們放在客戶端存取客戶內部網路的 service，讓客戶在我們網站透過呼叫該 service 存取他們內網資料。

\n

如果要為了這個 service 建立域名、申請 SSL 憑證有點麻煩（我就懶），所以請客戶調整瀏覽器設定，允許不安全內容。

\n

\"Allow

\n

# 相關參考

\n\n", "tags": [ "Trouble", "Mixed Content", "Browser" ] }, { "id": "https://8loser.github.io/2023/05/28/yay-is-corrupted/", "url": "https://8loser.github.io/2023/05/28/yay-is-corrupted/", "title": "yay 更新顯示檔案毀損", "date_published": "2023-05-28T10:03:54.000Z", "content_html": "

# 問題描述

\n

EndeavourOS 更新時出現錯誤訊息，且每次更新時都出現。

\n
:: 進行安裝嗎？ [Y/n] \n:: 正在接收軟體包…\n libusbmuxd-2.0.2-3-x86_64            31.8 KiB   529 KiB/s 00:00 [------------------------------------] 100%\n libplist-2.3.0-2-x86_64             140.7 KiB  1315 KiB/s 00:00 [------------------------------------] 100%\n libimobiledevice-1.3.0-9-x86_64     481.5 KiB  2.35 MiB/s 00:00 [------------------------------------] 100%\n yay-12.0.5-1-x86_64                   3.0 MiB  2.69 MiB/s 00:01 [------------------------------------] 100%\n 總共 (4/4)                            3.7 MiB  3.23 MiB/s 00:01 [------------------------------------] 100%\n(78/78) 正在檢查鑰匙圈中的鑰匙                                   [------------------------------------] 100%\n(78/78) 正在檢查軟體包完整性                                     [------------------------------------] 100%\n錯誤：yay：來自 manuel <manuel@endeavouros.com> 的簽章信任等級不明::  /var/cache/pacman/pkg/yay-12.0.5-1-x86_64.pkg.tar.zst 檔案毀損(套件不正確或損毀（PGP 簽章）)。你要刪除它嗎? [Y/n] \n錯誤：無法提交處理 (套件不正確或損毀（PGP 簽章）)\n發生錯誤，沒有軟體包被更新。
\n

# 修正

\n
sudo pacman -Sy archlinux-keyring endeavouros-keyring
\n

修正後執行 yay -Syu 可正常更新了。

\n", "tags": [ "Trouble", "EndeavourOS", "Linux" ] }, { "id": "https://8loser.github.io/2023/05/06/dbeaver-backup-start-unavailable/", "url": "https://8loser.github.io/2023/05/06/dbeaver-backup-start-unavailable/", "title": "DBeaver backup start 按鈕沒有作用", "date_published": "2023-05-06T14:57:59.000Z", "content_html": "

# 問題描述

\n

在 Linux 內 DBeaver backup Start 按鈕無法點選，也無法 Next

\n

\"start

\n

# 環境

\n\n

# 修正方法

\n

# 安裝 PostgreSQL

\n
sudo pacman -S postgresql
\n

# 查看 pg_dump 位置

\n
$ whereis pg_dump\npg_dump: /usr/bin/pg_dump /usr/share/man/man1/pg_dump.1.gz
\n

知道 pg_dump 程式位置在 /usr/bin/

\n

# DBeaver 設定 Driver

\n

從 DBeaver 選單開啟 Database/Driver Manager，點選 PostgreSQL 按 Edit
\n\"Driver

\n

選取 Native Client/Add Home

\n

\"Native

\n

設定 Home 為 /usr/bin/

\n

\"Add

\n

# 測試

\n

Next 可以點選了
\n\"Backup

\n

點選 Next 後，選取備份路徑按 Start 就可以備份了
\n\"Backup

\n", "tags": [ "Trouble", "Linux", "DBeaver" ] }, { "id": "https://8loser.github.io/2023/03/12/reduce-frontend-docker-image/", "url": "https://8loser.github.io/2023/03/12/reduce-frontend-docker-image/", "title": "縮減靜態網頁 Docker image 大小", "date_published": "2023-03-12T13:59:19.000Z", "content_html": "

# 前言

\n

通常 Vue 部屬都是先打包成靜態網頁再部屬到 web 服務器上，但如此無法做到程式碼上傳版控後自動部署，因為上傳的是原始碼，不是打包後的靜態網頁。

\n

所以 Vue 搭配 Docker 時，有種作法是把原始碼直接直接 build 成執行 npm run dev 的 docker image 後放在 server 執行。

\n

\"\"

\n
\n

這種作法產生的 docker image 很大，枉費還用 Vue

\n
\n

# 縮減方式

\n

使用 Multi-stage builds，在第一個 stage build 出靜態網頁，複製到第二個 stage 跟 web service 打包成 image。

\n

假設原本 Dockerfiler 如下

\n
FROM node:18-slim\nCOPY . .\nRUN npm install --production=false\nEXPOSE 5173\nCMD [\"npm\",\"run\",\"dev\"]
\n

加上第二個 stage，並且使用 thttpd 作為靜態網頁的 web service

\n
# 第一個 stage\nFROM node:18-slim AS builder\nCOPY . .\nRUN npm install --production=false\n\n# build static html 檔案，檔案會產生在 /dist 內\nRUN npm run build\n\n# 第二個 stage\nFROM alpine\n\n# 安裝 thttpd\nRUN apk update && apk upgrade && apk add --no-cache thttpd\n\n# 複製第一個 stage 產生的 static html 到 /front\nCOPY --from=builder /dist /front\n\nEXPOSE 5173\n\n# container 啟動時執行 thttpd\nCMD [\"thttpd\", \"-D\", \"-h\", \"0.0.0.0\", \"-p\", \"5173\", \"-d\", \"/front\", \"-l\", \"-\", \"-M\", \"60\"]
\n

\"\"

\n

# 比較

\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n
Docker image 大小
修改前504MB
修改後11.1MB
\n

\"\"

\n", "tags": [ "Docker" ] }, { "id": "https://8loser.github.io/2023/03/11/EndeavourOS-init/", "url": "https://8loser.github.io/2023/03/11/EndeavourOS-init/", "title": "EndeavourOS 常用程式安裝", "date_published": "2023-03-11T13:23:40.000Z", "content_html": "

# 參數說明

\n\n

# 注音輸入法 (新酷音)

\n
pacman -S --noconfirm --needed fcitx5 fcitx5-im fcitx5-chinese-addons fcitx5-configtool fcitx5-chewing
\n

修改 /etc/environment 檔案，增加下面設定

\n
GTK_IM_MODULE=fcitx\nQT_IM_MODULE=fcitx\nXMODIFIERS=@im=fcitx
\n

# 藍芽

\n
pacman -S --noconfirm --needed bluez bluez-utils blueberry\n# 設定開機自動啟用\nsystemctl enable bluetooth
\n

# Visual Studio Code

\n

安裝 AUR 的 bin 版本才有 Remote Development 套件

\n
yay -S --noconfirm --needed visual-studio-code-bin
\n

# Docker

\n
pacman -S --noconfirm --needed docker
\n

# Docker Desktop

\n

要先下載安裝檔案

\n
\n

下載版本, 可參考 https://docs.docker.com/desktop/release-notes/

\n
\n
# 下載套件檔案\ndockerDesktopFile=docker-desktop-4.17.0-x86_64.pkg.tar.zst\nwget https://desktop.docker.com/linux/main/amd64/$dockerDesktopFile -P /tmp\n# 安裝套件\npacman -U --noconfirm /tmp/$dockerDesktopFile\n# 移除下載的檔案\nrm /tmp/$dockerDesktopFile
\n
\n

手動安裝可參考 https://docs.docker.com/desktop/install/archlinux/

\n
\n

# Google Chrome

\n

AUR 才有

\n
yay -S --noconfirm --needed google-chrome
\n

# 設定 RAM disk

\n

建立檔案 /etc/tmpfiles.d/shmFolder.conf
\n使用者名稱的位置記得修改

\n
# 下載資料夾\nd /dev/shm/Downloads 0755 <使用者名稱> <使用者名稱> - -\nL+ /home/<使用者名稱>/Downloads - - - - /dev/shm/Downloads\n\n# Chrome 暫存資料夾\nd /dev/shm/ChromeCache 0700 <使用者名稱> <使用者名稱> - -\nL+ /home/<使用者名稱>/.cache/google-chrome - - - - /dev/shm/ChromeCache
\n

執行使設定檔生效，或者重新開機

\n
systemd-tmpfiles --create
\n

# 完整 Shell Script

\n

在這裡 EndeavourOS-init.sh

\n", "tags": [ "EndeavourOS", "Linux", "Shell script" ] }, { "id": "https://8loser.github.io/2023/02/23/linux-recovering-journal/", "url": "https://8loser.github.io/2023/02/23/linux-recovering-journal/", "title": "Linux 開機顯示 recovering journal", "date_published": "2023-02-23T08:51:28.000Z", "content_html": "

# 描述

\n

Linux 作業系統開機顯示 recovering journal，無法正常進入桌面環境。
\n完整訊息如下，出現 recovering journal 後，要等個幾分鐘才會再出現後續的訊息。

\n
/dev/nvme0n1p5: recovering journal\n/dev/nvme0n1p5: clean, 1217915/16416000 files, 17252131/65536000 blocks\n[ TIME ] Timed out waiting for device /dev/sda2.\n[DEPEND] Dependency failed for /home/user/test.\n[DEPEND] Dependency failed for Local File System.\nYou are in emergency mode. After logging in, type \"journalctl -xb\" to view system logs, \"systemctl reboot\" to reboot, \"systemctl default\" or \"exit\" to boot into default mode.\nGive root password for maintenance\n(or press Control-D to continue):\n...
\n

# 環境

\n
$ lsb_release -a\nLSB Version:\tn/a\nDistributor ID:\tManjaroLinux\nDescription:\tManjaro Linux\nRelease:\t22.0.4\nCodename:\tSikaris
\n

# 修正

\n

使用 root 權限編輯 /etc/fstab，把 /dev/sda2 (錯誤訊息中顯示的) 那行刪除，儲存，reboot。

\n

# 原因

\n

應該是我前一次關機前，插外接硬碟又用 partition 管理工具 mount 外接硬碟 partition 導致。

\n", "tags": [ "Trouble", "Linux" ] }, { "id": "https://8loser.github.io/2023/02/20/terminals-pty-host-is-unresponsive/", "url": "https://8loser.github.io/2023/02/20/terminals-pty-host-is-unresponsive/", "title": "Dev Containers 出現 terminal's pty host process is unresponsive", "date_published": "2023-02-20T06:10:40.000Z", "content_html": "

# 錯誤訊息

\n
\n

Visual Studio Code 1.76.1 版本已不會有此問題

\n
\n

更新 Visual Studio Code 後，進入 Dev Containers 出現錯誤 The connection to the terminal's pty host process is unresponsive，且 terminal 無法使用。
\n\"Error

\n

點選 Restart pty host 後 terminal 仍無法正常顯示

\n

# 環境

\n\n
$ lsb_release  -a\nLSB Version:\tn/a\nDistributor ID:\tManjaroLinux\nDescription:\tManjaro Linux\nRelease:\t22.0.4\nCodename:\tSikaris
\n\n

# 嘗試修正

\n

Visual Studio Code 設定 terminal.integrated.windowsEnableConpty: false，重啟後異常狀況一樣。

\n

# 使用 downgrade 降版

\n

無法降版，可能因為我先把 VSCode 刪除再重新安裝，而重新安裝是最新版的，所以電腦內沒有保留舊版本。

\n
$ sudo downgrade visual-studio-code-bin\n\nDowngrading from A.L.A. is disabled on the stable branch. To override this behavior, set DOWNGRADE_FROM_ALA to 1.\nSee https://wiki.manjaro.org/index.php/Downgrading_packages  for more details.\n\nNo results found\nUnable to downgrade visual-studio-code-bin
\n

# 直接安裝舊版本

\n

# 取得舊版本

\n

從 AUR repository找到使用的套件visual-studio-code-bin，點選 View Changes 查看舊版本。

\n

\"AUR

\n

選擇可以正常的版本; 1.74.3，下載套件。

\n

\"AUR
\n\"old

\n

# 建立 package

\n

解壓縮後進入

\n
$ ls -a1\n.\n..\ncode.desktop\ncode-url-handler.desktop\nPKGBUILD\n.SRCINFO\nvisual-studio-code-bin.install\nvisual-studio-code-bin.sh\nvisual-studio-code-workspace.xml
\n

建立 package

\n
$ makepkg -s\n==> Making package: visual-studio-code-bin 1.74.3-1 (廿廿三年二月廿日 (週一) 廿時47分十三秒)\n==> Checking runtime dependencies...\n==> Checking buildtime dependencies...\n==> Retrieving sources...\n  -> Found code.desktop\n  -> Found code-url-handler.desktop\n  -> Found visual-studio-code-workspace.xml\n  -> Found visual-studio-code-bin.sh\n  -> Downloading code_x64_1.74.3.tar.gz...\n  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current\n                                 Dload  Upload   Total   Spent    Left  Speed\n100   134  100   134    0     0    159      0 --:--:-- --:--:-- --:--:--   159\n100  131M  100  131M    0     0  3979k      0  0:00:33  0:00:33 --:--:-- 4091k\n==> Validating source files with sha256sums...\n    code.desktop ... Passed\n    code-url-handler.desktop ... Passed\n    visual-studio-code-workspace.xml ... Passed\n    visual-studio-code-bin.sh ... Passed\n==> Validating source_x86_64 files with sha256sums...\n    code_x64_1.74.3.tar.gz ... Passed\n==> Extracting sources...\n  -> Extracting code_x64_1.74.3.tar.gz with bsdtar\n==> Entering fakeroot environment...\n==> Starting package()...\n==> Tidying install...\n  -> Removing libtool files...\n  -> Purging unwanted files...\n  -> Removing static library files...\n  -> Stripping unneeded symbols from binaries and libraries...\n  -> Compressing man and info pages...\n==> Checking for packaging issues...\n==> Creating package \"visual-studio-code-bin\"...\n  -> Generating .PKGINFO file...\n  -> Generating .BUILDINFO file...\n  -> Adding install file...\n  -> Generating .MTREE file...\n  -> Compressing package...\n==> Leaving fakeroot environment.\n==> Finished making: visual-studio-code-bin 1.74.3-1 (廿廿三年二月廿日 (週一) 廿時48分二秒)
\n

建立 package 後會產生需要的檔案，檢查有沒有產生 visual-studio-code-bin-1.74.3-1-x86_64.pkg.tar.zst。

\n
$ ls -a1\n.\n..\ncode.desktop\ncode-url-handler.desktop\ncode_x64_1.74.3.tar.gz\npkg\nPKGBUILD\nsrc\n.SRCINFO\nvisual-studio-code-bin-1.74.3-1-x86_64.pkg.tar.zst\nvisual-studio-code-bin.install\nvisual-studio-code-bin.sh\nvisual-studio-code-workspace.xml\n
\n

# 安裝

\n
$ sudo pacman -U visual-studio-code-bin-1.74.3-1-x86_64.pkg.tar.zst\nloading packages...\nresolving dependencies...\nlooking for conflicting packages...\n\nPackages (1) visual-studio-code-bin-1.74.3-1\n\nTotal Installed Size:  331.05 MiB\n\n:: Proceed with installation? [Y/n] y\n(1/1) checking keys in keyring                                   [####################################] 100%\n(1/1) checking package integrity                                 [####################################] 100%\n(1/1) loading package files                                      [####################################] 100%\n(1/1) checking for file conflicts                                [####################################] 100%\n(1/1) checking available disk space                              [####################################] 100%\n:: Processing package changes...\n(1/1) installing visual-studio-code-bin                          [####################################] 100%\n==> NOTE: Custom flags should be put directly in: ~/.config/code-flags.conf\nOptional dependencies for visual-studio-code-bin\n    glib2: Needed for move to trash functionality [installed]\n    libdbusmenu-glib: Needed for KDE global menu [installed]\n    org.freedesktop.secrets: Needed for settings sync [installed]\n    icu69: Needed for live share\n:: Running post-transaction hooks...\n(1/4) Arming ConditionNeedsUpdate...\n(2/4) Updating the MIME type database...\n(3/4) Refreshing PackageKit...\n(4/4) Updating the desktop file MIME type cache...
\n

# 注意事項

\n

在 Linux 環境要安裝 visual-studio-code-bin 的版本，才有 Remote Development 套件可以安裝。

\n

\"Visual

\n

# 參考資料

\n\n", "tags": [ "Trouble", "VSCode", "Remote Development" ] }, { "id": "https://8loser.github.io/2023/02/19/newbie-guide/", "url": "https://8loser.github.io/2023/02/19/newbie-guide/", "title": "新手指南", "date_published": "2023-02-19T07:04:11.000Z", "content_html": "

# 新手指南

\n

這是一篇新手進公司後整理內部開發流程的 事故 故事

\n

# 要有光

\n

上班第一天，要緊頭一件事就是 認清自己在食物鏈中的位置 熟悉開發環境，目前公司開發到佈署的流程是原始碼在每個人的環境都有一份，如果有修改再傳修改的檔案給知道怎麼佈署的人去佈署，這方式有時後會漏掉檔案，也很難搞清哪個才是最新版本的程式。而且每個人開發環境不同，剛拿到專案原始碼時啟動失敗，同學會教我一些奇計淫巧至今令我匪夷所思的方法（為什麼要修改 node_modules 內的檔案?）。

\n\n

# 新手村

\n

村長跟我介紹村子內 NPC 的功能，還有 server 的佈署方式，程式碼上傳到 GCP linux VM 後使用 docker build 成 image，再使用 docker compose 啟動多個 container 運行服務。有兩個 VM 每個 VM 都有 5 個 container，除了前端、後端程式外還有串接其他服務，使用的程式語言有 Vue.js, Node.js, .NET Core 。

\n

# 程式一致

\n

為了解決程式碼同步問題，挑了可以免費 private 託管的版本控制服務，同學可以遠端上傳程式碼，其他人也可以同步。

\n
    \n
  1. 使用的服務為 。\n\n
    2. \n
\n

為什麼要選 GitHub 而不是 PornHub GitLab？忘記了，好像跟 CI/CD 的免費項目有關。難的不是選擇使用的版控服務，而是要上傳哪些程式碼？通常在 server 上運行的就是最新的程式碼，使用 WinSCP 抓下來後當作基準，因為其他同學還有改到一半未上傳的程式碼，所以也收集其他同學的程式碼進行整理合併。整理時發現不是每個人的開發環境設置都一樣，有的人用 Windows 有的人用 Mac。

\n

\n
\n WinSCP\n

https://winscp.net/

\n

\n

# 環境一致

\n

雖然程式碼一致了，但相同的程式碼在不同開發環境卻會出現異常，你就用 node 14 就好了阿，沒事幹麻升級自找麻煩 😒 所以開發環境也要一致。最簡單的方法是大家都裝相同的 node 版本，凡是都有個 BUT，全部的專案使用的 node 並不是相同版本，而且不是每個人都會用 NVM。
\n雖然有的人用 Mac 有的人用 Windows，但是大家都是用 Visual Studio Code，所以把全部的專案都加上 Dev Containers，之後所有人開發的時候，都使用 Dev Containers 進入 container 進行開發。

\n

\n
\n Developing inside a Container\n

https://code.visualstudio.com/docs/devcontainers/containers

\n
\n
\n 使用 VSCode 在 Docker container 內進行開發\n

/2022/05/13/Remote-Containers/

\n

\n

# Docker image auto build

\n

上面提到程式最後都在 server 上 build image 後，使用 docker compose 建立 container 執行。 你終究要 image 的那為什麼不一開始就 image？ 所以把每個專案都加上 GitHub Action，引用原本就有的 Dockerfile 修改，程式上傳後會自動打包成 docker image 且 push 到 GitHub Package

\n

在 GitHub Action 使用下面的 yml，程式碼上傳到 GitHub 後會自動打包成 docker image

\n

Gist Auto build docker image yml

\n

如果設定成功 push 程式碼後可以在 GitHub Action 看到執行動作
\n\"GitHub

\n

\n
\n Quickstart for GitHub Actions\n

https://docs.github.com/en/actions/quickstart

\n
\n
\n docker/build-push-action\n

https://github.com/docker/build-push-action

\n

\n

# Docker 管理

\n

鑑於不是所有同學都習慣用 linux，所以在 server 裝上 portainer，可以使用 Web 界面控制 server 上的 docker。一天又平安的過去了，感謝飛天小女警的努力。

\n

\n
\n Install Portainer CE with Docker on Linux\n

https://docs.portainer.io/start/install-ce/server/docker/linux

\n

\n

# 自動佈署

\n

出現 bug 急著修正的時候，可能一天要上傳程式到 server 八百次，但不是所有人都知道怎麼更新到 server，所以維運的同學要多體諒工程師 所以在 portainer 開啟 swarm 功能後，service 就可以啟用 webhook 接收更新通知，收到通知後自動 pull 新的 docker image 進行佈署，不知道怎麼佈署的人可以 POST 呼叫 webhook 進行 service 更新。

\n
docker swarm init
\n

設定完成後可以在 portainer 選單看到 service 項目
\n\"portainer

\n

進入 service 可以開啟 Service webhook，產生的網址就是用來接收通知拉取新 image 重新佈署的
\n\"portainer

\n

更新 service 還要呼叫 webhook 有點麻煩，就交給 GitHub Action 吧！
\n在 GitHub Action 加入下面設定後，每次 push/pull_request (根據 main.yml設定) 就會自動更新。

\n
- name: Call webhook update service\n  uses: muinmomin/webhook-action@v1.0.0\n  with:\n    url: # 要通知的 webhook URL
\n

\n
\n Enabling a service webhook\n

https://docs.portainer.io/user/docker/services/webhooks#enabling-a-service-webhook

\n
\n
\n muinmomin/webhook-action\n

https://github.com/muinmomin/webhook-action

\n

\n

# 正式站/測試站

\n

當業務外出跟客戶展示系統功能時，如果網站一直更新重啟服務中斷，在客戶端的同學會很尷尬，所以有業務在外展示時工程師可以放假 所以把線上系統分為正式站跟測試站。

\n\n

\"破壞之王\"

\n", "tags": [ "Need to Know", "Story" ] }, { "id": "https://8loser.github.io/2023/02/11/redis-cluster/", "url": "https://8loser.github.io/2023/02/11/redis-cluster/", "title": "GKE 佈署 Redis 叢集", "date_published": "2023-02-11T10:07:24.000Z", "content_html": "

# 環境

\n

在 Google Kubernetes Engine (GKE) 內建置 Redis 叢集

\n\n

# 建立 ConfigMap

\n

建立給 redis 節點使用的共用設定檔，名稱為 redis-cluster，之後建立為 volume 讓每個容器使用

\n
apiVersion: v1\nkind: ConfigMap\nmetadata:\n  name: redis-cluster\ndata:\n  update-node.sh: |\n    #!/bin/sh\n    REDIS_NODES=\"/data/nodes.conf\"\n    sed -i -e \"/myself/ s/[0-9]\\{1,3\\}\\.[0-9]\\{1,3\\}\\.[0-9]\\{1,3\\}\\.[0-9]\\{1,3\\}/${POD_IP}/\" ${REDIS_NODES}\n    exec \"$@\"\n  redis.conf: |+\n    cluster-enabled yes\n    cluster-require-full-coverage no\n    cluster-node-timeout 15000\n    cluster-config-file /data/nodes.conf\n    cluster-migration-barrier 1\n    appendonly yes\n    protected-mode no
\n

建立成功後可以在 GKE 界面的 Secret與ConfigMap 內看到新增的 redis-cluster

\n

\"ConfigMap\"

\n

# 建立 StatefulSet

\n\n

參考文章在 .spec.selector.template.spec.containers.volumes.defaultMode 是寫 0755(八進位)，但是我在 Lens 內執行時會出現下面錯誤，所以改成十進位的 493

\n
\n

create Pod redis-cluster-0 in StatefulSet redis-cluster failed error: Pod "redis-cluster-0" is invalid: [spec.volumes[1].configMap.defaultMode: Invalid value: 755: must be a number between 0 and 0777 (octal), both inclusive, spec.containers[0].volumeMounts[0].name: Not found: "conf"]

\n
\n

完整 yaml

\n
apiVersion: apps/v1\nkind: StatefulSet\nmetadata:\n  name: redis-cluster\nspec:\n  serviceName: redis-cluster\n  replicas: 6 # by default is 1\n  selector:\n    matchLabels:\n      app: redis-cluster # has to match .spec.template.metadata.labels\n  template:\n    metadata:\n      labels:\n        app: redis-cluster # has to match .spec.selector.matchLabels\n    spec:\n      containers:\n      - name: redis\n        image: redis:7\n        ports:\n        - containerPort: 6379\n          name: client\n        - containerPort: 16379\n          name: gossip\n        command: [\"/conf/update-node.sh\", \"redis-server\", \"/conf/redis.conf\"]\n        env:\n        - name: POD_IP\n          valueFrom:\n            fieldRef:\n              fieldPath: status.podIP\n        volumeMounts:\n        - name: conf\n          mountPath: /conf\n          readOnly: false\n        - name: data\n          mountPath: /data\n          readOnly: false\n      volumes:\n      - name: conf\n        configMap:\n          name: redis-cluster\n          # defaultMode: 0755\n          defaultMode: 493\n  volumeClaimTemplates:\n  - metadata:\n      name: data\n    spec:\n      accessModes: [ \"ReadWriteOnce\" ]\n      resources:\n        requests:\n          storage: 1Gi
\n

執行完等一下
\n\"讓子彈飛一會兒\"

\n

之後可以在 GKE 的 工作負載 內看到 6 個 Pod 建立完成
\n\"Pods\"

\n

儲存空間 也會產生 6 個 PVC (PersistentVolumeClaim)
\n\"PVC\"

\n

或者使用指令查看

\n
$ kubectl get pods\nNAME              READY   STATUS    RESTARTS   AGE\nredis-cluster-0   1/1     Running   0          8m31s\nredis-cluster-1   1/1     Running   0          8m19s\nredis-cluster-2   1/1     Running   0          8m7s\nredis-cluster-3   1/1     Running   0          7m56s\nredis-cluster-4   1/1     Running   0          7m39s\nredis-cluster-5   1/1     Running   0          7m28s
\n
$ kubectl get pv\nNAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                          STORAGECLASS   REASON   AGE\npvc-01fc7eb6-e99a-4111-8923-53229eb112b4   1Gi        RWO            Delete           Bound    default/data-redis-cluster-1   standard-rwo            21m\npvc-4bc387e4-dd4c-4400-b99a-e75a720e509b   1Gi        RWO            Delete           Bound    default/data-redis-cluster-2   standard-rwo            21m\npvc-af768f00-7889-4fa5-9ef8-cb95337ef38a   1Gi        RWO            Delete           Bound    default/data-redis-cluster-5   standard-rwo            20m\npvc-b6dadea9-b10e-42cb-8ae4-729b186e8b7c   1Gi        RWO            Delete           Bound    default/data-redis-cluster-0   standard-rwo            21m\npvc-c42ebfa4-a726-42f5-b146-18c28de544a4   1Gi        RWO            Delete           Bound    default/data-redis-cluster-4   standard-rwo            20m\npvc-d1d4de96-2f91-4050-9707-8fd802bd7fb4   1Gi        RWO            Delete           Bound    default/data-redis-cluster-3   standard-rwo            21m
\n

# 建立 Service

\n
apiVersion: v1\nkind: Service\nmetadata:\n  name: redis-cluster\nspec:\n  ports:\n  - port: 6379\n    targetPort: 6379\n    name: client\n  - port: 16379\n    targetPort: 16379\n    name: gossip\n  selector:\n    app: redis-cluster
\n

執行完檢查 Service redis-cluster 是否成功建立
\n\"service\"

\n
$ kubectl get service redis-cluster\nNAME            TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)              AGE\nredis-cluster   ClusterIP   10.80.5.184   <none>        6379/TCP,16379/TCP   2m50s
\n

# 建立 Redis 叢集

\n

參考的文章使用的指令如下

\n
kubectl exec -it redis-cluster-0 -- redis-cli --cluster create --cluster-replicas 1 $(kubectl get pods -l app=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP}:6379 ')
\n

實際實行結果會出現如下錯誤

\n
\n

kubectl exec -it redis-cluster-0 -- redis-cli --cluster create --cluster-replicas 1 $(kubectl get pods -l app=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP}:6379 ')

\n
\n

查看原因是 kubectl get pods -l app=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP} 會多一組空的 IP

\n
$ kubectl get pods -l app=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP}:6379 '\n10.76.2.30:6379 10.76.1.32:6379 10.76.2.31:6379 10.76.1.33:6379 10.76.2.32:6379 10.76.1.34:6379 :6379
\n

可以使用下面指令查看比較明顯

\n
$ kubectl get pods -l app=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP}:6379{\"\\n\"}'\n10.76.2.30:6379\n10.76.1.32:6379\n10.76.2.31:6379\n10.76.1.33:6379\n10.76.2.32:6379\n10.76.1.34:6379\n:6379
\n

修改後指令如下

\n
kubectl exec -it redis-cluster-0 -- redis-cli --cluster create --cluster-replicas 1 $(kubectl get pods -o=jsonpath='{range .items[*]}{.status.podIP}:6379 {end}')
\n

Can I set the above configuration? 輸入 yes，執行結果可以看到建立了 3 個 redis master 節點，3 個 slave 節點。

\n
執行結果
\n

$ kubectl exec -it redis-cluster-0 -- redis-cli --cluster create --cluster-replicas 1 $(kubectl get pods -o=jsonpath='{range .items[*]}{.status.podIP}:6379 {end}')
\n>>> Performing hash slots allocation on 6 nodes...
\nMaster[0] -> Slots 0 - 5460
\nMaster[1] -> Slots 5461 - 10922
\nMaster[2] -> Slots 10923 - 16383
\nAdding replica 10.76.2.32:6379 to 10.76.2.30:6379
\nAdding replica 10.76.1.34:6379 to 10.76.1.32:6379
\nAdding replica 10.76.1.33:6379 to 10.76.2.31:6379
\nM: 05ecf3912ed0a5517ab74fd17f81d02a3314a833 10.76.2.30:6379
\nslots:[0-5460] (5461 slots) master
\nM: 9da23852cfd0a7489c2f53ec743363e48dea378b 10.76.1.32:6379
\nslots:[5461-10922] (5462 slots) master
\nM: 379127b6974b6acc59e5fb194361749e682bdc97 10.76.2.31:6379
\nslots:[10923-16383] (5461 slots) master
\nS: 5105cdd3a6637e3844316c557f81c68b231703e7 10.76.1.33:6379
\nreplicates 379127b6974b6acc59e5fb194361749e682bdc97
\nS: dde0a9ef27e044cd124814529305732c9ab0d9dd 10.76.2.32:6379
\nreplicates 05ecf3912ed0a5517ab74fd17f81d02a3314a833
\nS: 8a89a45f3161b606b13f1ede95fec240de2bcf9d 10.76.1.34:6379
\nreplicates 9da23852cfd0a7489c2f53ec743363e48dea378b
\nCan I set the above configuration? (type 'yes' to accept): yes
\n>>> Nodes configuration updated
\n>>> Assign a different config epoch to each node
\n>>> Sending CLUSTER MEET messages to join the cluster
\nWaiting for the cluster to join

\n

>>> Performing Cluster Check (using node 10.76.2.30:6379)
\nM: 05ecf3912ed0a5517ab74fd17f81d02a3314a833 10.76.2.30:6379
\nslots:[0-5460] (5461 slots) master
\n1 additional replica(s)
\nS: dde0a9ef27e044cd124814529305732c9ab0d9dd 10.76.2.32:6379
\nslots: (0 slots) slave
\nreplicates 05ecf3912ed0a5517ab74fd17f81d02a3314a833
\nS: 5105cdd3a6637e3844316c557f81c68b231703e7 10.76.1.33:6379
\nslots: (0 slots) slave
\nreplicates 379127b6974b6acc59e5fb194361749e682bdc97
\nM: 379127b6974b6acc59e5fb194361749e682bdc97 10.76.2.31:6379
\nslots:[10923-16383] (5461 slots) master
\n1 additional replica(s)
\nM: 9da23852cfd0a7489c2f53ec743363e48dea378b 10.76.1.32:6379
\nslots:[5461-10922] (5462 slots) master
\n1 additional replica(s)
\nS: 8a89a45f3161b606b13f1ede95fec240de2bcf9d 10.76.1.34:6379
\nslots: (0 slots) slave
\nreplicates 9da23852cfd0a7489c2f53ec743363e48dea378b
\n[OK] All nodes agree about slots configuration.
\n>>> Check for open slots...
\n>>> Check slots coverage...
\n[OK] All 16384 slots covered.

\n
\n

# 驗證 Redis 叢集

\n
kubectl exec -it redis-cluster-0 -- redis-cli cluster info
\n
執行結果
\n

$ kubectl exec -it redis-cluster-0 -- redis-cli cluster info
\ncluster_state:ok
\ncluster_slots_assigned:16384
\ncluster_slots_ok:16384
\ncluster_slots_pfail:0
\ncluster_slots_fail:0
\ncluster_known_nodes:6
\ncluster_size:3
\ncluster_current_epoch:6
\ncluster_my_epoch:1
\ncluster_stats_messages_ping_sent:273
\ncluster_stats_messages_pong_sent:278
\ncluster_stats_messages_sent:551
\ncluster_stats_messages_ping_received:273
\ncluster_stats_messages_pong_received:273
\ncluster_stats_messages_meet_received:5
\ncluster_stats_messages_received:551
\ntotal_cluster_links_buffer_limit_exceeded:0

\n
\n
for x in $(seq 0 5); do echo \"redis-cluster-$x\"; kubectl exec redis-cluster-$x -- redis-cli role; echo; done
\n
執行結果
\n

$ for x in (seq05);doecho"redis−cluster−(seq 0 5); do echo "redis-cluster-(seq05);doecho"redis−cluster−x"; kubectl exec redis-cluster-$x -- redis-cli role; echo; done
\nredis-cluster-0
\nmaster
\n504
\n10.76.2.32
\n6379
\n504

\n

redis-cluster-1
\nmaster
\n504
\n10.76.1.34
\n6379
\n504

\n

redis-cluster-2
\nmaster
\n490
\n10.76.1.33
\n6379
\n490

\n

redis-cluster-3
\nslave
\n10.76.2.31
\n6379
\nconnected
\n490

\n

redis-cluster-4
\nslave
\n10.76.2.30
\n6379
\nconnected
\n504

\n

redis-cluster-5
\nslave
\n10.76.1.32
\n6379
\nconnected
\n504

\n
\n

# YAML 檔案

\n

GitHub: 8loser/redis-sts

\n

# 參考

\n

Deploying Redis Cluster on Top of Kubernetes February 22, 2019 | By: Rancher Admin

\n", "tags": [ "Redis", "GKE", "Kubernetes" ] }, { "id": "https://8loser.github.io/2023/01/04/gcp-init/", "url": "https://8loser.github.io/2023/01/04/gcp-init/", "title": "GCP VM 初始化", "date_published": "2023-01-04T07:32:51.000Z", "content_html": "

# 主旨

\n

把專案運行的 GCP VM 環境佈署動作整理，建立 shell script 進行快速佈署。使用作業系統為 Linux Ubuntu

\n

# 執行之前

\n

先執行下面指令，切換為 root 角色

\n
sudo su -
\n

# 要新增的 Linux 帳號

\n

把要新增的帳號、密碼作為變數寫在 script 最上面，為了給共同維護的人登入用的。

\n
ACCOUNT=<帳號>\nPASSWORD=<密碼>
\n

# GitHub 帳號

\n

執行環境會把 docker image 從 GitHub registry 抓下來執行，所以在 script 最上面把 GitHub 權限設定為變數，之後執行讀取變數即可。密碼為 PAT（personal access token），建立方法請參考 建立 PAT。

\n
GITHUB_ACCOUNT=<github帳號>\nGITHUB_PAT=<github PAT>
\n

# 設定時區

\n
timedatectl set-timezone Asia/Taipei
\n

# 作業系統更新

\n
apt update && apt upgrade -y\napt-get clean -y\napt-get autoremove -y
\n

# 啟用 Google BBR

\n
modprobe tcp_bbr\necho \"tcp_bbr\" >> /etc/modules-load.d/modules.conf\necho \"net.core.default_qdisc=fq\" >> /etc/sysctl.conf\necho \"net.ipv4.tcp_congestion_control=bbr\" >> /etc/sysctl.conf\nsysctl -p
\n

# Install Ops Agent

\n

安裝 GCP agent，如果不是使用 GCP 可以不用執行

\n
curl -sSO https://dl.google.com/cloudagents/add-google-cloud-ops-agent-repo.sh\nbash add-google-cloud-ops-agent-repo.sh --also-install
\n

# 安裝 Docker

\n

所有專案都以 container 形式使用 docker compose 運行。安裝 docker 沒毛病。

\n
apt-get update\napt-get install ca-certificates curl gnupg lsb-release -y\nmkdir -p /etc/apt/keyrings\ncurl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg\necho \\\n  \"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \\\n  $(lsb_release -cs) stable\" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null\napt-get update\napt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y -q
\n

# 安裝 Portainer with Docker Swarm

\n

使用 portainer 管理 container，portainer 很棒，是 web 界面。加上 docker swarm 是為了讓程式上傳後可以通知 server 去 pull 新的 image 自動佈署。一言不合就 CI/CD

\n
docker volume create portainer_data\ndocker run -d -p 8000:8000 -p 9443:9443 -p 9000:9000 --name portainer --restart=always -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/data portainer/portainer-ce:latest\ndocker swarm init
\n

# 建立 crond docker-prune

\n

每天自動清理 docker 垃圾，每次更新產生沒用的 image、cointainer 太多會造成主機容量不足掛掉。
\n不然每次掛掉老闆都罵我，我也不知道為什麼有人一天要 commit 600次

\n
cat >> /etc/cron.daily/docker-prune << EOL\n#!/bin/bash\ndocker system prune -af\nEOL\nchmod ugo+x /etc/cron.daily/docker-prune
\n

# 建立 Linux 帳號

\n

使用最上面設定的變數建立帳號，讓其他維護的同學登入。

\n
useradd -c \"update user\" -s /bin/bash -G sudo -m $ACCOUNT\necho \"$ACCOUNT:$PASSWORD\" | chpasswd
\n

# 登入 Docker registry

\n

登入 GitHub registry 之後 docker pull 就不用輸入密碼，讚！

\n
echo $GITHUB_PAT | docker login ghcr.io --username $GITHUB_ACCOUNT --password-stdin
\n

# 完整 shell script

\n\n", "tags": [ "Linux", "Shell script", "GCP" ] }, { "id": "https://8loser.github.io/2022/10/21/nginx-websocket/", "url": "https://8loser.github.io/2022/10/21/nginx-websocket/", "title": "Nginx websocket 無法連接", "date_published": "2022-10-21T09:10:38.000Z", "content_html": "

# 環境

\n

在 docker compose 中，使用 nginx 導向 websocket 到 container 內

\n

# 錯誤訊息

\n

websocket 連接不上，查看 request headers 顯示 Provisional headers are shown

\n

\"provisional

\n

# Solution

\n

搜尋解決方法是在 nginx.conf 內加上

\n
proxy_set_header Upgrade $http_upgrade;\nproxy_set_header Connection \"upgrade\";
\n

# 範例

\n
location /backend/ {\n    proxy_pass http://backend/;\n    proxy_set_header Host $host;\n    proxy_set_header X-Real-IP $remote_addr;\n    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;\n    proxy_set_header X-Custom-Referrer smc_identity_layer;\n    # websocket 要加下面兩個\n    proxy_set_header Upgrade $http_upgrade;\n    proxy_set_header Connection \"upgrade\";\n}
\n

# 驗證

\n

比較有修正前跟修正後，後端實際收到的 request header

\n

# 修正前 request headers

\n
Headers({'host': 'localhost',\n 'x-real-ip': '192.168.224.1',\n 'x-forwarded-for': '192.168.224.1',\n 'x-custom-referrer': 'smc_identity_layer',\n 'connection': 'close',\n 'pragma': 'no-cache',\n 'cache-control': 'no-cache',\n 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36',\n 'origin': 'chrome-extension://cbcbkhdmedgianpaifchdaddpnmgnknn',\n 'sec-websocket-version': '13',\n 'accept-encoding': 'gzip, deflate, br',\n 'accept-language': 'zh-TW,zh;q=0.9,en-US;q=0.8,en;q=0.7',\n 'sec-websocket-key': 'iBVj1v1X8xkD324lsXZSUA==',\n 'sec-websocket-extensions': 'permessage-deflate; client_max_window_bits'})
\n

# 修正後 request headers

\n
Headers({'host': 'localhost',\n'x-real-ip': '192.168.208.1',\n'x-forwarded-for': '192.168.208.1',\n'x-custom-referrer': 'smc_identity_layer',\n'upgrade': 'websocket',\n'connection': 'upgrade',\n'pragma': 'no-cache',\n'cache-control': 'no-cache',\n'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36',\n'origin': 'chrome-extension://cbcbkhdmedgianpaifchdaddpnmgnknn',\n'sec-websocket-version': '13',\n'accept-encoding': 'gzip, deflate, br',\n'accept-language': 'zh-TW,zh;q=0.9,en-US;q=0.8,en;q=0.7',\n'sec-websocket-key': 'j2NwT86WmJt6rIyatTa5rw==',\n'sec-websocket-extensions': 'permessage-deflate; client_max_window_bits'})
\n", "tags": [ "Trouble", "Nginx", "WebSocket" ] } ] }