別在圍城時走散

Linux HID 裝置權限問題

2026-02-09T17:21:00.000Z

# 問題描述

ErgoKB 在 Chrome 進行 Remap 時，選擇 HID 裝置後出現 Could not open 錯誤訊息。

# 環境

OS: EndeavourOS
鍵盤: ErgoKB Phoenix v2 分離式人體工學機械鍵盤

# Diagnosis

查看 HID 裝置權限，全部都只有 root 才有讀寫權限，應該是權限問題（這邊看不出每個 HID 是什麼裝置）

ls -l /dev/hidraw*
crw------- 1 root root 243, 0  2月  9 12:50 /dev/hidraw0
crw------- 1 root root 243, 1  2月  9 12:50 /dev/hidraw1
crw------- 1 root root 243, 2  2月  9 12:50 /dev/hidraw2
crw------- 1 root root 243, 3  2月  9 12:50 /dev/hidraw3

# Solution

查看裝置 VID, PID, 得知 VID/PID 為 1209:2304

lsusb
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 001 Device 003: ID 046d:c52b Logitech, Inc. Unifying Receiver
Bus 001 Device 004: ID 8087:0029 Intel Corp. AX200 Bluetooth
Bus 001 Device 007: ID 1209:2304 Generic Phoenix-v2
Bus 002 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub
Bus 003 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 004 Device 001: ID 1d6b:0003 Linux Foundation 3.0 root hub

建立裝置專用 rule 檔案 /etc/udev/rules.d/99-ergokb.rules

寫入設定

KERNEL=="hidraw*", SUBSYSTEM=="hidraw", \
  ATTRS{idVendor}=="1209", ATTRS{idProduct}=="2304", MODE="0666"

說明：

VID/PID 為剛剛查詢到的 1209:2304
MODE="0666" 設定裝置權限為 rw-rw-rw-，允許所有使用者讀寫
原本裝置權限是 crw------- (600)，只有 root 可以存取
改為 0666 後，一般使用者（包含 Chrome）也能存取 HID 裝置

重新載入設定

sudo udevadm control --reload-rules  # 重新載入 udev 規則檔案
sudo udevadm trigger                  # 觸發事件，將新規則應用到現有設備

udevadm control --reload-rules：重新讀取 /etc/udev/rules.d/ 目錄下的所有規則檔案
udevadm trigger：觸發 udev 事件，讓系統重新掃描所有設備並套用新規則

執行完後如果還是不行我勸你鍵盤拔掉重插啦，重新開啟 remap 頁面即可正常使用。 🎉

對了，如果在 Linux OS, 這篇就有可能遇到這個問題; Node.JS 控制 USB 繼電器

RAG 教學

2026-02-07T02:00:00.000Z

# 架構

RAG（Retrieval-Augmented Generation; 檢索增強生成）

R - Retrieval (檢索)
資料端：原始文件經過 Embedding Model 轉為向量，存入 Vector DB。
查詢端：使用者問題同樣轉為向量，去資料庫進行相似度檢索（Similarity Search）。
A - Augmentation (增強)
組合：將檢索出來的「外部知識（Context）」與「原始問題（Query）」放入一個 Prompt Template 中。
任務：這個動作是為了讓 LLM 擁有它原本訓練數據中沒有的特定資訊。
G - Generation (生成)
輸出：將加強過的 Prompt 丟給 LLM。
回覆： LLM 根據給定的參考資料產出精準的答案。

我理解的架構圖

Gemini 畫的啥玩意兒

# 需求

embed model：將聲音、圖片、影片、文字等轉成向量數值使用
vector db：儲存向量數據及對應內容
LLM：生成式 AI

# Embedding

使用 Sentence-Transformers 載入 embed model，將文字轉成高維度向量特徵。

安裝依賴套件

pip install sentence-transformers

# 加上 huggingface 的鏡像站點環境變數，避免下載模型太慢
import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
from sentence_transformers import SentenceTransformer

# 載入模型
model = SentenceTransformer('all-MiniLM-L6-v2')

# 準備文字
sentences = ["這是一段測試文字", "EndeavourOS 開發環境"]

# 取得 Feature Vector
embeddings = model.encode(sentences)

# 查看 Shape [句子數量, 每個句子的維度]
# 輸出會是 (2, 384)，代表 2 個句子，每個句子 384 維, 是 all-MiniLM-L6-v2 模型的特徵維度。
print(f"向量形狀 (embeddings.shape): {embeddings.shape}") 

# 查看具體數值 (只印出第一句的前 5 個特徵值作為範例)
print(f"第一句的前 5 個特徵值: {embeddings[0][:5]}")

# 執行結果
# 向量形狀 (embeddings.shape): (2, 384)
# 第一句的前 5 個特徵值: [0.03097137 0.09432378 0.04806018 0.02745436 0.02937624]

除了 Sentence-Transformers 也可以用 Ollama 載入 embed model，呼叫 Ollama API 取得向量值
選對模型很重要，改成 paraphrase-multilingual-MiniLM-L12-v2 模型，對中文理解程度比較高
聲音、圖片、影片、文字轉為高維度向量特徵，這個過程叫 embedding

# Vector DB

將向量與內容存入 vector db，後續可以搜尋跟問題相似度高的內容，這裡選用 Qdrant

安裝依賴套件

pip install sentence-transformers qdrant-client

可以用 docker 或 podman 啟動 Qdrant

podman run -p 6333:6333 -p 6334:6334 \
    -v $(pwd)/qdrant_storage:/qdrant/storage:z \
    docker.io/qdrant/qdrant

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
from sentence_transformers import SentenceTransformer
from qdrant_client import QdrantClient
from qdrant_client.models import Distance, VectorParams, PointStruct

# 載入 Embed Model, 改用 paraphrase-multilingual-MiniLM-L12-v2 對中文理解程度比較好
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

# 建立 Qdrant 客戶端
client = QdrantClient("127.0.0.1", port=6333)

# collection 不存在則建立
# size 為 384, 必須跟 embed model 維度搭配
collection_name = "multilingual_notes"
if not client.collection_exists(collection_name):
    client.create_collection(
        collection_name=collection_name,
        vectors_config=VectorParams(size=384, distance=Distance.COSINE),
    )

# 準備寫入的資料
documents = [
    {"id": 1, "text": "EndeavourOS 使用 pacman 作為套件管理器。"},
    {"id": 2, "text": "Python 的虛擬環境可以透過 venv 模組建立。"},
    {"id": 3, "text": "Vector Database 負責儲存高維度的向量數據。"},
    {"id": 4, "text": "等春節特賣叫隔壁王叔叔買給你"},
    {"id": 5, "text": "牛仔褲特賣會在下週末舉行，別忘了去看看！"},
]

# 批次產生每個內容的向量, 利用 GPU 加速批次處理省效能
texts = [doc["text"] for doc in documents]
vectors = model.encode(texts)

# 建立向量與內容資料點
points = []
for i, doc in enumerate(documents):
    points.append(PointStruct(
        id=doc["id"],
        vector=vectors[i].tolist(),
        payload={"page_content": doc["text"]}
    ))

# 新增資料點到 Qdrant
client.upsert(collection_name=collection_name, points=points)

# 語義搜尋測試
query_text = "媽媽我好想要一台 Steam Deck"
query_vector = model.encode(query_text).tolist()

search_result = client.query_points(
    collection_name=collection_name,
    query=query_vector,
    # 搜尋相似度最高的 5 筆
    limit=5
).points

# 顯示搜尋結果
print(f"--- 針對「{query_text}」搜尋到前 {len(search_result)} 筆相關資料 ---")
for i, res in enumerate(search_result):
    content = res.payload['page_content']
    score = res.score
    print(f"{i+1}. [分數: {score:.4f}] {content}")

# 執行結果
# --- 針對「媽媽我好想要一台 Steam Deck」搜尋到前 5 筆相關資料 ---
# 1. [分數: 0.2213] 等春節特賣叫隔壁王叔叔買給你
# 2. [分數: 0.1929] 牛仔褲特賣會在下週末舉行，別忘了去看看！
# 3. [分數: -0.0284] Python 的虛擬環境可以透過 venv 模組建立。
# 4. [分數: -0.0446] Vector Database 負責儲存高維度的向量數據。
# 5. [分數: -0.0561] EndeavourOS 使用 pacman 作為套件管理器。

餘弦相似度: 數值在 -1 ~ 1 之間分數越高越好, 代表語義越接近。可以調整 distance=Distance.COSINE 修改成其他演算法。
Vector db 選型須根據使用的 embed model，需要可以儲存該 model 使用的維度
可以建立不同維度的 collection

Qdrant 有 web 界面

# RAG

要進行 RAG 還差 LLM (Large Language Model), LLM 屬於 RAG 的 G (Generate), 這邊使用 Ollama 載入 llama3

安裝依賴套件

pip install langchain-huggingface langchain-qdrant langchain-ollama langchain-core

在 Arch Linux 安裝 Ollama

yay -S ollama-cuda
sudo systemctl start ollama
# 檢查是否啟用成功
systemctl is-active ollama
# 載入 llama3 模型
ollama run llama3

import os
# 鏡像加速（如果模型已下載則會自動跳過）
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"

from langchain_huggingface import HuggingFaceEmbeddings
from langchain_qdrant import QdrantVectorStore
from langchain_ollama import ChatOllama
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser

# 統一模型名稱，要跟寫入 vector db 時使用的模型一致
EMBEDDING_MODEL_NAME = "paraphrase-multilingual-MiniLM-L12-v2"
embeddings = HuggingFaceEmbeddings(model_name=EMBEDDING_MODEL_NAME)

# Retrieval - 用於檢索的向量資料庫
vector_store = QdrantVectorStore.from_existing_collection(
    embedding=embeddings,
    collection_name="multilingual_notes",
    url="http://127.0.0.1:6333"
)


# Augmentation - 定義詢問 LLM 的 prompt 模板
template = """你是一個基於本地知識庫的 AI 助手。
請根據以下提供的「參考資料」回答「問題」。
如果參考資料中沒有相關答案，請誠實告知你不知道。

[參考資料]:
{context}

[問題]:
用中文回答 `{question}`
"""
prompt = ChatPromptTemplate.from_template(template)

# 檢索設定, 檢索相似度最高的 2 筆資料
retriever = vector_store.as_retriever(search_kwargs={"k": 2})

# 文檔格式化函數
def format_docs(docs):
    return "\n".join(doc.page_content for doc in docs)

# Generation - 使用的生成模型
llm = ChatOllama(model="llama3", base_url="http://localhost:11434")

# 構建 RAG 鏈, 執行：搜尋 Qdrant -> 填入模板 -> 丟給 Llama3 -> 輸出文字
rag_chain = (
    {
        "context": retriever | format_docs,      # 從向量庫檢索並格式化文檔
        "question": RunnablePassthrough()        # 原樣傳遞用戶問題
    }
    | RunnablePassthrough.assign(
        # prompt - 接收 {context, question}，生成格式化的提示詞
        # llm - 將提示詞發送給 Llama3 模型，得到 AI 回答
        # StrOutputParser() - 將 LLM 的輸出（通常是個 AIMessage 對象）轉換成純文字字符串
        # | 是 LangChain 的 LCEL 語法
        answer=prompt | llm | StrOutputParser()
    )
)


# 執行對話測試
if __name__ == "__main__":
    query = "EndeavourOS 適合什麼樣的開發者？"
    print(f"\n提問：{query}")
    
    # R - Retrieval：從向量庫檢索相關文檔
    print("\n----------R Retrieval 檢索階段----------")
    docs = retriever.invoke(query)
    formatted_context = format_docs(docs)
    print(f"檢索到的參考資料（{len(docs)} 筆）：\n{formatted_context}")
    
    # A - Augmentation：將檢索結果填入提示詞
    print("\n----------A Augmentation 增強階段----------")
    augmented_prompt = prompt.invoke({"context": formatted_context, "question": query})
    print(f"生成的提示詞：\n{augmented_prompt.to_string()}")
    
    # G - Generation：LLM 生成回答
    print("\n----------G Generation 生成階段----------")
    result = rag_chain.invoke(query)
    print(f"AI 回答：\n{result['answer']}")

# 執行結果
# 提問：EndeavourOS 適合什麼樣的開發者？

# ----------R Retrieval 檢索階段----------
# 檢索到的參考資料（2 筆）：
# EndeavourOS 使用 pacman 作為套件管理器。
# Python 的虛擬環境可以透過 venv 模組建立。

# ----------A Augmentation 增強階段----------
# 生成的提示詞：
# Human: 你是一個基於本地知識庫的 AI 助手。
# 請根據以下提供的「參考資料」回答「問題」。
# 如果參考資料中沒有相關答案，請誠實告知你不知道。

# [參考資料]:
# EndeavourOS 使用 pacman 作為套件管理器。
# Python 的虛擬環境可以透過 venv 模組建立。

# [問題]:
# 用中文回答 `EndeavourOS 適合什麼樣的開發者？`

# ----------G Generation 生成階段----------
# AI 回答：
# 根據提供的參考資料，EndeavourOS 使用 pacman 作為套件管理器。因此，我們可以知道 EndeavourOS 是一種 Linux 發行版。
# 結論：EndeavourOS 适合 Linux 開發者的需求。

如果原本用 A 模型建立的 db 後來想改 B 模型怎麼辦? 要進行 Re-indexing
後續可以增加避免幻覺機制，相似度閥值判定, 參考資料不足處理機制等等...

多服務 Docker 部署與 Nginx 設定筆記

2025-12-21T00:58:03.000Z

# 文章說明

這是將服務部署到雲端的專案。
VM 建立好後，將專案 pull 到 /opt 下即可快速部署。

# 環境

每個服務程式碼由 GitHub 託管，並設置自動打包成 Docker image。
機器安裝 Docker，部署時 pull Docker image 啟動多個服務 container。
由 Nginx 控制請求進入服務。

# 專案資料夾結構

.
├── init.sh                # 機器初始化
├── prod
│   ├── docker-compose.yml # 正式站 Docker Swarm Stack 設定
│   └── nginx.conf         # 正式站 Nginx 設定
├── start-prod.sh          # 啟動
└── stop-prod.sh           # 停止

首先執行 init.sh 更新系統、安裝常用程式，參考 GCP VM 建置筆記。

# start-prod.sh

#!/bin/sh

# 啟動正式站 container
docker stack deploy --compose-file prod/docker-compose.yml --with-registry-auth company

這邊沒什麼好介紹的，就是用 docker stack deploy 啟動 Docker Swarm Stack。

--with-registry-auth 會把本機 docker login 的 registry 認證一併傳給 Swarm 節點，
讓節點在拉私有 image 時能順利通過授權；不加的話，私有倉庫常會出現拉不到 image 的錯誤。

# docker-compose.yml

# 正式站 container
version: '3.8'

services:
  nginx:
    image: nginx
    restart: unless-stopped
    volumes:
      # Nginx 設定檔
      - ./nginx.conf:/etc/nginx/conf.d/default.conf
    environment:
      TZ: Asia/Taipei
    ports:
      - target: 80
        published: 80
        protocol: tcp
        mode: host

  # 後端 API
  backend:
    image: ghcr.io/8loser/backend:main
    restart: unless-stopped
    environment:
      TZ: Asia/Taipei


  # 前端
  frontend:
    image: ghcr.io/8loser/frontend:main
    restart: unless-stopped
    environment:
      TZ: Asia/Taipei

說明：

有 3 個服務; Nginx、frontend、backend。
Nginx 不用 depends_on backend, frontend 避免某個服務異常導致 Nginx 被牽連停止。
Nginx mode: host 直接用主機 80 對外提供服務，Load Balancer 流量導入 Nginx 80 port，僅有跑該服務的節點會開 80。
Nginx 設定檔直接掛載 prod/nginx.conf 檔案。
Stack 會使用 Swarm overlay network，proxy_pass http://frontend/ 與 proxy_pass http://backend/ 會解析到同一個 Stack 的 service。
ghcr.io 是 GitHub Container Registry，用於存放 Docker image。

# nginx.conf

# 正式站 Nginx

# 預設 server; 使用 IP 或未匹配的域名都會進入
server {
  listen 80;
  server_name _;

  # 不合法 Host 訪問 /，不返回內容
  location / {
      return 204;
  }
}

server {
  listen 80;
  # 允許的域名
  server_name www.*******.com *******.com;

  # Load Balancer Public IP address
  set_real_ip_from <LB_IP>/32; # 填入你的 LB IP
  # Google CIDR 網段
  set_real_ip_from 130.211.0.0/22;
  set_real_ip_from 35.191.0.0/16;
  real_ip_header X-Forwarded-For;
  real_ip_recursive on;

  # 阻擋的 User Agent
  if ($http_user_agent ~* "ApacheBench|pingback|YisouSpider|MJ12bot|AhrefsBot|360JK|Jorgee|FeedDemon|BOT/0.1 (BOT for JCE)|CrawlDaddy|Java|Jullo|Feedly|UniversalFeedParser|Swiftbot|YandexBot|jikeSpider|ZmEu phpmyadmin|WinHttp|EasouSpider|HttpClient|Microsoft URL Control|YYSpider|jaunty|oBot|Python-urllib|Indy Library|FlightDeckReports Bot|Linguee Bot" )
  {return 101;}

  # 正式站設定 robots.txt 允許爬蟲
  location = /robots.txt {
    add_header Content-Type text/plain;
    return 200 "User-agent: *\nAllow: /\n";
  }


  # 前端
  location / {
    proxy_pass http://frontend/;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Custom-Referrer smc_identity_layer;
  }
  
  # 後端
  location /api/ {
    proxy_pass http://backend/;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Custom-Referrer smc_identity_layer;
  }
}

說明：

預設 server 用於攔截未匹配的 Host，直接回 204。
/ 走 frontend、/api/ 走 backend，使用 proxy_pass 轉發請求。
set_real_ip_from 用來限定可信任的轉發來源（LB 與 Google CIDR），才能正確還原 client IP，避免被偽造的 X-Forwarded-For 影響。
proxy_pass http://backend/ 的 backend 對應 docker-compose.yml 的 service 名稱。

Node.JS 控制 USB 繼電器

2025-06-23T06:36:42.000Z

# USB Relay

USB relay 模組就是這個，預計用 Node.js 程式輸出電氣訊號控制機械手臂，這個是兩路的（兩個 relay），還有一路或者更多路的。

輸出接點跟一般繼電器的接點一樣

端點	全名	功能描述
COM	Common（共用端）	中心端點，根據控制情況與 NC 或 NO 接通
NC	Normally Closed（常閉）	在 `未通電` 狀態下，`與 COM 接通`
NO	Normally Open（常開）	在 `未通電` 狀態下，`與 COM 斷開`，通電後才接通

接線方式使用 USB-A 轉 USB-B，USB-A 接電腦，USB-B 接模組

# 程式測試

使用 node-hid 套件，請先確定使用的模組支援 HID

const HID = require('node-hid');

// 尋找連接裝置中 USBRelay 名稱的裝置
const deviceList = HID.devices();
const connectedRelays = deviceList.filter((device) => device.product && device.product.indexOf('USBRelay') !== -1);

const device = new HID.HID(connectedRelays[0].path);

// 啟動第一個 relay
device.sendFeatureReport([0x00, 0xFF, 0x01, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00]);
// 啟動第二個 relay
device.sendFeatureReport([0x00, 0xFF, 0x02, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00]);

// 關閉第一個 relay
device.sendFeatureReport([0x00, 0xFD, 0x01, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00]);
// 關閉第二個 relay
device.sendFeatureReport([0x00, 0xFD, 0x02, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00]);

如果正常啟動繼電器時，模組上對應的繼電器旁 LED 會亮

# 設定 Bytes 說明

Byte 位置	說明
0	命令標頭（通常是固定值）
1	控制命令
2	要控制的繼電器位元組（bitmask）
3~8	充填位元

# 程式設計思路

使用 class
constructor 進行 init, 可指定 device path 或自動搜尋
每個 relay on/off 使用的 bytes 用 list 儲存
setOff(channelNumber), setOn(channelNumber)
根據機械手臂動作定義, ActionOK(), ActionNG()
切為 on 之後多久復歸原狀態可調整

# 部份程式碼

// 啟動第幾個 relay
setOn(number) {
    const commandList = [
        // all
        [0x00, 0xFE, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],
        // 第一個 relay
        [0x00, 0xFF, 0x01, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],
        // 第二個 relay
        [0x00, 0xFF, 0x02, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],
        // 第三個 relay
        [0x00, 0xFF, 0x03, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],
        // 第四個 relay
        [0x00, 0xFF, 0x04, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],
        // 第五個 relay
        [0x00, 0xFF, 0x05, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],
        // 第六個 relay
        [0x00, 0xFF, 0x06, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],
        // 第七個 relay
        [0x00, 0xFF, 0x07, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],
        // 第八個 relay
        [0x00, 0xFF, 0x08, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00]
    ];
    this.device.sendFeatureReport(commandList[number]);
}

// 關閉第幾個 relay
setOff(number) {
    const commandList = [
        // all
        [0x00, 0xFC, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],
        // 第一個 relay
        [0x00, 0xFD, 0x01, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],
        // 第二個 relay
        [0x00, 0xFD, 0x02, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],
        // 第三個 relay
        [0x00, 0xFD, 0x03, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],
        // 第四個 relay
        [0x00, 0xFD, 0x04, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],
        // 第五個 relay
        [0x00, 0xFD, 0x05, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],
        // 第六個 relay
        [0x00, 0xFD, 0x06, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],
        // 第七個 relay
        [0x00, 0xFD, 0x07, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00],
        // 第八個 relay
        [0x00, 0xFD, 0x08, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00]
    ];
    this.device.sendFeatureReport(commandList[number]);
}

ActionOK() {
    // relay 1 作為 OK 訊號
    this.setOn(1);
}

ActionNG() {
    // relay 2 作為 NG 訊號
    this.setOn(2);
}

# 備註

注意輸出控制可承受負載範圍，通常在繼電器上會標示
需要 HID 支援的模組
參考 https://github.com/josephdadams/USBRelay
模組由 USB 供電, 拔掉後 relay 狀態會重置

GCP mTLS(mutual TLS) 憑證設定

2024-11-08T15:38:07.000Z

# 緣由

有一網站需要限制只有特定人員才可瀏覽，通常會使用來源 IP 進行限制，若是無固定辦公室人員（業務）則使用 VPN 連入公司網路獲得允許 IP。

但因為公司沒有自己的網路，所以沒辦法使用這個方法，因此採用 mTLS。

一般網站憑證只是單向用於驗證網站是否合法，mTLS 則是雙向驗證雙向奔赴的憑證，除了驗證網站是否合法外，也驗證連接端 (client, browser) 是否合法。

官方文件其實有教學(Set up mutual TLS with user-provided certificates)，但是官方文件都是透過 gcloud 設定，所以這篇紀錄一下怎麼使用 GUI 方式設定。

思路：從 load balance 下手，在 load balance 進行驗證，client 合法才導入後端。

# 需求

先安裝 openssl 用於產生憑證

# 產生根憑證

# 憑證設定檔

建立憑證設定檔 example.cnf

[req]
distinguished_name = empty_distinguished_name
[empty_distinguished_name]
# Kept empty to allow setting via -subj command line arg.
[ca_exts]
basicConstraints=critical,CA:TRUE
keyUsage=keyCertSign
extendedKeyUsage=clientAuth

# 根憑證與密鑰

使用 openssl 產生根憑證密鑰 root.key 與根憑證 root.cert

openssl req -x509 \
    -new -sha256 -newkey rsa:2048 -nodes \
    -days 3650 -subj '/CN=root' \
    -config example.cnf \
    -extensions ca_exts \
    -keyout root.key -out root.cert

# 產生中繼憑證

# 中繼憑證簽名請求

產生中繼憑證密鑰 int.key 跟中繼憑證簽名請求 int.req

openssl req \
    -new -sha256 -newkey rsa:2048 -nodes \
    -subj '/CN=int' \
    -config example.cnf \
    -extensions ca_exts \
    -keyout int.key -out int.req

# 中繼憑證

產生中繼憑證 int.cert

openssl x509 -req \
    -CAkey root.key -CA root.cert \
    -set_serial 1 \
    -days 3650 \
    -extfile example.cnf \
    -extensions ca_exts \
    -in int.req -out int.cert

# 建立信任設定

從 https://console.cloud.google.com/security/ccm/list/trustConfigs 建立信任設定
把前面步驟產生的 root.cert 內容增加到信任錨點、int.cert 內容增加到中繼 CA。

# 建立用戶端驗證

從 https://console.cloud.google.com/net-security/clientauth/serverTlsPolicies 建立用戶端驗證
用戶端驗證模式選擇 負載平衡 以及 拒絕無效的用戶憑證，信任設定選取前一步驟建立的設定檔。

# 負載平衡設定

https://console.cloud.google.com/net-services/loadbalancing/list/loadBalancers
在負載平衡的前端設定處，選取剛建立的用戶端驗證，可能不會馬上生效，如果生效後開啟網址會是 ERR_CONNECTION_CLOSED 的訊息。

# 建立用戶端憑證

# 用戶端設定檔

建立用戶端設定檔 client.config

[req]
default_bits              = 2048
req_extensions            = extension_requirements
distinguished_name        = dn_requirements
prompt                    = no

[extension_requirements]
basicConstraints          = critical, CA:FALSE
keyUsage                  = critical, nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage          = clientAuth

[dn_requirements]
countryName               = US
stateOrProvinceName       = California
localityName              = San Francisco
0.organizationName        = example
organizationalUnitName    = test
commonName                = test.example.com
emailAddress              = test@example.com

# 產生用戶密鑰與簽名請求

會產生 client.key, client.csr。這邊會詢問金鑰密碼，後面匯出時會用到。

openssl req -new -keyout client.key -out client.csr -config client.config

# 產生用戶端憑證

使用 int.cert、int.key、client.csr 產生用戶端憑證 client.cert

openssl x509 -req -in client.csr -out client.cert -extfile client.config -extensions extension_requirements -days 365 -CA int.cert -CAkey int.key

測試

curl -v -k --key client.key --cert client.cert https://網址

# 瀏覽器匯入憑證

server 端大致上設置完成，還需設定 client 端，client 匯入憑證這邊使用 PKCS #12 格式。
首先將 client.key、client.cert 封裝。會產生 client.p12。
這邊會詢問剛剛產生 client.key 時的金鑰密碼，驗證後會再詢問金鑰匯出密碼，在匯入時會需要 (可不設置)。

openssl pkcs12 -export -inkey client.key -in client.cert -out client.p12 -name "client-cert"

# 憑證匯入

在 Windows、Linux 桌面環境大致上都直接點兩下 client.p12 後輸入匯出密碼即可。之後可開啟瀏覽器查看網站是否可正常瀏覽。

macOS 可能會出現一直詢問密碼 (匯出密碼錯誤) 的情況，強者我同事說是因為 openssl 版本差異關係，使用舊版的 openssl 重新匯出 p12 憑證即可。

macOS 還需要從 鑰匙圈 設定憑證的存取權限為一律允許，否則在瀏覽網站的時候，會一直出現詢問密碼請求允許的情況。

bind source path does not exist

2024-06-16T16:38:53.000Z

# 問題描述

DevContainer 啟動 container 錯誤，查看錯誤訊息如下
Error response from daemon: invalid mount config for type "bind": bind source path does not exist: /run/user/1000/wayland-0

# 環境

OS: EndeavourOS
在 VSCode 使用 Dev Container 套件啟動 container

# 修正方法

刪除下面兩個檔案

/run/user/1000/wayland-0
/run/user/1000/wayland-0.lock

Hexo ShokaX 主題使用 Waline 留言版

2024-06-15T17:17:17.000Z

# 佈署 Waline server 端

參考 Waline 佈署教學網站 https://waline.js.org/guide/deploy/vercel.html ，點選 Deploy 按鈕，會跳轉 Vercel 頁面建立 Waline server。

如果使用該方式，在 Vercel 出現下面錯誤訊息，改用這個 [Deploy] 試試

Error: No Output Directory named "dist" found after the Build completed. You can configure the Output Directory in your Project Settings.

除了 Vercel 作為 Waline 服務之外，也有其他選擇 https://waline.js.org/guide/get-started/server.html

# 建立 Waline 使用的資料庫

Waline 需要資料庫儲存留言資料，Waline 支援多種資料庫 https://waline.js.org/guide/database.html 。
Vercel 也有提供資料庫，所以這邊使用 Vercel 內建的資料庫服務，建立 PostgreSQL。

需要的資料表請參考
https://github.com/walinejs/waline/blob/main/assets/waline.pgsql

# 將 Waline 服務與資料庫連接

進入 App

連接剛剛建立的 PostgreSQL

# 設定 Waline 環境變數

如果資料庫連接成功，會看到紅框內的環境變數。

但這樣還無法讓 Waline server 成功連接資料庫，還需要設定下面的環境變數

PG_SSL
- 設為 true
PG_PORT
- 設為 5432

Waline 可設定的 PostgreSQL 環境變數
https://waline.js.org/guide/database.html#postgresql

# 測試 Waline 功能

進入 Waline project 查看 Waline 留言頁面。

如果正常的話會看到如下畫面，可以留言測試看看是否成功。

# 設定 ShokaX

修改 Hexo ShokaX 設定檔；Hexo 資料夾 /_config.shokax.yml 或 /_config.shokaX.yml

增加下面設定

waline:
  enable: true # 啟用狀態
  serverURL: "https://waline-three-wine.vercel.app" # Waline server 網址，從 Vercel Project 查看 domain
  lang: "zh-TW" # comment 界面語言
  meta: # comment 可填寫項目
    - nick
    - mail
  requiredMeta: # comment 必填項目
    - nick
    - mail
  wordLimit: 400 # comment 字數上限
  pageSize: 10 # 每頁顯示筆數

Hexo ShokaX 的 Waline 其他設定項目
https://docs.kaitaku.xyz/guide/comment.html#valine-系评论系统

# 使用紀錄

# 2024/06

meta 設定無效，只設定 nick, mail 但是界面上還是會顯示網址欄位
最新評論 顯示 emoji 無效，會變成 HTML

spawn node-gyp ENOENT

2023-10-29T17:04:26.000Z

# 問題描述

要把 theme 轉為 shokaX 時，執行 SXC install shokaX 出現錯誤訊息

error /workspaces/page/node_modules/deasync: Command failed.
Exit code: 1
Command: node ./build.js
Arguments: 
Directory: /workspaces/page/node_modules/deasync
Output:
node:events:495
      throw er; // Unhandled 'error' event
      ^

Error: spawn node-gyp ENOENT
    at ChildProcess._handle.onexit (node:internal/child_process:284:19)
    at onErrorNT (node:internal/child_process:477:16)
    at process.processTicksAndRejections (node:internal/process/task_queues:82:21)
Emitted 'error' event on ChildProcess instance at:
    at ChildProcess._handle.onexit (node:internal/child_process:290:12)
    at onErrorNT (node:internal/child_process:477:16)
    at process.processTicksAndRejections (node:internal/process/task_queues:82:21) {
  errno: -2,
  code: 'ENOENT',
  syscall: 'spawn node-gyp',
  path: 'node-gyp',
  spawnargs: [ 'rebuild' ]
}

Node.js v18.18.2
info Visit https://yarnpkg.com/en/docs/cli/add for documentation about this command.

# 環境

Docker image: node:18-slim

# 修正方法

安裝下面套件，不確定 make, g++ 需不需要，因為之前遇過類似的問題都裝這三個，所以直接複製過來用。如果沒有安裝的話，在安裝 node-gyp 會出現其他錯誤。

apt-get install -y python3 make g++

安裝 node-gyp

pnpm add -g node-gyp

靜態網頁 refresh 出現 404

2023-08-26T16:40:55.000Z

# Trouble

Vue 開發網頁打包成靜態網頁檔案，使用 docker compose 結合 nginx 佈署，網頁切換到有路徑的頁面後按 F5 重新整理頁面會出現 404錯誤。

靜態頁面打包後有再用 thttpd 作為 web 服務並打包成 container 方便佈署，實際錯誤情況如下圖，如果不同的 web 服務會有不同畫面。

# Docker-compose.yml

有修改過的內容，實際不只有兩個 container

services:
  nginx:
    image: nginx
    restart: unless-stopped
    volumes:
      # nginx 設定檔
      - ./nginx.conf:/etc/nginx/conf.d/default.conf
      - ./robots.txt.test:/usr/share/nginx/html/robots.txt
    environment:
      TZ: Asia/Taipei
    ports:
      - target: 80
        published: 80
        protocol: tcp
        mode: host

  # 前端 web service
  branded:
    image: ***馬賽克***
    restart: unless-stopped

# Nginx.conf

server {
  listen 80;
  server_name "";
  
  # LB Public IP address
  set_real_ip_from ***馬賽克***;
  set_real_ip_from 130.211.0.0/22;
  set_real_ip_from 35.191.0.0/16;
  real_ip_header X-Forwarded-For;
  real_ip_recursive on;

  # 阻擋的 User Agent
  if ($http_user_agent ~* ***不要告訴泥*** )
  {return 101;}

  location /robots.txt {
    alias /usr/share/nginx/html/robots.txt;
  }

  location /healthcheck {
    access_log off;
    return 200 'ok';
  }

  # 前端
  location / {
    proxy_pass http://branded/;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Custom-Referrer smc_identity_layer;
  }
}

# Solution

在 nginx.conf 加上

proxy_intercept_errors on;
error_page 404 /index.html;

  # 前端
  location / {
    proxy_pass http://branded/;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Custom-Referrer smc_identity_layer;
    # 高情商(?)加下面這兩行
    proxy_intercept_errors on;
    error_page 404 /index.html;
  }

瀏覽器出現 Mixed Content 訊息

2023-07-14T11:25:05.000Z

Chrome Console 出現 Mixed Content 訊息

Mixed Content: The page at 'https://www.***.com/' was loaded over HTTPS, but requested an insecure XMLHttpRequest endpoint 'http://192.168.10.200:3000/'. 
This request has been blocked; the content must be served over HTTPS.

出現該訊息是因為在 https 頁面內，呼叫 http 協定的 API，基於安全問題，瀏覽器會封鎖該請求。解決方式是把 API 換成 https 即可，但這個 API 是我們放在客戶端存取客戶內部網路的 service，讓客戶在我們網站透過呼叫該 service 存取他們內網資料。

如果要為了這個 service 建立域名、申請 SSL 憑證有點麻煩（我就懶），所以請客戶調整瀏覽器設定，允許不安全內容。

# 相關參考

yay 更新顯示檔案毀損

2023-05-28T10:03:54.000Z

# 問題描述

EndeavourOS 更新時出現錯誤訊息，且每次更新時都出現。

:: 進行安裝嗎？ [Y/n] 
:: 正在接收軟體包…
 libusbmuxd-2.0.2-3-x86_64            31.8 KiB   529 KiB/s 00:00 [------------------------------------] 100%
 libplist-2.3.0-2-x86_64             140.7 KiB  1315 KiB/s 00:00 [------------------------------------] 100%
 libimobiledevice-1.3.0-9-x86_64     481.5 KiB  2.35 MiB/s 00:00 [------------------------------------] 100%
 yay-12.0.5-1-x86_64                   3.0 MiB  2.69 MiB/s 00:01 [------------------------------------] 100%
 總共 (4/4)                            3.7 MiB  3.23 MiB/s 00:01 [------------------------------------] 100%
(78/78) 正在檢查鑰匙圈中的鑰匙                                   [------------------------------------] 100%
(78/78) 正在檢查軟體包完整性                                     [------------------------------------] 100%
錯誤：yay：來自 manuel <manuel@endeavouros.com> 的簽章信任等級不明::  /var/cache/pacman/pkg/yay-12.0.5-1-x86_64.pkg.tar.zst 檔案毀損(套件不正確或損毀（PGP 簽章）)。你要刪除它嗎? [Y/n] 
錯誤：無法提交處理 (套件不正確或損毀（PGP 簽章）)
發生錯誤，沒有軟體包被更新。

# 修正

sudo pacman -Sy archlinux-keyring endeavouros-keyring

修正後執行 yay -Syu 可正常更新了。

DBeaver backup start 按鈕沒有作用

2023-05-06T14:57:59.000Z

# 問題描述

在 Linux 內 DBeaver backup Start 按鈕無法點選，也無法 Next

# 環境

OS: EndeavourOS, BUILD_ID=2023.03.06
DBeaver Community 23.0.3
Database: 雲端 PostgreSQL

# 修正方法

# 安裝 PostgreSQL

sudo pacman -S postgresql

# 查看 pg_dump 位置

$ whereis pg_dump
pg_dump: /usr/bin/pg_dump /usr/share/man/man1/pg_dump.1.gz

知道 pg_dump 程式位置在 /usr/bin/

# DBeaver 設定 Driver

從 DBeaver 選單開啟 Database/Driver Manager，點選 PostgreSQL 按 Edit

選取 Native Client/Add Home

設定 Home 為 /usr/bin/

# 測試

Next 可以點選了

點選 Next 後，選取備份路徑按 Start 就可以備份了

縮減靜態網頁 Docker image 大小

2023-03-12T13:59:19.000Z

# 前言

通常 Vue 部屬都是先打包成靜態網頁再部屬到 web 服務器上，但如此無法做到程式碼上傳版控後自動部署，因為上傳的是原始碼，不是打包後的靜態網頁。

所以 Vue 搭配 Docker 時，有種作法是把原始碼直接直接 build 成執行 npm run dev 的 docker image 後放在 server 執行。

這種作法產生的 docker image 很大，枉費還用 Vue

# 縮減方式

使用 Multi-stage builds，在第一個 stage build 出靜態網頁，複製到第二個 stage 跟 web service 打包成 image。

假設原本 Dockerfiler 如下

FROM node:18-slim
COPY . .
RUN npm install --production=false
EXPOSE 5173
CMD ["npm","run","dev"]

加上第二個 stage，並且使用 thttpd 作為靜態網頁的 web service

# 第一個 stage
FROM node:18-slim AS builder
COPY . .
RUN npm install --production=false

# build static html 檔案，檔案會產生在 /dist 內
RUN npm run build

# 第二個 stage
FROM alpine

# 安裝 thttpd
RUN apk update && apk upgrade && apk add --no-cache thttpd

# 複製第一個 stage 產生的 static html 到 /front
COPY --from=builder /dist /front

EXPOSE 5173

# container 啟動時執行 thttpd
CMD ["thttpd", "-D", "-h", "0.0.0.0", "-p", "5173", "-d", "/front", "-l", "-", "-M", "60"]

# 比較

	Docker image 大小
修改前	504MB
修改後	11.1MB

EndeavourOS 常用程式安裝

2023-03-11T13:23:40.000Z

# 參數說明

--noconfirm 自動確認
--needed 已安裝的套件不重複安裝

# 注音輸入法 (新酷音)

pacman -S --noconfirm --needed fcitx5 fcitx5-im fcitx5-chinese-addons fcitx5-configtool fcitx5-chewing

修改 /etc/environment 檔案，增加下面設定

GTK_IM_MODULE=fcitx
QT_IM_MODULE=fcitx
XMODIFIERS=@im=fcitx

# 藍芽

pacman -S --noconfirm --needed bluez bluez-utils blueberry
# 設定開機自動啟用
systemctl enable bluetooth

# Visual Studio Code

安裝 AUR 的 bin 版本才有 Remote Development 套件

yay -S --noconfirm --needed visual-studio-code-bin

# Docker

pacman -S --noconfirm --needed docker

# Docker Desktop

要先下載安裝檔案

下載版本, 可參考 https://docs.docker.com/desktop/release-notes/

# 下載套件檔案
dockerDesktopFile=docker-desktop-4.17.0-x86_64.pkg.tar.zst
wget https://desktop.docker.com/linux/main/amd64/$dockerDesktopFile -P /tmp
# 安裝套件
pacman -U --noconfirm /tmp/$dockerDesktopFile
# 移除下載的檔案
rm /tmp/$dockerDesktopFile

手動安裝可參考 https://docs.docker.com/desktop/install/archlinux/

# Google Chrome

AUR 才有

yay -S --noconfirm --needed google-chrome

# 設定 RAM disk

建立檔案 /etc/tmpfiles.d/shmFolder.conf
使用者名稱的位置記得修改

# 下載資料夾
d /dev/shm/Downloads 0755 <使用者名稱> <使用者名稱> - -
L+ /home/<使用者名稱>/Downloads - - - - /dev/shm/Downloads

# Chrome 暫存資料夾
d /dev/shm/ChromeCache 0700 <使用者名稱> <使用者名稱> - -
L+ /home/<使用者名稱>/.cache/google-chrome - - - - /dev/shm/ChromeCache

執行使設定檔生效，或者重新開機

systemd-tmpfiles --create

# 完整 Shell Script

在這裡 EndeavourOS-init.sh

Linux 開機顯示 recovering journal

2023-02-23T08:51:28.000Z

# 描述

Linux 作業系統開機顯示 recovering journal，無法正常進入桌面環境。
完整訊息如下，出現 recovering journal 後，要等個幾分鐘才會再出現後續的訊息。

/dev/nvme0n1p5: recovering journal
/dev/nvme0n1p5: clean, 1217915/16416000 files, 17252131/65536000 blocks
[ TIME ] Timed out waiting for device /dev/sda2.
[DEPEND] Dependency failed for /home/user/test.
[DEPEND] Dependency failed for Local File System.
You are in emergency mode. After logging in, type "journalctl -xb" to view system logs, "systemctl reboot" to reboot, "systemctl default" or "exit" to boot into default mode.
Give root password for maintenance
(or press Control-D to continue):
...

# 環境

$ lsb_release -a
LSB Version:	n/a
Distributor ID:	ManjaroLinux
Description:	Manjaro Linux
Release:	22.0.4
Codename:	Sikaris

# 修正

使用 root 權限編輯 /etc/fstab，把 /dev/sda2 (錯誤訊息中顯示的) 那行刪除，儲存，reboot。

# 原因

應該是我前一次關機前，插外接硬碟又用 partition 管理工具 mount 外接硬碟 partition 導致。

Dev Containers 出現 terminal's pty host process is unresponsive

2023-02-20T06:10:40.000Z

# 錯誤訊息

Visual Studio Code 1.76.1 版本已不會有此問題

更新 Visual Studio Code 後，進入 Dev Containers 出現錯誤 The connection to the terminal's pty host process is unresponsive，且 terminal 無法使用。

點選 Restart pty host 後 terminal 仍無法正常顯示

# 環境

作業系統

$ lsb_release  -a
LSB Version:	n/a
Distributor ID:	ManjaroLinux
Description:	Manjaro Linux
Release:	22.0.4
Codename:	Sikaris

Visual Studio Code 1.75.1 (會出現錯誤的版本)

# 嘗試修正

Visual Studio Code 設定 terminal.integrated.windowsEnableConpty: false，重啟後異常狀況一樣。

# 使用 downgrade 降版

無法降版，可能因為我先把 VSCode 刪除再重新安裝，而重新安裝是最新版的，所以電腦內沒有保留舊版本。

$ sudo downgrade visual-studio-code-bin

Downgrading from A.L.A. is disabled on the stable branch. To override this behavior, set DOWNGRADE_FROM_ALA to 1.
See https://wiki.manjaro.org/index.php/Downgrading_packages  for more details.

No results found
Unable to downgrade visual-studio-code-bin

# 直接安裝舊版本

# 取得舊版本

從 AUR repository找到使用的套件visual-studio-code-bin，點選 View Changes 查看舊版本。

選擇可以正常的版本; 1.74.3，下載套件。

# 建立 package

解壓縮後進入

$ ls -a1
.
..
code.desktop
code-url-handler.desktop
PKGBUILD
.SRCINFO
visual-studio-code-bin.install
visual-studio-code-bin.sh
visual-studio-code-workspace.xml

建立 package

$ makepkg -s
==> Making package: visual-studio-code-bin 1.74.3-1 (廿廿三年二月廿日 (週一) 廿時47分十三秒)
==> Checking runtime dependencies...
==> Checking buildtime dependencies...
==> Retrieving sources...
  -> Found code.desktop
  -> Found code-url-handler.desktop
  -> Found visual-studio-code-workspace.xml
  -> Found visual-studio-code-bin.sh
  -> Downloading code_x64_1.74.3.tar.gz...
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   134  100   134    0     0    159      0 --:--:-- --:--:-- --:--:--   159
100  131M  100  131M    0     0  3979k      0  0:00:33  0:00:33 --:--:-- 4091k
==> Validating source files with sha256sums...
    code.desktop ... Passed
    code-url-handler.desktop ... Passed
    visual-studio-code-workspace.xml ... Passed
    visual-studio-code-bin.sh ... Passed
==> Validating source_x86_64 files with sha256sums...
    code_x64_1.74.3.tar.gz ... Passed
==> Extracting sources...
  -> Extracting code_x64_1.74.3.tar.gz with bsdtar
==> Entering fakeroot environment...
==> Starting package()...
==> Tidying install...
  -> Removing libtool files...
  -> Purging unwanted files...
  -> Removing static library files...
  -> Stripping unneeded symbols from binaries and libraries...
  -> Compressing man and info pages...
==> Checking for packaging issues...
==> Creating package "visual-studio-code-bin"...
  -> Generating .PKGINFO file...
  -> Generating .BUILDINFO file...
  -> Adding install file...
  -> Generating .MTREE file...
  -> Compressing package...
==> Leaving fakeroot environment.
==> Finished making: visual-studio-code-bin 1.74.3-1 (廿廿三年二月廿日 (週一) 廿時48分二秒)

建立 package 後會產生需要的檔案，檢查有沒有產生 visual-studio-code-bin-1.74.3-1-x86_64.pkg.tar.zst。

$ ls -a1
.
..
code.desktop
code-url-handler.desktop
code_x64_1.74.3.tar.gz
pkg
PKGBUILD
src
.SRCINFO
visual-studio-code-bin-1.74.3-1-x86_64.pkg.tar.zst
visual-studio-code-bin.install
visual-studio-code-bin.sh
visual-studio-code-workspace.xml

# 安裝

$ sudo pacman -U visual-studio-code-bin-1.74.3-1-x86_64.pkg.tar.zst
loading packages...
resolving dependencies...
looking for conflicting packages...

Packages (1) visual-studio-code-bin-1.74.3-1

Total Installed Size:  331.05 MiB

:: Proceed with installation? [Y/n] y
(1/1) checking keys in keyring                                   [####################################] 100%
(1/1) checking package integrity                                 [####################################] 100%
(1/1) loading package files                                      [####################################] 100%
(1/1) checking for file conflicts                                [####################################] 100%
(1/1) checking available disk space                              [####################################] 100%
:: Processing package changes...
(1/1) installing visual-studio-code-bin                          [####################################] 100%
==> NOTE: Custom flags should be put directly in: ~/.config/code-flags.conf
Optional dependencies for visual-studio-code-bin
    glib2: Needed for move to trash functionality [installed]
    libdbusmenu-glib: Needed for KDE global menu [installed]
    org.freedesktop.secrets: Needed for settings sync [installed]
    icu69: Needed for live share
:: Running post-transaction hooks...
(1/4) Arming ConditionNeedsUpdate...
(2/4) Updating the MIME type database...
(3/4) Refreshing PackageKit...
(4/4) Updating the desktop file MIME type cache...

# 注意事項

在 Linux 環境要安裝 visual-studio-code-bin 的版本，才有 Remote Development 套件可以安裝。

# 參考資料

新手指南

2023-02-19T07:04:11.000Z

# 新手指南

這是一篇新手進公司後整理內部開發流程的事故故事

# 要有光

上班第一天，要緊頭一件事就是認清自己在食物鏈中的位置熟悉開發環境，目前公司開發到佈署的流程是原始碼在每個人的環境都有一份，如果有修改再傳修改的檔案給知道怎麼佈署的人去佈署，這方式有時後會漏掉檔案，也很難搞清哪個才是最新版本的程式。而且每個人開發環境不同，剛拿到專案原始碼時啟動失敗，同學會教我一些奇計淫巧至今令我匪夷所思的方法（為什麼要修改 node_modules 內的檔案?）。

改的檔案是最新版的嗎？
覆蓋別人給的檔案後，原本改好的程式不見了。
你給的檔案無法執行，說有缺少 function。
『可以只給提供修改的 function 嗎？』「我其實也不太確定耶，還是你整個貼上後試試看有沒有錯誤」

# 新手村

村長跟我介紹村子內 NPC 的功能，還有 server 的佈署方式，程式碼上傳到 GCP linux VM 後使用 docker build 成 image，再使用 docker compose 啟動多個 container 運行服務。有兩個 VM 每個 VM 都有 5 個 container，除了前端、後端程式外還有串接其他服務，使用的程式語言有 Vue.js, Node.js, .NET Core 。

# 程式一致

為了解決程式碼同步問題，挑了可以免費 private 託管的版本控制服務，同學可以遠端上傳程式碼，其他人也可以同步。

使用的服務為。
- GitHub
- PornHub

為什麼要選 GitHub 而不是 ~~PornHub~~ GitLab？忘記了，好像跟 CI/CD 的免費項目有關。難的不是選擇使用的版控服務，而是要上傳哪些程式碼？通常在 server 上運行的就是最新的程式碼，使用 WinSCP 抓下來後當作基準，因為其他同學還有改到一半未上傳的程式碼，所以也收集其他同學的程式碼進行整理合併。整理時發現不是每個人的開發環境設置都一樣，有的人用 Windows 有的人用 Mac。

WinSCP

https://winscp.net/

# 環境一致

雖然程式碼一致了，但相同的程式碼在不同開發環境卻會出現異常，你就用 node 14 就好了阿，沒事幹麻升級自找麻煩 😒 所以開發環境也要一致。最簡單的方法是大家都裝相同的 node 版本，凡是都有個 BUT，全部的專案使用的 node 並不是相同版本，而且不是每個人都會用 NVM。
雖然有的人用 Mac 有的人用 Windows，但是大家都是用 Visual Studio Code，所以把全部的專案都加上 Dev Containers，之後所有人開發的時候，都使用 Dev Containers 進入 container 進行開發。

Developing inside a Container

https://code.visualstudio.com/docs/devcontainers/containers

使用 VSCode 在 Docker container 內進行開發

/2022/05/13/Remote-Containers/

# Docker image auto build

上面提到程式最後都在 server 上 build image 後，使用 docker compose 建立 container 執行。你終究要 image 的那為什麼不一開始就 image？所以把每個專案都加上 GitHub Action，引用原本就有的 Dockerfile 修改，程式上傳後會自動打包成 docker image 且 push 到 GitHub Package

在 GitHub Action 使用下面的 yml，程式碼上傳到 GitHub 後會自動打包成 docker image

Gist Auto build docker image yml

如果設定成功 push 程式碼後可以在 GitHub Action 看到執行動作

Quickstart for GitHub Actions

https://docs.github.com/en/actions/quickstart

docker/build-push-action

https://github.com/docker/build-push-action

# Docker 管理

鑑於不是所有同學都習慣用 linux，所以在 server 裝上 portainer，可以使用 Web 界面控制 server 上的 docker。一天又平安的過去了，感謝飛天小女警的努力。

Install Portainer CE with Docker on Linux

https://docs.portainer.io/start/install-ce/server/docker/linux

# 自動佈署

出現 bug 急著修正的時候，可能一天要上傳程式到 server 八百次，但不是所有人都知道怎麼更新到 server，所以維運的同學要多體諒工程師所以在 portainer 開啟 swarm 功能後，service 就可以啟用 webhook 接收更新通知，收到通知後自動 pull 新的 docker image 進行佈署，不知道怎麼佈署的人可以 POST 呼叫 webhook 進行 service 更新。

docker swarm init

設定完成後可以在 portainer 選單看到 service 項目

進入 service 可以開啟 Service webhook，產生的網址就是用來接收通知拉取新 image 重新佈署的

更新 service 還要呼叫 webhook 有點麻煩，就交給 GitHub Action 吧！
在 GitHub Action 加入下面設定後，每次 push/pull_request (根據 main.yml設定) 就會自動更新。

- name: Call webhook update service
  uses: muinmomin/webhook-action@v1.0.0
  with:
    url: # 要通知的 webhook URL

Enabling a service webhook

https://docs.portainer.io/user/docker/services/webhooks#enabling-a-service-webhook

muinmomin/webhook-action

https://github.com/muinmomin/webhook-action

# 正式站/測試站

當業務外出跟客戶展示系統功能時，如果網站一直更新重啟服務中斷，在客戶端的同學會很尷尬，所以有業務在外展示時工程師可以放假所以把線上系統分為正式站跟測試站。

GCP VM 兩台變四台
設定測試站 subdomain
GitHub 設定 main/test 兩個分支
GitHub Action 設定只有 test 分支 push 時才自動更新到測試站
你升職，我加薪，大家開香檳～ＹＡ

GKE 佈署 Redis 叢集

2023-02-11T10:07:24.000Z

# 環境

在 Google Kubernetes Engine (GKE) 內建置 Redis 叢集

GKE node: g1-small * 2 (version 1.24.8-gke.2000)
Redis 7

# 建立 ConfigMap

建立給 redis 節點使用的共用設定檔，名稱為 redis-cluster，之後建立為 volume 讓每個容器使用

apiVersion: v1
kind: ConfigMap
metadata:
  name: redis-cluster
data:
  update-node.sh: |
    #!/bin/sh
    REDIS_NODES="/data/nodes.conf"
    sed -i -e "/myself/ s/[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}/${POD_IP}/" ${REDIS_NODES}
    exec "$@"
  redis.conf: |+
    cluster-enabled yes
    cluster-require-full-coverage no
    cluster-node-timeout 15000
    cluster-config-file /data/nodes.conf
    cluster-migration-barrier 1
    appendonly yes
    protected-mode no

建立成功後可以在 GKE 界面的 Secret與ConfigMap 內看到新增的 redis-cluster

# 建立 StatefulSet

StatefulSet 需要使用 Kubernetes v1.9 或之後的版本才支援
.spec.selector.matchLabels 要跟 .spec.template.metadata.labels 相同
.spec.replicas 至少要 6 個，redis cluster 至少要 6 個節點; 3 個 master, 3 個 slave, 不過還沒查到為什麼。

參考文章在 .spec.selector.template.spec.containers.volumes.defaultMode 是寫 0755(八進位)，但是我在 Lens 內執行時會出現下面錯誤，所以改成十進位的 493

create Pod redis-cluster-0 in StatefulSet redis-cluster failed error: Pod "redis-cluster-0" is invalid: [spec.volumes[1].configMap.defaultMode: Invalid value: 755: must be a number between 0 and 0777 (octal), both inclusive, spec.containers[0].volumeMounts[0].name: Not found: "conf"]

完整 yaml

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: redis-cluster
spec:
  serviceName: redis-cluster
  replicas: 6 # by default is 1
  selector:
    matchLabels:
      app: redis-cluster # has to match .spec.template.metadata.labels
  template:
    metadata:
      labels:
        app: redis-cluster # has to match .spec.selector.matchLabels
    spec:
      containers:
      - name: redis
        image: redis:7
        ports:
        - containerPort: 6379
          name: client
        - containerPort: 16379
          name: gossip
        command: ["/conf/update-node.sh", "redis-server", "/conf/redis.conf"]
        env:
        - name: POD_IP
          valueFrom:
            fieldRef:
              fieldPath: status.podIP
        volumeMounts:
        - name: conf
          mountPath: /conf
          readOnly: false
        - name: data
          mountPath: /data
          readOnly: false
      volumes:
      - name: conf
        configMap:
          name: redis-cluster
          # defaultMode: 0755
          defaultMode: 493
  volumeClaimTemplates:
  - metadata:
      name: data
    spec:
      accessModes: [ "ReadWriteOnce" ]
      resources:
        requests:
          storage: 1Gi

執行完等一下

之後可以在 GKE 的 工作負載 內看到 6 個 Pod 建立完成

儲存空間 也會產生 6 個 PVC (PersistentVolumeClaim)

或者使用指令查看

$ kubectl get pods
NAME              READY   STATUS    RESTARTS   AGE
redis-cluster-0   1/1     Running   0          8m31s
redis-cluster-1   1/1     Running   0          8m19s
redis-cluster-2   1/1     Running   0          8m7s
redis-cluster-3   1/1     Running   0          7m56s
redis-cluster-4   1/1     Running   0          7m39s
redis-cluster-5   1/1     Running   0          7m28s

$ kubectl get pv
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                          STORAGECLASS   REASON   AGE
pvc-01fc7eb6-e99a-4111-8923-53229eb112b4   1Gi        RWO            Delete           Bound    default/data-redis-cluster-1   standard-rwo            21m
pvc-4bc387e4-dd4c-4400-b99a-e75a720e509b   1Gi        RWO            Delete           Bound    default/data-redis-cluster-2   standard-rwo            21m
pvc-af768f00-7889-4fa5-9ef8-cb95337ef38a   1Gi        RWO            Delete           Bound    default/data-redis-cluster-5   standard-rwo            20m
pvc-b6dadea9-b10e-42cb-8ae4-729b186e8b7c   1Gi        RWO            Delete           Bound    default/data-redis-cluster-0   standard-rwo            21m
pvc-c42ebfa4-a726-42f5-b146-18c28de544a4   1Gi        RWO            Delete           Bound    default/data-redis-cluster-4   standard-rwo            20m
pvc-d1d4de96-2f91-4050-9707-8fd802bd7fb4   1Gi        RWO            Delete           Bound    default/data-redis-cluster-3   standard-rwo            21m

# 建立 Service

apiVersion: v1
kind: Service
metadata:
  name: redis-cluster
spec:
  ports:
  - port: 6379
    targetPort: 6379
    name: client
  - port: 16379
    targetPort: 16379
    name: gossip
  selector:
    app: redis-cluster

執行完檢查 Service redis-cluster 是否成功建立

$ kubectl get service redis-cluster
NAME            TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)              AGE
redis-cluster   ClusterIP   10.80.5.184   <none>        6379/TCP,16379/TCP   2m50s

# 建立 Redis 叢集

參考的文章使用的指令如下

kubectl exec -it redis-cluster-0 -- redis-cli --cluster create --cluster-replicas 1 $(kubectl get pods -l app=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP}:6379 ')

實際實行結果會出現如下錯誤

kubectl exec -it redis-cluster-0 -- redis-cli --cluster create --cluster-replicas 1 $(kubectl get pods -l app=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP}:6379 ')

查看原因是 kubectl get pods -l app=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP} 會多一組空的 IP

$ kubectl get pods -l app=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP}:6379 '
10.76.2.30:6379 10.76.1.32:6379 10.76.2.31:6379 10.76.1.33:6379 10.76.2.32:6379 10.76.1.34:6379 :6379

可以使用下面指令查看比較明顯

$ kubectl get pods -l app=redis-cluster -o jsonpath='{range.items[*]}{.status.podIP}:6379{"\n"}'
10.76.2.30:6379
10.76.1.32:6379
10.76.2.31:6379
10.76.1.33:6379
10.76.2.32:6379
10.76.1.34:6379
:6379

修改後指令如下

kubectl exec -it redis-cluster-0 -- redis-cli --cluster create --cluster-replicas 1 $(kubectl get pods -o=jsonpath='{range .items[*]}{.status.podIP}:6379 {end}')

Can I set the above configuration? 輸入 yes，執行結果可以看到建立了 3 個 redis master 節點，3 個 slave 節點。

執行結果

$ kubectl exec -it redis-cluster-0 -- redis-cli --cluster create --cluster-replicas 1 $(kubectl get pods -o=jsonpath='{range .items[*]}{.status.podIP}:6379 {end}')
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 10.76.2.32:6379 to 10.76.2.30:6379
Adding replica 10.76.1.34:6379 to 10.76.1.32:6379
Adding replica 10.76.1.33:6379 to 10.76.2.31:6379
M: 05ecf3912ed0a5517ab74fd17f81d02a3314a833 10.76.2.30:6379
slots:[0-5460] (5461 slots) master
M: 9da23852cfd0a7489c2f53ec743363e48dea378b 10.76.1.32:6379
slots:[5461-10922] (5462 slots) master
M: 379127b6974b6acc59e5fb194361749e682bdc97 10.76.2.31:6379
slots:[10923-16383] (5461 slots) master
S: 5105cdd3a6637e3844316c557f81c68b231703e7 10.76.1.33:6379
replicates 379127b6974b6acc59e5fb194361749e682bdc97
S: dde0a9ef27e044cd124814529305732c9ab0d9dd 10.76.2.32:6379
replicates 05ecf3912ed0a5517ab74fd17f81d02a3314a833
S: 8a89a45f3161b606b13f1ede95fec240de2bcf9d 10.76.1.34:6379
replicates 9da23852cfd0a7489c2f53ec743363e48dea378b
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join

>>> Performing Cluster Check (using node 10.76.2.30:6379)
M: 05ecf3912ed0a5517ab74fd17f81d02a3314a833 10.76.2.30:6379
slots:[0-5460] (5461 slots) master
1 additional replica(s)
S: dde0a9ef27e044cd124814529305732c9ab0d9dd 10.76.2.32:6379
slots: (0 slots) slave
replicates 05ecf3912ed0a5517ab74fd17f81d02a3314a833
S: 5105cdd3a6637e3844316c557f81c68b231703e7 10.76.1.33:6379
slots: (0 slots) slave
replicates 379127b6974b6acc59e5fb194361749e682bdc97
M: 379127b6974b6acc59e5fb194361749e682bdc97 10.76.2.31:6379
slots:[10923-16383] (5461 slots) master
1 additional replica(s)
M: 9da23852cfd0a7489c2f53ec743363e48dea378b 10.76.1.32:6379
slots:[5461-10922] (5462 slots) master
1 additional replica(s)
S: 8a89a45f3161b606b13f1ede95fec240de2bcf9d 10.76.1.34:6379
slots: (0 slots) slave
replicates 9da23852cfd0a7489c2f53ec743363e48dea378b
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

# 驗證 Redis 叢集

kubectl exec -it redis-cluster-0 -- redis-cli cluster info

執行結果

$ kubectl exec -it redis-cluster-0 -- redis-cli cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:273
cluster_stats_messages_pong_sent:278
cluster_stats_messages_sent:551
cluster_stats_messages_ping_received:273
cluster_stats_messages_pong_received:273
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:551
total_cluster_links_buffer_limit_exceeded:0

for x in $(seq 0 5); do echo "redis-cluster-$x"; kubectl exec redis-cluster-$x -- redis-cli role; echo; done

執行結果

$ for x in $(seq 0 5); do echo "redis-cluster-$ x"; kubectl exec redis-cluster-$x -- redis-cli role; echo; done
redis-cluster-0
master
504
10.76.2.32
6379
504

redis-cluster-1
master
504
10.76.1.34
6379
504

redis-cluster-2
master
490
10.76.1.33
6379
490

redis-cluster-3
slave
10.76.2.31
6379
connected
490

redis-cluster-4
slave
10.76.2.30
6379
connected
504

redis-cluster-5
slave
10.76.1.32
6379
connected
504

# YAML 檔案

GitHub: 8loser/redis-sts

# 參考

Deploying Redis Cluster on Top of Kubernetes February 22, 2019 | By: Rancher Admin

GCP VM 初始化

2023-01-04T07:32:51.000Z

# 主旨

把專案運行的 GCP VM 環境佈署動作整理，建立 shell script 進行快速佈署。使用作業系統為 Linux Ubuntu

# 執行之前

先執行下面指令，切換為 root 角色

sudo su -

# 要新增的 Linux 帳號

把要新增的帳號、密碼作為變數寫在 script 最上面，為了給共同維護的人登入用的。

ACCOUNT=<帳號>
PASSWORD=<密碼>

# GitHub 帳號

執行環境會把 docker image 從 GitHub registry 抓下來執行，所以在 script 最上面把 GitHub 權限設定為變數，之後執行讀取變數即可。密碼為 PAT（personal access token），建立方法請參考建立 PAT。

GITHUB_ACCOUNT=<github帳號>
GITHUB_PAT=<github PAT>

# 設定時區

timedatectl set-timezone Asia/Taipei

# 作業系統更新

apt update && apt upgrade -y
apt-get clean -y
apt-get autoremove -y

# 啟用 Google BBR

modprobe tcp_bbr
echo "tcp_bbr" >> /etc/modules-load.d/modules.conf
echo "net.core.default_qdisc=fq" >> /etc/sysctl.conf
echo "net.ipv4.tcp_congestion_control=bbr" >> /etc/sysctl.conf
sysctl -p

# Install Ops Agent

安裝 GCP agent，如果不是使用 GCP 可以不用執行

curl -sSO https://dl.google.com/cloudagents/add-google-cloud-ops-agent-repo.sh
bash add-google-cloud-ops-agent-repo.sh --also-install

# 安裝 Docker

所有專案都以 container 形式使用 docker compose 運行。安裝 docker 沒毛病。

apt-get update
apt-get install ca-certificates curl gnupg lsb-release -y
mkdir -p /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
apt-get update
apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y -q

# 安裝 Portainer with Docker Swarm

使用 portainer 管理 container，portainer 很棒，是 web 界面。加上 docker swarm 是為了讓程式上傳後可以通知 server 去 pull 新的 image 自動佈署。一言不合就 CI/CD

docker volume create portainer_data
docker run -d -p 8000:8000 -p 9443:9443 -p 9000:9000 --name portainer --restart=always -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/data portainer/portainer-ce:latest
docker swarm init

# 建立 crond docker-prune

每天自動清理 docker 垃圾，每次更新產生沒用的 image、cointainer 太多會造成主機容量不足掛掉。
~~不然每次掛掉老闆都罵我，我也不知道為什麼有人一天要 commit 600次~~

cat >> /etc/cron.daily/docker-prune << EOL
#!/bin/bash
docker system prune -af
EOL
chmod ugo+x /etc/cron.daily/docker-prune

# 建立 Linux 帳號

使用最上面設定的變數建立帳號，讓其他維護的同學登入。

useradd -c "update user" -s /bin/bash -G sudo -m $ACCOUNT
echo "$ACCOUNT:$PASSWORD" | chpasswd

# 登入 Docker registry

登入 GitHub registry 之後 docker pull 就不用輸入密碼，讚！

echo $GITHUB_PAT | docker login ghcr.io --username $GITHUB_ACCOUNT --password-stdin

# 完整 shell script

https://gist.github.com/8loser/f54b673b93a2df296887c2bd6edf96e8

Nginx websocket 無法連接

2022-10-21T09:10:38.000Z

# 環境

在 docker compose 中，使用 nginx 導向 websocket 到 container 內

# 錯誤訊息

websocket 連接不上，查看 request headers 顯示 Provisional headers are shown

# Solution

搜尋解決方法是在 nginx.conf 內加上

proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";

# 範例

location /backend/ {
    proxy_pass http://backend/;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Custom-Referrer smc_identity_layer;
    # websocket 要加下面兩個
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection "upgrade";
}

# 驗證

比較有修正前跟修正後，後端實際收到的 request header

# 修正前 request headers

Headers({'host': 'localhost',
 'x-real-ip': '192.168.224.1',
 'x-forwarded-for': '192.168.224.1',
 'x-custom-referrer': 'smc_identity_layer',
 'connection': 'close',
 'pragma': 'no-cache',
 'cache-control': 'no-cache',
 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36',
 'origin': 'chrome-extension://cbcbkhdmedgianpaifchdaddpnmgnknn',
 'sec-websocket-version': '13',
 'accept-encoding': 'gzip, deflate, br',
 'accept-language': 'zh-TW,zh;q=0.9,en-US;q=0.8,en;q=0.7',
 'sec-websocket-key': 'iBVj1v1X8xkD324lsXZSUA==',
 'sec-websocket-extensions': 'permessage-deflate; client_max_window_bits'})

# 修正後 request headers

Headers({'host': 'localhost',
'x-real-ip': '192.168.208.1',
'x-forwarded-for': '192.168.208.1',
'x-custom-referrer': 'smc_identity_layer',
'upgrade': 'websocket',
'connection': 'upgrade',
'pragma': 'no-cache',
'cache-control': 'no-cache',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36',
'origin': 'chrome-extension://cbcbkhdmedgianpaifchdaddpnmgnknn',
'sec-websocket-version': '13',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-TW,zh;q=0.9,en-US;q=0.8,en;q=0.7',
'sec-websocket-key': 'j2NwT86WmJt6rIyatTa5rw==',
'sec-websocket-extensions': 'permessage-deflate; client_max_window_bits'})