pax_global_header00006660000000000000000000000064150777030130014515gustar00rootroot0000000000000052 comment=89507a3cbb1fcb3293b3afe500f85c7dba14f0ba httpsget-20251124/000077500000000000000000000000001507770301300136215ustar00rootroot00000000000000httpsget-20251124/.gitignore000066400000000000000000000000451507770301300156100ustar00rootroot00000000000000*.o *.d *.x *.x.elf *.zip README.txt httpsget-20251124/.gitmodules000066400000000000000000000003051507770301300157740ustar00rootroot00000000000000[submodule "axtls"] path = axtls url = https://github.com/yunkya2/axtls-x68k.git branch = axtls-x68k [submodule "iconv_mini"] path = iconv_mini url = https://github.com/yunkya2/iconv_mini.git httpsget-20251124/Makefile000066400000000000000000000045201507770301300152620ustar00rootroot00000000000000# # Copyright (c) 2025 Yuichi Nakamura (@yunkya2) # # The MIT License (MIT) # # Permission is hereby granted, free of charge, to any person obtaining a copy # of this software and associated documentation files (the "Software"), to deal # in the Software without restriction, including without limitation the rights # to use, copy, modify, merge, publish, distribute, sublicense, and/or sell # copies of the Software, and to permit persons to whom the Software is # furnished to do so, subject to the following conditions: # # The above copyright notice and this permission notice shall be included in # all copies or substantial portions of the Software. # # THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR # IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, # FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE # AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER # LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, # OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN # THE SOFTWARE. TARGET = httpsget.x all: $(TARGET) CROSS_COMPILE ?= m68k-xelf- CC = $(CROSS_COMPILE)gcc LD = $(CC) GIT_REPO_VERSION=$(shell git describe --tags --always) CFLAGS = -Wall -O3 -g $(INC) $(DEFS) -MMD -MP CFLAGS += -DGIT_REPO_VERSION=\"$(GIT_REPO_VERSION)\" LDFLAGS = $(LIBS) LIBS = -lsocket AXTLS_DIR = axtls AXTLS_INCLUDE = axtls-include INC += -I. -I$(AXTLS_INCLUDE) -I$(AXTLS_DIR)/ssl -I$(AXTLS_DIR)/crypto -Iiconv_mini DEFS += -DICONV_ONLY_U2S -DCONFIG_M68K_ASM SRCS += httpsget.c \ iconv_mini/iconv_mini.c $(AXTLS_DIR)/%.o: CFLAGS += -Wno-all SRCS += $(addprefix $(AXTLS_DIR)/, \ ssl/asn1.c \ ssl/loader.c \ ssl/tls1.c \ ssl/tls1_svr.c \ ssl/tls1_clnt.c \ ssl/x509.c \ crypto/aes.c \ crypto/bigint.c \ crypto/crypto_misc.c \ crypto/hmac.c \ crypto/md5.c \ crypto/rsa.c \ crypto/sha1.c \ crypto/sha256.c \ ) OBJS = $(SRCS:.c=.o) DEPS = $(SRCS:.c=.d) %.o: %.c $(CC) $(CFLAGS) -c -o $@ $< $(TARGET): $(OBJS) $(LD) -o $@ $^ $(LDFLAGS) linux unix: $(MAKE) CROSS_COMPILE= LIBS= DEFS=-UCONFIG_M68K_ASM clean: -rm -f $(OBJS) $(DEPS) $(TARGET) $(TARGET).elf README.txt release: clean all ./md2txtconv.py README.md zip httpsget-$(GIT_REPO_VERSION).zip README.txt httpsget.x -include $(DEPS) .PHONY: all clean linux unix httpsget-20251124/README.md000066400000000000000000000155551507770301300151130ustar00rootroot00000000000000# httpsget - HTTPS simple client for X68000 ## 概要 httpsget はネットワーク接続が可能な X680x0 上で動作する HTTPS クライアントです。 X680x0 では、Neptune-X や Nereid, RaSCSI などの有志の方々が開発されたネットワークアダプタと、無償配布されている[(株)計測技研製 Human68k 用 TCP/IP ドライバ](http://retropc.net/x68000/software/internet/kg/tcppacka/)の組み合わせによってインターネットへの接続が可能です。 [WebXpression](http://retropc.net/x68000/software/internet/wwwbrowser/webxpression/)などのブラウザを用いた Web ブラウズも一応可能ですが、既存のブラウザは暗号化されていない HTTP 通信にしか対応していないため、ほとんどの Web サイトが HTTPS 対応されてしまった現在では見られるサイトが非常に限られてしまっています。 現在の PC と比べると非力な X680x0 にとっては、HTTPS 通信で使用されている TLS プロトコルは非常に重い処理であり、これを用いた Web ブラウズはあまり現実的ではないのですが、重いながらも実験的に HTTPS 通信を実装してみました。 Web サイトの html を取得してただテキストとして表示するだけで、タグの処理も最低限のことしか行っていませんが、X680x0 でも HTTPS 通信が可能であることを示す一例としてご覧ください。 ## 動作環境 X680x0 で、計測技研製 TCP/IP ドライバやその互換ドライバを用いたネットワーク接続が可能な環境が必要です。 TLS プロトコルは X680x0 にとって非常に重い処理なので、正常な動作のためには各種設定のチューニングが不可欠です。具体的には以下の設定を行ってください。 * CONFIG.SYS * TCP/IPドライバを動かすために必要な `PROCESS=` 行を以下の設定にします ``` PROCESS = 3 2 100 ``` * 最初の `3` は最大スレッド数の指定です。3 以上の値であればよいです * 2,3 番目の値 (メインスレッドの優先度とタイムスライス値) は計測技研製ドライバの設定例では `10 10` になっていますが、この値では TLS 処理のための CPU 時間が不足するため、変更の必要があります * TCP/IP ドライバ * 計測技研製ドライバより高速な hinetd.x (K.Shirakata さん作) を使用してください * X68000 LIBRARY (http://retropc.net/x68000/software/internet/tcpip/hinetd/) から入手できます * hinetd.x 起動時のパラメータは以下の設定にします ``` hinetd -w512 -n15 ``` 高速化係数(`-n`)を最大に設定した上で、TCP のウィンドウサイズ(`-w`)を 512 バイトに設定します * 実行中にドライバのメモリ不足が発生する場合があるため、メモリに余裕のある環境では更に `-+-h:524288 -+-s:262144` のオプションを追加してヒープサイズとスタックサイズを増やしておくとよいです ## 使い方 コマンドラインから以下のように起動します。 ``` httpsget [<オプション>] ``` `<オプション>` は以下の通りです。 * `-h`, `--help` : ヘルプを表示して終了します * `-H`, `--show-header` : HTTP レスポンスヘッダを表示します * `-r`, `--raw` : HTML のパースを行わずにそのまま表示します * `-s`, `--sjis` : UTF-8 から SJIS への変換を行いません * ほとんどの Web サイトは UTF-8 で記述されているため、デフォルトでは X68k での表示のために UTF-8 から SJIS への変換を行いますが、このオプションを指定するとその変換を行いません。SJIS で記述されているサイトを表示する場合に使用します * `-p`, `--page` : ページングモードで表示します * 一画面ごとに停止してキー入力を待ちます。スペースで1行分、リターンでは1ページ分進みます。`q` で終了します。 `` には接続したいサイトを記述します。以下のフォーマットで指定してください。 * `[<スキーム>://]<ホスト名>[:<ポート番号>][/<パス>]` * `<スキーム>` には `https` または `http` を指定します。省略すると `https` が指定されたものとして扱います * `<ホスト名>` にはドメイン名または IP アドレスを指定します * `<ポート番号>` は省略可能です。省略した場合はスキームに応じて 443 (https) または 80 (http) が指定されたものとして扱います * `<パス>` は省略可能です。省略した場合は `/` が指定されたものとして扱います ### コマンドラインの例 ``` httpsget https://www.yahoo.co.jp httpsget -H www.google.com httpsget -s -p http://www.retropc.net/x68000/ ``` ## TLS の実装と制約事項 httpsget の HTTPS 通信には、[axTLS](https://axtls.sourceforge.net/) の [MicroPython](https://micropython.org/) 対応版 (https://github.com/micropython/axtls) を元に m68k 向けの高速化を行ったものを使用しています。 axTLS は OpenSSL や mbedTLS と比べると機能が限定されている代わりに軽量ですが、以下のような制約事項があります。 * 対応するプロトコルに制約があります。接続先が要求するプロトコルに対応できない場合は、接続時にエラー -40 が返されます * 利用できる TLS バージョンは 1.2 のみです。 * 鍵交換で利用できる暗号は RSA のみです。DH や ECDHE などその他の方式には対応していません * 接続時にサーバ証明書の確認を行いません(axTLS に機能はありますが、使用していません) * 接続先によっては接続時の TLS ハンドシェイクのタイムアウトが短め(10秒程度)に設定されている場合があり、これに間に合わないとサーバ側から接続が切断されてしまいます(エラー -256 が返されます) * 特に 10MHz 機の場合にはぎりぎりで、通信状態によってはタイムアウトしてしまう可能性があります。XVI や X68030 などの高速な機種や、PhantomX などのアクセラレータがある環境が望ましいです ## ビルド方法 [elf2x68k](https://github.com/yunkya2/elf2x68k) の 20250907 版以降が必要です。 ``` git clone --recursive https://github.com/yunkya2/httpsget.git ``` で、サブモジュール込みで clone した後、以下のコマンドでビルドします。 ``` make ``` `make linux` でデバッグ用の Linux 版のバイナリをビルドすることもできます。 ## ライセンス httpsget は MIT ライセンスで配布されます。 内部で用いられている axTLS は BSD ライセンスで配布されています。 httpsget-20251124/axtls/000077500000000000000000000000001507770301300147545ustar00rootroot00000000000000httpsget-20251124/axtls-include/000077500000000000000000000000001507770301300163755ustar00rootroot00000000000000httpsget-20251124/axtls-include/axtls_os_port.h000066400000000000000000000010131507770301300214410ustar00rootroot00000000000000#ifndef AXTLS_OS_PORT_H #define AXTLS_OS_PORT_H #include #include #include #include #include #define SSL_CTX_MUTEX_INIT(mutex) #define SSL_CTX_MUTEX_DESTROY(mutex) #define SSL_CTX_LOCK(mutex) #define SSL_CTX_UNLOCK(mutex) #define SOCKET_READ(s, buf, size) read(s, buf, size) #define SOCKET_WRITE(s, buf, size) write(s, buf, size) #define SOCKET_CLOSE(A) UNUSED #define SOCKET_ERRNO() errno #endif // AXTLS_OS_PORT_H httpsget-20251124/axtls-include/config.h000066400000000000000000000062251507770301300200200ustar00rootroot00000000000000/* * Automatically generated header file: don't edit */ #define HAVE_DOT_CONFIG 1 #define CONFIG_PLATFORM_LINUX 1 #undef CONFIG_PLATFORM_CYGWIN #undef CONFIG_PLATFORM_WIN32 /* * General Configuration */ #define PREFIX "/usr/local" #undef CONFIG_DEBUG #undef CONFIG_STRIP_UNWANTED_SECTIONS #undef CONFIG_VISUAL_STUDIO_7_0 #undef CONFIG_VISUAL_STUDIO_8_0 #undef CONFIG_VISUAL_STUDIO_10_0 #define CONFIG_VISUAL_STUDIO_7_0_BASE "" #define CONFIG_VISUAL_STUDIO_8_0_BASE "" #define CONFIG_VISUAL_STUDIO_10_0_BASE "" #define CONFIG_EXTRA_CFLAGS_OPTIONS "" #define CONFIG_EXTRA_LDFLAGS_OPTIONS "" /* * SSL Library */ #undef CONFIG_SSL_SERVER_ONLY #undef CONFIG_SSL_CERT_VERIFICATION #undef CONFIG_SSL_FULL_MODE #define CONFIG_SSL_SKELETON_MODE 1 #define CONFIG_SSL_ENABLE_SERVER 1 #define CONFIG_SSL_ENABLE_CLIENT 1 #undef CONFIG_SSL_DIAGNOSTICS #define CONFIG_SSL_PROT_LOW 1 #undef CONFIG_SSL_PROT_MEDIUM #undef CONFIG_SSL_PROT_HIGH #define CONFIG_SSL_AES 1 #define CONFIG_SSL_USE_DEFAULT_KEY 1 #define CONFIG_SSL_PRIVATE_KEY_LOCATION "" #define CONFIG_SSL_PRIVATE_KEY_PASSWORD "" #define CONFIG_SSL_X509_CERT_LOCATION "" #undef CONFIG_SSL_GENERATE_X509_CERT #define CONFIG_SSL_X509_COMMON_NAME "" #define CONFIG_SSL_X509_ORGANIZATION_NAME "" #define CONFIG_SSL_X509_ORGANIZATION_UNIT_NAME "" #undef CONFIG_SSL_HAS_PEM #undef CONFIG_SSL_USE_PKCS12 #define CONFIG_SSL_EXPIRY_TIME #define CONFIG_X509_MAX_CA_CERTS 0 #define CONFIG_SSL_MAX_CERTS 3 #undef CONFIG_SSL_CTX_MUTEXING #undef CONFIG_USE_DEV_URANDOM #undef CONFIG_WIN32_USE_CRYPTO_LIB #undef CONFIG_OPENSSL_COMPATIBLE #undef CONFIG_PERFORMANCE_TESTING #undef CONFIG_SSL_TEST #undef CONFIG_AXTLSWRAP #undef CONFIG_AXHTTPD #undef CONFIG_HTTP_STATIC_BUILD #define CONFIG_HTTP_PORT #define CONFIG_HTTP_HTTPS_PORT #define CONFIG_HTTP_SESSION_CACHE_SIZE #define CONFIG_HTTP_WEBROOT "" #define CONFIG_HTTP_TIMEOUT #undef CONFIG_HTTP_HAS_CGI #define CONFIG_HTTP_CGI_EXTENSIONS "" #undef CONFIG_HTTP_ENABLE_LUA #define CONFIG_HTTP_LUA_PREFIX "" #undef CONFIG_HTTP_BUILD_LUA #define CONFIG_HTTP_CGI_LAUNCHER "" #undef CONFIG_HTTP_DIRECTORIES #undef CONFIG_HTTP_HAS_AUTHORIZATION #undef CONFIG_HTTP_HAS_IPV6 #undef CONFIG_HTTP_ENABLE_DIFFERENT_USER #define CONFIG_HTTP_USER "" #undef CONFIG_HTTP_VERBOSE #undef CONFIG_HTTP_IS_DAEMON /* * Language Bindings */ #undef CONFIG_BINDINGS #undef CONFIG_CSHARP_BINDINGS #undef CONFIG_VBNET_BINDINGS #define CONFIG_DOT_NET_FRAMEWORK_BASE "" #undef CONFIG_JAVA_BINDINGS #define CONFIG_JAVA_HOME "" #undef CONFIG_PERL_BINDINGS #define CONFIG_PERL_CORE "" #define CONFIG_PERL_LIB "" #undef CONFIG_LUA_BINDINGS #define CONFIG_LUA_CORE "" /* * Samples */ #undef CONFIG_SAMPLES #undef CONFIG_C_SAMPLES #undef CONFIG_CSHARP_SAMPLES #undef CONFIG_VBNET_SAMPLES #undef CONFIG_JAVA_SAMPLES #undef CONFIG_PERL_SAMPLES #undef CONFIG_LUA_SAMPLES #undef CONFIG_BIGINT_CLASSICAL #undef CONFIG_BIGINT_MONTGOMERY #define CONFIG_BIGINT_BARRETT #define CONFIG_BIGINT_CRT #define CONFIG_BIGINT_KARATSUBA #define MUL_KARATSUBA_THRESH 10 #define SQU_KARATSUBA_THRESH 10 #undef CONFIG_BIGINT_SLIDING_WINDOW #define CONFIG_BIGINT_SQUARE #undef CONFIG_BIGINT_CHECK_ON #undef CONFIG_INTEGER_32BIT #define CONFIG_INTEGER_16BIT #undef CONFIG_INTEGER_8BIT httpsget-20251124/axtls-include/version.h000066400000000000000000000000501507770301300202260ustar00rootroot00000000000000#define AXTLS_VERSION "(no version)" httpsget-20251124/httpsget.c000066400000000000000000000466701507770301300156440ustar00rootroot00000000000000/* * Copyright (c) 2025 Yuichi Nakamura (@yunkya2) * * The MIT License (MIT) * * Permission is hereby granted, free of charge, to any person obtaining a copy * of this software and associated documentation files (the "Software"), to deal * in the Software without restriction, including without limitation the rights * to use, copy, modify, merge, publish, distribute, sublicense, and/or sell * copies of the Software, and to permit persons to whom the Software is * furnished to do so, subject to the following conditions: * * The above copyright notice and this permission notice shall be included in * all copies or substantial portions of the Software. * * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN * THE SOFTWARE. */ #include #include #include #include #include #include #include #include #include #include #include "ssl.h" #include "iconv_mini.h" #ifdef __human68k__ #include #include #endif uint8_t request[65536]; uint8_t response[65536 * 8]; /* * Shift_JISの文字かどうかを判定 */ int is_sjis_lead_byte(unsigned char c) { return ((c >= 0x81 && c <= 0x9F) || (c >= 0xE0 && c <= 0xFC)); } /* * ブロック要素のHTMLタグかどうかを判定 */ int is_block_element(const char *tag_start) { const char *block_tags[] = { "", "

", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "", "
", NULL }; int i; for (i = 0; block_tags[i] != NULL; i++) { int len = strlen(block_tags[i]); if (strncmp(tag_start, block_tags[i], len) == 0) { return 1; } } return 0; } /* * 簡単なHTMLパース処理（Shift_JIS対応） * HTMLタグを除去してプレーンテキストを抽出 */ void parse_html(char *html_content, int sjis_mode) { unsigned char *src = (unsigned char*)html_content; unsigned char *dst = (unsigned char*)html_content; int in_tag = 0; int in_script = 0; int in_style = 0; int consecutive_spaces = 0; unsigned char *tag_start = NULL; while (*src) { if (sjis_mode) { // Shift_JISの2バイト文字の処理 if (is_sjis_lead_byte(*src) && *(src + 1)) { if (!in_tag && !in_script && !in_style) { *dst++ = *src; *dst++ = *(src + 1); consecutive_spaces = 0; } src += 2; continue; } } else { // UTF-8のマルチバイト文字の処理 if (*src & 0x80) { if (!in_tag && !in_script && !in_style) { *dst++ = *src; consecutive_spaces = 0; } src++; continue; } } // スクリプトタグの検出 if (!in_tag && strncmp((char*)src, "", 9) == 0) { in_script = 0; in_tag = 0; src += 9; continue; } // スタイルタグの検出 if (!in_tag && strncmp((char*)src, "", 8) == 0) { in_style = 0; in_tag = 0; src += 8; continue; } // タグの開始 if (*src == '<' && !in_script && !in_style) { in_tag = 1; tag_start = src; } // タグの終了 else if (*src == '>' && in_tag && !in_script && !in_style) { in_tag = 0; // ブロック要素の場合は改行を追加 if (tag_start && is_block_element((char*)tag_start)) { // 直前が改行でない場合のみ改行を追加 if (dst > (unsigned char*)html_content && *(dst - 1) != '\n') { *dst++ = '\n'; consecutive_spaces = 0; } } src++; continue; } // タグ内はスキップ if (in_tag || in_script || in_style) { src++; continue; } if (*src == '&') { // よく使われる実体参照の変換テーブル const struct { const char *entity; int len; const char *replacement; int replacement_len; } entities[] = { {"<", 4, "<", 1}, {">", 4, ">", 1}, {"&", 5, "&", 1}, {""", 6, "\"", 1}, {"'", 6, "'", 1}, {"«", 7, "<<", 2}, {"»", 7, ">>", 2}, {" ", 6, " ", 1}, // 改行なしスペース {"©", 6, "\xC2\xA9", 2}, // copyright symbol (U+00A9) {"®", 5, "\xC2\xAE", 2}, // registered trademark symbol (U+00AE) {"™", 7, "\xE2\x84\xA2", 3}, // trademark symbol (U+2122) {"¥", 5, "\xC2\xA5", 2}, // yen sign (U+00A5) {"€", 6, "\xE2\x82\xAC", 3}, // euro sign (U+20AC) {"£", 7, "\xC2\xA3", 2}, // pound sign (U+00A3) {"¢", 6, "\xC2\xA2", 2}, // cent sign (U+00A2) {"°", 5, "\xC2\xB0", 2}, // degree sign (U+00B0) {NULL, 0, NULL, 0} }; // よく使われる実体参照を変換 int found = 0; for (int i = 0; entities[i].entity != NULL; i++) { if (strncmp((char *)src, entities[i].entity, entities[i].len) == 0) { for (int j = 0; j < entities[i].replacement_len; j++) { *dst++ = entities[i].replacement[j]; } src += entities[i].len; found = 1; break; } } if (found) { continue; } if (src[1] == '#') { // 数値文字参照 &#nnn; または &#xhex; char *end_ptr; unsigned long code; if (src[2] == 'x' || src[2] == 'X') { // 16進数 code = strtoul((char *)src + 3, &end_ptr, 16); } else { // 10進数 code = strtoul((char *)src + 2, &end_ptr, 10); } if (*end_ptr == ';' && code > 0) { // UTF-8文字をバイト列に変換 if (code < 0x80) { // 1バイト文字 (ASCII) *dst++ = (char)code; } else if (code < 0x800) { // 2バイト文字 *dst++ = (char)(0xC0 | (code >> 6)); *dst++ = (char)(0x80 | (code & 0x3F)); } else if (code < 0x10000) { // 3バイト文字 *dst++ = (char)(0xE0 | (code >> 12)); *dst++ = (char)(0x80 | ((code >> 6) & 0x3F)); *dst++ = (char)(0x80 | (code & 0x3F)); } else if (code < 0x110000) { // 4バイト文字 *dst++ = (char)(0xF0 | (code >> 18)); *dst++ = (char)(0x80 | ((code >> 12) & 0x3F)); *dst++ = (char)(0x80 | ((code >> 6) & 0x3F)); *dst++ = (char)(0x80 | (code & 0x3F)); } else { // 無効なコードポイント *dst++ = '?'; } src = (uint8_t *)end_ptr + 1; } else { // 無効な数値文字参照はそのまま *dst++ = *src++; } } else { // 未知の実体参照はそのまま *dst++ = *src++; } } else { if (isspace(*src)) { // 連続する空白文字を1つのスペースに変換 if (!consecutive_spaces) { *dst++ = ' '; consecutive_spaces = 1; } src++; } else { *dst++ = *src++; consecutive_spaces = 0; } } } *dst = '\0'; } /* * HTTPレスポンスからヘッダーとボディを分離 */ char* extract_html_body(char *response) { char *body = strstr(response, "\r\n\r\n"); if (body) { return body + 4; } body = strstr(response, "\n\n"); if (body) { return body + 2; } return response; } /****************************************************************************/ #ifndef GIT_REPO_VERSION #define GIT_REPO_VERSION "unknown" #endif void help(const char *name) { printf( "httpsget.x - HTTPS simple client for X68000 version " GIT_REPO_VERSION "\n" "Usage: %s [options] [URL]\n" "Options:\n" " -h, --help Show this help message and exit\n" " -H, --show-header Show HTTP response header\n" " -r, --raw Display raw HTML without parsing\n" " -s, --sjis No UTF-8 -> SJIS conversion\n" " -p, --page Paging mode\n" , name); exit(0); } int main(int argc, char **argv) { int client_fd; struct sockaddr_in server_addr; struct hostent *host_entry; char hostname[256] = {0}; char *url = NULL; char *path = NULL; int port = 0; int bytes_sent; int show_header = 0; int raw_mode = 0; int sjis_mode = 0; int http_mode = 0; int paging_mode = 0; path = "/"; port = 443; for (int i = 1; i < argc; i++) { if (strcmp(argv[i], "-h") == 0 || strcmp(argv[i], "--help") == 0) { help(argv[0]); } else if (strcmp(argv[i], "-H") == 0 || strcmp(argv[i], "--show-header") == 0) { show_header = 1; } else if (strcmp(argv[i], "-r") == 0 || strcmp(argv[i], "--raw") == 0) { raw_mode = 1; } else if (strcmp(argv[i], "-s") == 0 || strcmp(argv[i], "--sjis") == 0) { sjis_mode = 1; } else if (strcmp(argv[i], "-p") == 0 || strcmp(argv[i], "--page") == 0) { paging_mode = 1; } else if (argv[i][0] == '-') { fprintf(stderr, "Error: Unknown option %s\n", argv[i]); return 1; } else if (url == NULL) { url = argv[i]; if (strncmp(url, "http://", 7) == 0) { http_mode = 1; url += 7; port = 80; } else if (strncmp(url, "https://", 8) == 0) { url += 8; port = 443; } char *slash = strchr(url, '/'); if (slash) { path = slash; } else { slash = strchr(url, '\0'); } memcpy(hostname, url, slash - url); hostname[slash - url] = '\0'; if (strrchr(hostname, ':')) { char *colon = strrchr(hostname, ':'); *colon = '\0'; port = atoi(colon + 1); } } else { fprintf(stderr, "Error: Too many arguments\n"); return 1; } } if (url == NULL) { help(argv[0]); } // ソケットの作成 client_fd = socket(AF_INET, SOCK_STREAM, 0); if (client_fd < 0) { if (errno == ENOSYS) { fprintf(stderr, "Error: TCP/IP driver is unavailable.\n"); return 1; } perror("socket() failed"); return 1; } printf("Connecting to %s:%d%s\n", hostname, port, path); // ホスト名の解決 host_entry = gethostbyname(hostname); if (host_entry == NULL) { printf("gethostbyname() failed for %s %d\n", hostname, errno); return 1; } printf("Host resolved to: %s\n", inet_ntoa(*(struct in_addr*)host_entry->h_addr_list[0])); // サーバーアドレスの設定 memset(&server_addr, 0, sizeof(server_addr)); server_addr.sin_family = AF_INET; server_addr.sin_port = htons(port); memcpy(&server_addr.sin_addr, host_entry->h_addr_list[0], host_entry->h_length); // サーバーに接続 if (connect(client_fd, (struct sockaddr*)&server_addr, sizeof(server_addr)) < 0) { perror("connect() failed"); close(client_fd); return 1; } printf("Connected to server successfully\n"); SSL_CTX *ssl_ctx = NULL; SSL_EXTENSIONS *ext = NULL; SSL *ssl_sock = NULL; if (!http_mode) { #ifdef __human68k__ struct iocs_time tm1, tm2; tm1 = _iocs_ontime(); #endif ssl_ctx = ssl_ctx_new(SSL_SERVER_VERIFY_LATER, SSL_DEFAULT_CLNT_SESS); ext = ssl_ext_new(); ssl_sock = ssl_client_new(ssl_ctx, client_fd, NULL, 0, ext); int r = ssl_handshake_status(ssl_sock); printf("SSL connection %s: ", r == SSL_OK ? "established" : "failed"); #ifdef __human68k__ tm2 = _iocs_ontime(); printf("time=%dms ", (tm2.sec - tm1.sec) * 10); #endif printf("status=%d\n\n", r); if (r != SSL_OK) { ssl_free(ssl_sock); ssl_ctx_free(ssl_ctx); close(client_fd); return 1; } } // HTTP GETリクエストの作成 snprintf((char *)request, sizeof(request), "GET %s HTTP/1.0\r\n" "Host: %s\r\n" "User-Agent: X68000-HTTPS-Client/1.0\r\n" "Accept: */*\r\n" "Connection: close\r\n" "\r\n", path, hostname); printf("Sending HTTP request:\n"); printf("--------------------\n"); printf("%s", request); printf("--------------------\n\n"); // HTTPリクエストを送信 if (!http_mode) { bytes_sent = ssl_write(ssl_sock, request, strlen((char *)request)); } else { bytes_sent = send(client_fd, request, strlen((char *)request), 0); } if (bytes_sent < 0) { printf("ssl_write() failed: %d\n", bytes_sent); if (!http_mode) { ssl_free(ssl_sock); ssl_ctx_free(ssl_ctx); } close(client_fd); return 1; } printf("Sent %d bytes\n", bytes_sent); printf("Receiving HTTP response"); // HTTPレスポンスを受信してバッファに蓄積 uint8_t *buffer = response; size_t buffer_size = 0; size_t buffer_remain = sizeof(response) - 1; int res; while (1) { uint8_t recv_buffer[4096]; uint8_t *ptr; if (!http_mode) { res = ssl_read(ssl_sock, &ptr); } else { res = recv(client_fd, recv_buffer, sizeof(recv_buffer) - 1, 0); ptr = recv_buffer; if (res == 0) { res = SSL_CLOSE_NOTIFY; break; } else if (res > 0) { recv_buffer[res] = 0; } } if (res < 0) { break; } if (res > 0) { size_t size = buffer_remain < res ? buffer_remain : res; memcpy(buffer, ptr, size); buffer += size; buffer_remain -= size; buffer_size += size; if (buffer_remain == 0) { break; } } putchar('.'); fflush(stdout); } printf("\nReceived %lu bytes\n\n", buffer_size); *buffer = '\0'; if (res != SSL_CLOSE_NOTIFY && res != SSL_ERROR_CONN_LOST) { printf("ssl_read() failed: %d\n", res); if (!http_mode) { ssl_free(ssl_sock); ssl_ctx_free(ssl_ctx); } close(client_fd); return 1; } if (!http_mode) { ssl_free(ssl_sock); ssl_ctx_free(ssl_ctx); } close(client_fd); // HTTPレスポンスからHTMLボディを抽出 char *html_body = extract_html_body((char *)response); if (show_header || raw_mode) { printf("HTML Header:\n"); printf("--------------------\n"); fwrite(response, 1, html_body - (char *)response, stdout); printf("--------------------\n\n"); } uint8_t *sbuffer = NULL; // HTMLのパース if (!raw_mode) { parse_html(html_body, sjis_mode); } // UTF-8 -> Shift_JIS変換 if (!sjis_mode) { size_t html_body_len = strlen(html_body); sbuffer = malloc(html_body_len); if (sbuffer == NULL) { fprintf(stderr, "Error: Memory allocation failed\n"); return 1; } uint8_t *inbuf = (uint8_t *)html_body; size_t inbytesleft = html_body_len; uint8_t *outbuf = sbuffer; size_t outbytesleft = html_body_len; do { int res = iconv_u2s((char **)&inbuf, &inbytesleft, (char **)&outbuf, &outbytesleft); if (res < 0) { inbuf++; inbytesleft--; } } while ((char *)inbuf < html_body + html_body_len); *outbuf = 0; html_body = (char *)sbuffer; } if (paging_mode) { char *p = html_body; char *q = p; int page_len = 28; while (1) { int count = 0; do { q = strchr(q, '\n'); if (q == NULL) { break; } q++; count++; } while (count < page_len); if (q == NULL) { printf("%s", p); break; } fwrite(p, 1, q - p, stdout); p = q; printf("-- More --"); fflush(stdout); #ifdef __human68k__ int c = _dos_getc(); #else int c = getchar(); #endif printf("\r \r"); if (c == 'q' || c == 'Q') { break; } else if (c == ' ') { page_len = 1; } else { page_len = 28; } } } else { printf("%s\n", html_body); } if (sbuffer) { free(sbuffer); } return 0; } httpsget-20251124/iconv_mini/000077500000000000000000000000001507770301300157535ustar00rootroot00000000000000httpsget-20251124/md2txtconv.py000077500000000000000000000201001507770301300162770ustar00rootroot00000000000000#!/usr/bin/env python3 # # md2txtconv.py - Convert markdown to text file # # Copyright (c) 2025 Yuichi Nakamura (@yunkya2) # # The MIT License (MIT) # # Permission is hereby granted, free of charge, to any person obtaining a copy # of this software and associated documentation files (the "Software"), to deal # in the Software without restriction, including without limitation the rights # to use, copy, modify, merge, publish, distribute, sublicense, and/or sell # copies of the Software, and to permit persons to whom the Software is # furnished to do so, subject to the following conditions: # # The above copyright notice and this permission notice shall be included in # all copies or substantial portions of the Software. # # THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR # IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, # FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE # AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER # LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, # OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN # THE SOFTWARE. import sys import re import codecs import os # 定数の定義 WIDTH = 76 PRO_HEAD_CHARS = "。、〕〉》」』】〙〗" def get_display_width(text): """ テキストの表示幅を計算する関数 ASCII文字は1、その他のUnicode文字は2として計算 """ width = 0 for char in text: if ord(char) < 128: width += 1 else: width += 2 return width def wrap_text(text, width): """ テキストを指定された幅で折り返す関数 英数字が連続している単語の途中で改行しないようにする """ if not text.strip(): return text text = text.rstrip("\n") leading_spaces = len(text) - len(text.lstrip(' ')) next_leading_spaces = leading_spaces # リスト項目のインデントを調整 if m := re.match(r'( *)\* ', text): text = " " + text leading_spaces = len(m.group(1)) + 1 next_leading_spaces = len(m.group(0)) + 1 if m := re.match(r'( *)\d+\. ', text): text = " " + text leading_spaces = len(m.group(1)) + 1 next_leading_spaces = len(m.group(0)) + 1 wrapped_lines = [] current_line = " " * leading_spaces current_width = leading_spaces word_buffer = "" word_width = 0 for char in text.lstrip(' '): char_width = get_display_width(char) if char.isspace(): # スペースが見つかった場合、現在の単語を行に追加 if current_width + word_width > width: wrapped_lines.append(current_line) leading_spaces = next_leading_spaces current_line = " " * leading_spaces + word_buffer current_width = leading_spaces + word_width else: current_line += word_buffer current_width += word_width current_line += char current_width += char_width word_buffer = "" word_width = 0 else: if ord(char) < 128: # 英数字の場合、単語の途中で改行しないようにする if current_width + word_width + char_width > width: wrapped_lines.append(current_line) leading_spaces = next_leading_spaces current_line = " " * leading_spaces + word_buffer + char current_width = leading_spaces + word_width + char_width word_buffer = "" word_width = 0 else: word_buffer += char word_width += char_width else: # その他のUnicode文字は途中で改行してもよい if word_width > 0: # まだ出力していない単語がある場合、行に追加 current_line += word_buffer current_width += word_width word_buffer = "" word_width = 0 if current_width + char_width > width: if char in PRO_HEAD_CHARS: # 禁則処理 current_line += char char = "" char_width = 0 wrapped_lines.append(current_line) leading_spaces = next_leading_spaces current_line = " " * leading_spaces + char current_width = leading_spaces + char_width else: current_line += char current_width += char_width if word_buffer: # 最後の単語を行に追加 if current_width + word_width > width: wrapped_lines.append(current_line) current_line = " " * leading_spaces + word_buffer else: current_line += word_buffer if current_line.strip(): wrapped_lines.append(current_line) return "\n".join(wrapped_lines) + "\n" def process_file(filename, remove_original, replacements): """ ファイルを処理して変換する関数 """ with codecs.open(filename, 'r', 'utf-8') as f: lines = f.readlines() with codecs.open(filename.replace('.md', '.txt'), 'w', 'cp932') as f: nowrap = False for line in lines: w = get_display_width(line) if '```' in line: # コードブロックの開始・終了を検出 nowrap = not nowrap pos = line.find('```') if pos == 0: line = '-' * (WIDTH - 1) + '\n' else: line = line[:pos] + '-' * (WIDTH - pos - 1) + '\n' else: # マークダウンの記法をテキストに変換 line = re.sub(r'`', '', line) line = re.sub(r'\\$', '', line) line = re.sub(r'\\<', '<', line) line = re.sub(r'\\>', '>', line) line = re.sub(r'^# (.*)', r'■■■ \1 ■■■', line) line = re.sub(r'^## ', '■ ', line) line = re.sub(r'^### ', '● ', line) line = re.sub(r'^#### ', '○ ', line) line = re.sub(r'\*\*', '', line) line = re.sub(r'\[([^]]*)\]\([^)]*\)', r'\1', line) line = re.sub(r'(--*):', r'\1-', line) # 可能であればテキストの折り返しを行う if not re.search(r'.*\|.*\|', line) and not nowrap: line = wrap_text(line, WIDTH) # キーワード置換を行う for keyword, value in replacements.items(): line = line.replace(keyword, value) # 改行コードを変換してファイルに書き込む line = re.sub(r'\n', '\r\n', line) f.write(line) # オプションに応じて元のファイルを削除する if remove_original: os.remove(filename) def print_usage(): """ 使用法のヘルプメッセージを表示する関数 """ print("Usage: md2txtconv.py [options] ") print("Options:") print(" -r Remove original .md files after conversion") print(" -h Show this help message") print(" keyword=value Replace occurrences of 'keyword' with 'value' in the text") if __name__ == "__main__": remove_original = False filenames = [] replacements = {} for arg in sys.argv[1:]: if arg == '-r': remove_original = True elif arg == '-h': print_usage() sys.exit(0) elif '=' in arg: keyword, value = arg.split('=', 1) replacements[keyword] = value else: filenames.append(arg) if not filenames: print_usage() sys.exit(1) for filename in filenames: process_file(filename, remove_original, replacements)