梦不止于想( 学习编码集)

WEB服务的API接口的安全措施概述

fengyang — Fri, 26 Dec 2025 05:37:37 GMT

本文系统梳理了Web服务API安全的核心措施，涵盖传输层（HTTPS加密、HSTS）、身份认证（OAuth 2.0、WebAuthn）、请求防护（签名验证、输入过滤、防重放）、访问控制（IP黑白名单、多维度限流）、可观测性（结构化日志、幂等设计）、数据隐私（脱敏策略）及架构级防护（API网关集中治理）。强调纵深防御体系需贯穿开发全周期，结合最小权限原则、持续监控与合规要求，构建动态迭代的安全框架，以抵御数据泄露、未授权访问等风险。

MYSQL索引失效常见场景 - 数据库性能优化

fengyang — Wed, 24 Dec 2025 04:52:00 GMT

本文深入剖析MySQL索引失效的六大常见场景：表达式计算、数据类型不匹配、模糊查询前缀问题、复合索引最左匹配原则、OR条件查询及负向查询。从B+树索引原理出发，解释失效机制并提供针对性解决方案，如改写计算条件、确保类型一致、优化LIKE模式、设计复合索引顺序、使用UNION替代OR等。强调通过执行计划分析验证索引效果，遵循“纯净索引列”“类型严格匹配”“覆盖索引”等原则，结合持续监控与工具辅助，构建高效数据访问层，系统性提升数据库查询性能。

Spring循环依赖解析与三级缓存机制

fengyang — Tue, 23 Dec 2025 02:34:26 GMT

本文深入剖析Spring框架解决循环依赖的三级缓存机制。该机制通过singletonObjects（完全初始化Bean）、earlySingletonObjects（半成品Bean）和singletonFactories（对象工厂）三级缓存协同工作：实例化时将半成品工厂存入三级缓存，依赖注入时若发现循环依赖则提前暴露半成品引用至二级缓存，完成初始化后升级至一级缓存。此机制支持字段/Setter注入的循环依赖，但无法解决构造器注入及原型Bean的循环依赖。文章强调开发者应理解机制而非依赖它，建议通过事件驱动、门面模式等设计优化架构，避免循环依赖的产生。

SQL查询语句执行顺序深度解析：从语法到执行的完整旅程

fengyang — Thu, 11 Dec 2025 02:32:59 GMT

理解SQL执行顺序对高效数据库查询至关重要。SQL实际执行顺序并非按书写顺序，而是从FROM/JOIN开始，依次经过ON、WHERE、GROUP BY、HAVING、SELECT、DISTINCT、ORDER BY，最后到LIMIT/OFFSET。掌握此顺序可优化性能，如尽早过滤数据减少处理量、合理使用索引加速查询，并通过执行计划分析瓶颈，从而编写更高效的SQL语句。

Spring 事务失效的八大场景深度解析

fengyang — Wed, 10 Dec 2025 08:31:08 GMT

本文系统分析了Spring事务失效的常见原因及解决方案。核心问题包括：代理机制失效（非public方法、内部调用、final/static方法）、异常处理不当（异常类型不匹配、异常被吞没）、配置错误（未启用事务管理、超时设置过短、传播机制错误）、数据库层面问题（引擎不支持事务）、并发场景冲突（@Async与@Transactional冲突）。解决需关注方法可见性、异常抛出、事务传播行为配置，并通过调试日志和编程式事务排查问题。理解Spring AOP机制和事务原理是避免失效的关键。

数据库安全网关体系中，对Long、Date类型列加密的方法

fengyang — Tue, 28 Oct 2025 11:19:36 GMT

本文探讨数据库安全网关中Long与Date类型数据的加密难题，核心在于平衡安全性与业务查询需求。传统加密（如AES/SM4）会破坏数据类型特性，导致查询功能丧失。格式保留加密（FPE）作为关键解决方案，通过有限域映射原理，使加密后数据保持原始格式与长度（如Long仍为数值，Date仍为日期格式），从而支持等值查询和部分范围查询，完美兼容现有数据库模式。但FPE实现复杂、性能较传统加密低，且安全性审查尚需加强。

浅谈常见的八类数据库加密技术

fengyang — Wed, 22 Oct 2025 03:29:49 GMT

本文概述了加密技术从通信安全向数据全生命周期保护的范式转变。面对大数据时代数据动态流转的挑战，传统边界防御已不足，需转向“保护数据本身”的安全理念。文章深入剖析八种主流加密技术（应用内加密、数据库网关、触发器+视图、TDE、UDF、加密驱动、TFE、FDE），涵盖应用层、数据库层及文件系统层的部署方案，对比其加密粒度、性能、防DBA能力及实施成本。核心结论是：单一技术无法满足所有场景，需根据数据状态（静态/动态/使用中）与业务需求，组合构建纵深防御体系，实现数据流转中的持续安全保护。

Doris SQL解析

fengyang — Sun, 19 Oct 2025 05:01:00 GMT

Doris SQL解析包含五个核心步骤：1）词法语法分析生成AST（采用jflex/java cup技术）；2）语义分析与重写（元信息解析、合法性检查、常量折叠、谓词转join等RBO优化）；3）生成单机逻辑计划（构建算子树，进行投影/谓词下推、分区裁剪、Join重排序等优化）；4）生成分布式计划（拆分PlanFragment树，支持broadcast/hash partition/colocate/bucket shuffle四种join算法）；5）物理执行计划调度（分配BE节点、选择副本、实现并发执行）。整个过程通过递归优化和规则重写，最大化并行度与数据本地化。

Doris

fengyang — Thu, 16 Oct 2025 04:58:00 GMT

Doris架构分FE（前端）、BE（后端）和存储层：FE负责查询解析、元数据管理，含Leader/Follower保高可用、Observer扩展查询；BE存储数据并分布式执行查询，通过副本保可靠；存储层用列式存储，数据分Tablet存于BE。数据模型有三类：Aggregate按key聚合适合报表汇总；Uniq主键模型保证唯一，分读时/写时合并；Duplicate允许key重复保留明细，适用Ad-hoc查询。选型需根据聚合需求、主键约束等场景确定。

Calcite 元数据定义

fengyang — Mon, 13 Oct 2025 04:55:00 GMT

Calcite执行流程的核心包括三个部分：元数据定义、优化规则管理和最优计划执行。元数据用于校验SqlNode语法树并为CBO优化提供统计信息，如示例中的JSON文件定义；优化规则被优化器使用以改写逻辑计划并生成最优执行计划；执行器基于最优计划在不同存储引擎上进行执行，确保高效数据处理。

Apache Calcite：构建统一数据查询的基石

fengyang — Sat, 11 Oct 2025 08:53:00 GMT

Apache Calcite 是开源动态数据管理框架，旨在解决大数据时代的数据孤岛与异构数据源整合挑战。其核心架构以查询优化器为中心，通过 SQL 解析器、验证器将语句转为逻辑关系代数表达式（RelNode），结合 RBO（200+ 优化规则）与 CBO（基于统计信息）生成最优执行计划。框架采用“逻辑与物理分离”设计，支持 JDBC/Java API 调用，并通过可插拔适配器连接 Hive、Elasticsearch 等数据源，提供统一查询层。其模块化架构（如元数据管理、表达式构建）及 CSV 示例验证了跨源查询的灵活性与扩展性。

RSA加解密流程

fengyang — Thu, 9 Oct 2025 03:13:00 GMT

RSA是一种非对称加密算法，通过公钥加密、私钥解密实现安全通信，无需直接传递密钥。其安全性基于大整数因数分解的计算困难性。算法核心依赖数论基础：素数定义、模运算与同余关系、互质条件及欧拉函数φ(n)（计算与n互质的整数数量）。欧拉定理（a^φ(n) ≡ 1 mod n）和模反元素（ab ≡ 1 mod n）构成RSA的数学原理，确保加解密的可行性。私钥需保密，公钥可公开。此外，文章提及RSA已知高位攻击利用Coppersmith定理，在部分密钥高位泄露时可破解加密。

XSS漏洞

fengyang — Tue, 7 Oct 2025 08:06:00 GMT

XSS（跨站脚本攻击）是通过在网页注入恶意脚本，当用户访问时执行窃取数据或实施攻击的漏洞。静态站点不受影响。攻击主要分三类：反射型（非持久，通过URL参数反射执行）、存储型（持久，恶意代码存于服务器）、DOM型（客户端直接操作DOM执行）。危害包括盗取账号、控制数据、篡改页面、挂马等。防御需综合措施：输入过滤、输出转义、设置HttpOnly（防JS读取Cookie）、指定字符集、验证跳转URL等。

CSRF漏洞

fengyang — Sun, 28 Sep 2025 08:04:00 GMT

CSRF（跨站请求伪造）是攻击者利用用户已登录信任网站的Cookie，伪装其身份向目标网站发送恶意请求的攻击。其成功关键在于请求参数可被预测，且用户在未退出信任网站时访问了危险网站。攻击分GET型（通过``等标签发起）和POST型（利用表单或JS自动提交）。防御措施包括：添加验证码强制用户交互；在请求中嵌入随机Token并验证（URL参数或HTTP头）；校验HTTP Referer字段确保请求来源合法。其中Token机制是核心防御手段，需保证其随机性与保密性。

TLS 如何防止中间人攻击？

fengyang — Thu, 25 Sep 2025 08:03:00 GMT

TLS通过加密和身份验证机制有效防御中间人攻击。其结合对称与非对称加密技术，在握手过程中验证服务器数字证书，确保通信双方身份真实性，并协商生成临时会话密钥。完美前向保密（PFS）功能使每个会话使用独立密钥，即使私钥泄露也无法解密历史通信。Diffie-Hellman等安全密钥交换方法进一步保障密钥协商过程不被窃听，从而实现数据机密性、完整性和身份认证，阻断攻击者拦截或篡改通信的路径。

Clickhouse

fengyang — Sun, 21 Sep 2025 09:35:00 GMT

ClickHouse是一款面向OLAP场景的列式数据库，支持完整SQL操作、列式存储与压缩、向量化执行引擎及并行处理，通过分片（Shard）和副本（Node）实现分布式架构。其依赖ZooKeeper进行元数据管理和分布式协调，但存在性能瓶颈与运维复杂性问题。主要限制包括不支持事务、二级索引及窗口函数，行删除效率低，且聚合结果需单机内存容纳。适用于读多写少、大批次更新、宽表查询、高吞吐量分析等场景，尤其适合单次查询涉及大表过滤聚合、结果量小的分析任务。

MYSQL - InnoDB Difficult to find free blocks in the buffer pool

fengyang — Tue, 16 Sep 2025 08:26:00 GMT

在16G 8C服务器上运行MySQL 5.7时，大数据量聚合查询导致系统崩溃，无法连接或停止。日志显示InnoDB缓冲池难以找到空闲块，刷新失败次数超百万，建议增大缓冲池大小或升级OS。解决方法：通过top定位进程并kill，修改my.cnf设置innodb_buffer_pool_size=12G（总内存80%）和innodb_buffer_pool_instances=6，重启MySQL。针对page_cleaner循环超时警告，执行SET GLOBAL innodb_lru_scan_depth=256优化。

什么是zxid

fengyang — Mon, 8 Sep 2025 08:21:00 GMT

zxid是ZooKeeper中事务的全局唯一ID，由高32位epoch（选举周期）和低32位counter（事务计数）组成。当counter超过42亿时，epoch加一，可能导致事务ID冲突，破坏全序关系，因此ZooKeeper主动触发选主。选主对客户端通常无感知，但依赖Disconnected事件的应用（如LeaderLatch）可能受影响。为避免溢出，需监控zxid并在接近溢出时手动选主。选主和重启一般不导致session过期。

Rust

fengyang — Fri, 5 Sep 2025 05:46:00 GMT

以下是文章摘要（148字）： Rust通过rustup工具管理安装与版本迭代，支持多平台及Beta/Nightly等版本，升级和卸载命令分别为`rustup update`和`rustup self uninstall`。宏作为元编程工具，分声明式宏（基于文本替换）和过程宏（操作语法树，含派生/属性/函数式三类）。常见宏如`println!`、`vec!`等，与函数的核心区别在于宏在编译时展开，可接受任意参数并生成代码，灵活性更高。

Redis 概述

fengyang — Sun, 31 Aug 2025 10:47:00 GMT

Redis是一个高性能、开源的key-value数据库，支持数据持久化、多种数据结构（如list、set、zset、hash）及主从备份。其快速性源于基于RAM的存储（比磁盘快1000倍）、IO复用与单线程执行循环，以及高效底层数据结构。Redis Cluster采用16384个槽位进行数据分片，选择此数而非65536，是为减少心跳包大小（2k vs 8k空间）并确保可扩展性，最多支持1000个主节点。