野路子博客

使用 robots.txt 阻止 AI 爬虫，给服务器“减负”

Fri, 07 Nov 2025 08:26:27 +0800

最近辣鸡轻量服务器资源频频飙红，开始还以为流量暴涨，自己要发了。

结果一看日志——原来是每天被各种AI爬虫轮番“光顾”，资源被薅到见底……

如何礼貌地拒绝这些不请自来的“访客”呢？

这时， robots.txt 文件就可以派上用场了。

什么是 robots.txt？

robots.txt 是放置在网站根目录下的一个文本文件，用于向网络爬虫和机器人传达抓取规则。通过它，你可以指定哪些内容允许被抓取，哪些应被禁止访问。

需要注意的是，尽管大多数正规机器人会遵守 robots.txt 中的规则，但某些恶意爬虫可能会无视这些限制，仍需结合其他防护手段。

如何阻止特定爬虫？

你可以在 robots.txt 中使用如下指令：

User-agent: [爬虫名称]
Disallow: /

针对常见AI机器人的屏蔽清单

以下是一份实用的 robots.txt 示例，可用于限制部分AI爬虫访问：

User-agent: AddSearchBot
User-agent: AI2Bot
User-agent: Ai2Bot-Dolma
User-agent: aiHitBot
User-agent: AmazonBuyForMe
User-agent: atlassian-bot
User-agent: amazon-kendra-
User-agent: Amazonbot
User-agent: Andibot
User-agent: Anomura
User-agent: anthropic-ai
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Awario
User-agent: bedrockbot
User-agent: bigsur.ai
User-agent: Bravebot
User-agent: Brightbot 1.0
User-agent: BuddyBot
User-agent: Bytespider
User-agent: CCBot
User-agent: ChatGPT Agent
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Claude-Web
User-agent: ClaudeBot
User-agent: Cloudflare-AutoRAG
User-agent: CloudVertexBot
User-agent: cohere-ai
User-agent: cohere-training-data-crawler
User-agent: Cotoyogi
User-agent: Crawlspace
User-agent: Datenbank Crawler
User-agent: DeepSeekBot
User-agent: Devin
User-agent: Diffbot
User-agent: DuckAssistBot
User-agent: Echobot Bot
User-agent: EchoboxBot
User-agent: FacebookBot
User-agent: facebookexternalhit
User-agent: Factset_spyderbot
User-agent: FirecrawlAgent
User-agent: FriendlyCrawler
User-agent: Gemini-Deep-Research
User-agent: Google-CloudVertexBot
User-agent: Google-Extended
User-agent: Google-Firebase
User-agent: Google-NotebookLM
User-agent: GoogleAgent-Mariner
User-agent: GoogleOther
User-agent: GoogleOther-Image
User-agent: GoogleOther-Video
User-agent: GPTBot
User-agent: iaskspider/2.0
User-agent: IbouBot
User-agent: ICC-Crawler
User-agent: ImagesiftBot
User-agent: img2dataset
User-agent: ISSCyberRiskCrawler
User-agent: Kangaroo Bot
User-agent: LinerBot
User-agent: Linguee Bot
User-agent: meta-externalagent
User-agent: Meta-ExternalAgent
User-agent: meta-externalfetcher
User-agent: Meta-ExternalFetcher
User-agent: meta-webindexer
User-agent: MistralAI-User
User-agent: MistralAI-User/1.0
User-agent: MyCentralAIScraperBot
User-agent: netEstate Imprint Crawler
User-agent: NovaAct
User-agent: OAI-SearchBot
User-agent: omgili
User-agent: omgilibot
User-agent: OpenAI
User-agent: Operator
User-agent: PanguBot
User-agent: Panscient
User-agent: panscient.com
User-agent: Perplexity-User
User-agent: PerplexityBot
User-agent: PetalBot
User-agent: PhindBot
User-agent: Poseidon Research Crawler
User-agent: QualifiedBot
User-agent: QuillBot
User-agent: quillbot.com
User-agent: SBIntuitionsBot
User-agent: Scrapy
User-agent: SemrushBot-OCOB
User-agent: SemrushBot-SWA
User-agent: ShapBot
User-agent: Sidetrade indexer bot
User-agent: TerraCotta
User-agent: Thinkbot
User-agent: TikTokSpider
User-agent: Timpibot
User-agent: VelenPublicWebCrawler
User-agent: WARDBot
User-agent: Webzio-Extended
User-agent: wpbot
User-agent: YaK
User-agent: YandexAdditional
User-agent: YandexAdditionalBot
User-agent: YouBot
Disallow: /

使用方法

将上述内容保存为 robots.txt 文件，上传至你的网站根目录即可生效。

关闭宝塔面板默认的 404 页面

Wed, 16 Apr 2025 08:52:27 +0800

本文又名：404 页面拯救计划，那个丑哭的报错页面真不是我的锅

这已经是我第 N+99 次被问同一个问题了："老李！我花 8888 买的主题配套 404 页面呢？怎么显示个这么丑的页面？！"

朋友们，这锅真不背啊！这就好比你在米其林餐厅点了牛排，结果服务员直接从后厨冰柜掏出生肉片！！你猜怎么着？问题出在点单系统（服务器）压根没把订单传给厨师（主题）！

发生了什么？

用户访问了个寂寞网址

服务器（nginx）："404 是吧？我这儿有现成的！"

主题："等等！我准备了会跳钢管舞的 404 页..."

服务器（已掏出上默认 404 页面）："下次赶早"

根治服务器抢戏（宝塔版）

网站 → 选中你站点 → 设置。戳进"配置文件"

Ctrl+F 搜索"error_page 404 /404.html"

把下面这行代码变成注释：

原版

error_page 404 /404.html;
error_page 502 /502.html;

修改版（加个#号封印）

#error_page 404 /404.html;
#error_page 502 /502.html;

最后重启nginx，优雅！

防呆指南

务必先备份

Apache 用户请移步 .htaccess 玩同样操作

总结：

下次再看到那个丑绝人寰的 404 页面，别急着找我，先给你的服务器做个去 SPA 吧！

把 ZBLOG 文章图片自动上传到自建 EasyImages 图床

Wed, 05 Feb 2025 15:07:52 +0800

4年前曾经写过一篇把 ZBLOG 文章图片自动上传到自建 Chevereto 图床的文章，后来因为换服务器，图床程序又换成了简单图床（EasyImages），所以当时文末说要提供的插件一直都没提供。

春节假期闲来无事，把简单图床支持插件重构了一下上传到了 zblog 应用中心，再水一篇文章吧。

简单图床是一款环境要求极低，适用于单一场景（游客上传）和个人使用，不适于多用户复杂场景的图床程序，支持 API 上传和图片域名和主程序分离。这也是我选择他的主要原因。

EasyImage 安装过程

去 GitHub 下载 EasyImage2.0 简单图床发行版

https://github.com/icret/EasyImages2.0/releases/tag/2.8.5

1.上传安装

2.安装完成后登录，进入设置界面

3.网站设置中为图片域名设置不同的域名

4.注意把图片域名绑定到图床站目录下的i目录

5.隐藏/i/目录

6.图床安全中打开 API 上传

7.API设置中获取 API Token

图床安装设置完成。

注：上面的3-5是为了图片和图床程序分离，并非必须选项

zblog 端设置

从 zblog 应用中心中安装简单图床（EasyImages）支持插件

启用插件，进入插件设置，设置相关内容并保存

大功告成！！

发篇文章测试一下，发现前台图片地址已经变成了我们的图床图片。

jQuery Ripples 隔壁老李同款水波纹涟漪特效

Sat, 26 Oct 2024 10:00:27 +0800

常有人问 gebilaoli.com 首页的水波纹特效是如何实现的，老李通常会让他们去搜 jQuery Ripples。

但是很多人搜到了也不知道怎么用，甚至还有人不会搜...

于是还是水一篇文章分享一下吧。

jQuery Ripples 是一款非常好玩的 jQuery 特效插件，可以为网页元素添加水波涟漪效果。它利用 WebGL 技术，实现了流畅的水波动画，并且支持鼠标互动，用户可以通过鼠标的移动和点击与水波进行互动。这种效果不仅能提升页面的视觉吸引力，还能带来更好的用户体验。如果你有兴趣，可以在你的项目中尝试使用这个插件，给你的网页增添一些动态元素！

需要注意的是，该插件必须使用同源的图片，或者是图片允许跨域才能正常工作。

使用方法

引入 jQuery 和 jquery.ripples.js 文件

<script src="jquery.min.js" type="text/javascript"></script>
<script type="text/javascript" src="jquery.ripples.js"></script>

调用插件

页面面初始化完成后使用下面的方法调用，注意要调用水波纹效果的元素上要有一张 CSS 背景图片

//在<body>元素上调用该插件
$('body').ripples({ 
  resolution: 512,
  dropRadius: 20,
  perturbance: 0.04,
});

暂停和播放水波涟漪效果

$('body').ripples('pause');
$('body').ripples('play');

添加水滴效果

$('body').ripples("drop", x, y, radius, strength);

比如水滴自动落下

setInterval(function() {
    var $el = $('body');
    var x = Math.random() * $el.outerWidth();
    var y = Math.random() * $el.outerHeight();
    var dropRadius = 20;
    var strength = 0.04 + Math.random() * 0.04;
    $el.ripples('drop', x, y, dropRadius, strength);
}, 400);

配置参数

resolution：分辨率。默认值：256。
dropRadius：水波涟漪的半径。默认值：20。
perturbance：干扰效果。默认值：0.03。
interactive：是否可以用鼠标进行互动。默认值：false。

摸鱼神器，在 Visual Studio Code、命令行上进行微信聊天

Tue, 24 Sep 2024 13:40:24 +0800

爱因斯坦在瑞士专利局工作，一边审查专利文件，一边摸鱼搞相对论。

刘慈欣在山西娘子关发电厂工作，一边做工程师，一边摸鱼写《三体》等科幻小说。

毛泽东在北大图书馆工作，一边整理图书清扫房间登记来馆读报的人名，一边摸鱼博览群书了解天下大事。

报告显示，超过6成的95后员工每天至少摸鱼1小时，一年合计摸鱼30个工作日。

不摸鱼的工作是不完美的！

如何更优雅地摸鱼，这有一款在vscode、命令行上进行微信聊天的项目！

克隆项目

git clone https://github.com/chenbb0128/moyu-chat.git

进入项目目录，安装依赖

# 进入项目目录
cd moyu-chat
# 安装依赖
pnpm i

运行服务

pnpm dev

扫描二维码登录

好了，现在可以在命令行中微信聊天了

# 根据好友昵称发送消息
curl "http://127.0.0.1:3000/0?name=好友名称&content=测试消息"
# 根据好友备注发送消息，需要设置好友备注名
curl "http://127.0.0.1:3000/0?alias=好友备注&content=测试消息"
# 发送群消息
curl "http://127.0.0.1:3000/1?name=群名称&content=测试消息"

在vscode中使用

新建终端

运行服务

# 进入项目目录
cd D:\moyu-chat
# 运行服务
pnpm dev

拆分一个终端

开始在vscode中摸鱼吧

常见问题：

Windows系统中出现禁止运行脚本错误

以管理员身份打开PowerShell

运行以下命令将当前策略更改为 RemoteSigned

Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser

Windows系统中提示发送成功但未收到消息或乱码

找到D:\moyu-chat\src\index.ts

搜索

const content = string2utf8(req.query.content?.toString())
const name = string2utf8(req.query.name?.toString())
const alias = string2utf8(req.query.alias?.toString())

改为

const content = req.query.content?.toString()
const name = req.query.name?.toString()
const alias = req.query.alias?.toString()

搜索

const content = string2utf8(req.query.content?.toString())
const name = string2utf8(req.query.name?.toString())

改为

const content = req.query.content?.toString()
const name = req.query.name?.toString()

zblog 实现评论的邮箱地址为必填项的方法

Fri, 20 Sep 2024 10:52:57 +0800

今天群里有朋友问 zblog 如何让评论区域的邮箱，变成必填项。

本来大家都认为给表单项加个 required 就可以，结果发现不行。

还是挂接口解决吧。

修改你正在用的主题（或者正在用的随便一个插件，又或者新建一个插件）的 include.php 文件。

在 function ActivePlugin_xxx() 函数内添加：

Add_Filter_Plugin('Filter_Plugin_PostComment_Core','xxx_PostComment_Core');

在函数外添加：

function xxx_PostComment_Core(&$cmt) {
	global $zbp;
	$email=GetVars("email","POST");
	if(!$email){
		$cmt->IsThrow = true;
		$zbp->lang['error'][14] = '邮件必填';
		$zbp->ShowError(14, __FILE__, __LINE__);
	}
}

xxx 是当前应用的 ID。

问题解决！

CSS 终于有了元素垂直居中的属性

Fri, 20 Sep 2024 08:47:40 +0800

2024 年了，CSS 原生属性中终于有了垂直居中的功能，他就是之前 Flex 布局和 Grid 布局中使用的 align-content: center。

之前要实现垂直居中，通常都是要使用 flexbox 或 grid 布局。

align-content 在默认的流式布局中是不起作用的。

比如这样：

<style>
.flex {
  height: 150px;
  border: solid;
  display: flex;
  flex-wrap: wrap;
  align-content: center;
}
</style>
<div class="flex">
  <div>flex垂直居中</div>
</div>

又比如这样：

<style>
.grid {
  height: 150px;
  border: solid;
  display: grid;
  align-content: center;
}
</style>
<div class="grid">
  <div>grid垂直居中</div>
</div>

现在，你不需要再使用 flexbox 或 grid 布局就可以轻松实现元素垂直居中。

只需要直接这样：

<style>
div {
  height: 150px;
  border: solid;
  align-content: center;
}
</style>
<div>
  包含 <em>多个</em> 节点的内容。
</div>

兼容性如下：

Z-Blog Bing IndexNow 插件

Thu, 19 Sep 2024 14:34:23 +0800

bing站长工具一直提醒未使用IndexNow，看了一下bing也没提供zblog的插件（猪猪仍需努力），于是做了这个插件

使用教程：

进入https://www.bing.com/indexnow/getstarted，拖到下面，复制API Key
下载你刚才获取的Key.txt
将TXT文件上传到网站根目录
启用插件，填写API Key
发布文章，勾选Bing IndexNow 提交
去https://www.bing.com/webmasters/indexnow查看是否提交

解决宝塔面板启用 ssl 后 https://ip 可以打开网站的问题

Wed, 24 Jul 2024 11:09:31 +0800

群里有人问，为什么用宝塔面板网站搭建好后 https://ip 也能打开他的网站？

按照宝塔官方说法：在未指定默认站点时,未开启 SSL 的站点使用 HTTPS 会直接访问到已开启 SSL 的站点。

这也就是大家常说的的https窜站！

新版宝塔已经没有这个问题了，网站列表管理中直接打开 HTTPS 防窜站就好。

但是有很多人还是用旧版宝塔的，毕竟新版的宝塔一言难尽，于是就水一篇吧~~

这问题具体有什么影响就不多说了，直接说解决方案。

宝塔面板中添加站点

域名为a.com（可以随便填），提交。

给 a.com 配置 SSL 证书

密钥和证书填写如下

密钥(KEY)

-----BEGIN PRIVATE KEY-----
MIIEvQIBADANBgkqhkiG9w0BAQEFAASCBKcwggSjAgEAAoIBAQDPPPynNLmSGfC8
CXODplocOVy/Re9lEhpGtxm0hBoEh3dO61yr2oo8K7Z761o6pkP4Wll+8PaWGGgY
IYORsI1DxgTJ0hCdeLy+tJbTZYmbcpboqGD62T68pf4Opsb6ntwWScjFiN1nrqW5
9ctyiOlQmeX48mEv7VxTdHPCdhTwVsbEeFlMbTQfrh88Ph/TmgIJ5gbwRblBEv2T
6oqNQP3u5IFeMI3ACs7ryxSQixfkpktVo72XO8VemgreCvjH8co4fd0788HcYbdV
031o5gqSvmBM1Pz+Lkb+XRP0rpLul/ArEUQ9MAySIr7GskULZD9sue0YQfAHeNrZ
43Zdbe9xAgMBAAECggEBAK3n680UvbUQ96eT9s+/RVbx/Ba2xVH3gv1cocGOKZcr
Zr9fWwEL/3zG4ffTZIBbDibXCssvwn3qNVAqr5IOqjz5awNBuJesvhb6zKbRSkyc
OG88/UUEEVWVpkD9S3T84owBlu3NEJ71PDV1Qij3I3Nz8jyaiVwCv7t4ubuyA5g6
dy+Y6PnDQ9do8spQDJLQbisAGiyUSuV7pYil5OZAAG7ngMflQYT+0rn4/ChX20sA
/WRQ1PmYU/xEQnAYvM5CAjgaZCw92Cn83JN3mgAXU4gdPbxGQOIqTL99Rn8HI4yH
x5RLNJ5hS7g2qlLmroZBVis/0Q+8lWc0cb9qqeicghECgYEA6RkNDZI16AOwwPvR
Nkcb1uxt6hMT6qC0PFW86u0XQDne49RwG68DYMgI0XaPEfzGzGKSJVY0IpxF5tAg
2xB4RsVRxPiXF9EeM9Xq9RSYKTCP1jGnnqaI4PVSq7eMrRgsAhJdPapLKRhlia6W
OnJ4hubQGakKYns2bEg66w/HnPsCgYEA45mBtghS5xE5VNosHxqXrDA6JDcwnjBT
FcFuE8FIc2bR91yNejFZ13K0/r41bcVVHRkGC2xVMolQhBxiv3NesvnJ5OEr+OYF
FswZQMafOx0Zhy0DySRfJvGp6VhiQOhDIley4rlMGwK2QCDWYQsiN9wAOUkO06H/
nt5jN6rw4YMCgYBOIJVdbRogT8xYgo6W0LKmEMyuXgKY65A9gMc3PoxCfKMWXcfN
n5VURPefrUs6ziybqJYvaXtD9nj/adb5VcXagpxrlp6d3vtuiE6eIm71r08mjbIO
3OaX7+HrqDPAeI+XiiwyVPeoKIMv6JJ1uJRpMsehMiVG6OFO3c7RppJTLQKBgA2L
SQjIHgbaI4tFIHMJZhU9GXimQCJpxcf5ps9OJT2Y1M3fmBu5bBtCHDs8nnlV0ObW
YmGzpK5JNZ1nAwlZmD0WWElijPdW2N6ubqJIL5mY9bfxmdQScgcjQnU8aTxrlfMp
PN/5HupMkwPl8Fv+CZ9BXFIMYvF9JnURzt21Mnh5AoGAX7VG378PtgZeZM66vERq
mquF5B78plvga3okZG0n/qFRhy1MVFursjHwccPVjdgiSw5co8D06wnqfCO7pQ84
IrszGROKzv8HgoYgYfh/PhNCZN4RsASWAmVNIFm3V5YgrE5yaaUFiUFq3FC1yCJT
499ofkwdWuWyhpw1FP/v7gA=
-----END PRIVATE KEY-----

证书(PEM格式)

-----BEGIN CERTIFICATE-----
MIIDOzCCAiOgAwIBAgIUVCECiiqIa/rBlvNeP+6QiKwJTTEwDQYJKoZIhvcNAQEF
BQAwODEVMBMGA1UEAwwM6ZqU5aOB6ICB5p2OMRIwEAYDVQQKDAlnZWJpbGFvbGkx
CzAJBgNVBAYTAkNOMCAXDTI0MDcyNDAyNDQwMFoYDzI5OTkxMjMxMTU1NTAwWjBW
MQswCQYDVQQGEwJDTjEPMA0GA1UECAwG5YyX5LqsMQ8wDQYDVQQHDAbljJfkuqwx
FTATBgNVBAoMDOmalOWjgeiAgeadjjEOMAwGA1UEAwwFYS5jb20wggEiMA0GCSqG
SIb3DQEBAQUAA4IBDwAwggEKAoIBAQDPPPynNLmSGfC8CXODplocOVy/Re9lEhpG
txm0hBoEh3dO61yr2oo8K7Z761o6pkP4Wll+8PaWGGgYIYORsI1DxgTJ0hCdeLy+
tJbTZYmbcpboqGD62T68pf4Opsb6ntwWScjFiN1nrqW59ctyiOlQmeX48mEv7VxT
dHPCdhTwVsbEeFlMbTQfrh88Ph/TmgIJ5gbwRblBEv2T6oqNQP3u5IFeMI3ACs7r
yxSQixfkpktVo72XO8VemgreCvjH8co4fd0788HcYbdV031o5gqSvmBM1Pz+Lkb+
XRP0rpLul/ArEUQ9MAySIr7GskULZD9sue0YQfAHeNrZ43Zdbe9xAgMBAAGjHTAb
MAsGA1UdEQQEMAKCADAMBgNVHRMBAf8EAjAAMA0GCSqGSIb3DQEBBQUAA4IBAQBX
3m6nkKou9T5GSPpD51KsC7ctjSrA3GtOEdr+N52r8SDkJapW/cCNFU5vAm6eWDVW
g7qtTn/xX+taveLCLHumxpQO/4oFMmA/ULnsSRgJro1Jq5l/8cBSFw6ckictFDTp
/hUI+RBJm+wP6vzN5nq5AZRb5reaolbYzn3g4pR1on1MofIi9GTGcXqmdErKuGm8
lLb7hXIvGjjJ+5ojtMxqXEsqWVMccAnc1nm4wXEFWhMVvZjDXXXPnOIYgLsFgcHe
PdeD6B7bzevC5XKPPT9IYaEaBeqNvJpiiUS8hMFRRAyEAmViQJXQOD8QlHp5rt12
KUiWMQH12iQgN2jCoOxR
-----END CERTIFICATE-----

设置默认站点为 a.com

如有必要，可以去a.com文件夹内删掉404.html和index.html。

搞定！

其实说白了就是新建一个虚假域名的默认站点，添加一个自签的证书。

有需要的可以参考。

Polyfill.io、BootCDN、Bootcss 和 Staticfile CDN 可能已被投毒

Tue, 09 Jul 2024 09:18:48 +0800

最近有一个引用了Staticfile公共库的网站突然相关资源加载不了，排查了一下发现是uBlockOrigin屏蔽了Staticfile相关的域名。

于是就去Staticfile的git提Issues，结果发现有人反馈引用Staticfile的js文件跳恶意广告。

从回复里看到V2EX也有人发帖olyfill.io、BootCDN、Bootcss 、Staticfile都可能已被投毒。

结合前段时间我的某个站点移动端莫名其妙的跳转到一些app下载广告（当时还以为是运营商劫持），被投毒的说法可信度比较高。

于是连夜把所有Staticfile CDN的引用都换成本地，要是有使用相关公共库的站长建议赶紧更换！