正则表达式阶段性记录

昨天在写一个diff脚本的时候,需要过滤#开头的注释,以及过滤掉过滤#后出现的空行,Google后我的脚本变成了grep -v '^#' | grep -v '^$' 这样,可用但是并太不明白^$的意思,猜测可能是开始即结束?

因为我尝试加上几个空格匹配会失败,且改成 grep -v '^#'|grep -Ev '^\s+$' 是可以的,今天又搜了下想确认猜测,然而并没有找到相关的说明,但是也有其他收获。

首先是梳理了下正则的各种分支和规范,比如POSIX、Perl、RE2等以及包含的子集。

其次是匹配包括换行的写法,以前在写PHP的时候比较习惯使用flag,比如i、s、U这些,现在又多了几种写法:[\s\S]*[\d\D]*[\w\W]*[\v\V]*[\h\H]*

是不是挺迷惑,我一开始也是,那现在再来回顾下语法:

\d    数字,[0-9]
\D    非数字,[^0-9]
\s    白空格,[\t\n\f\r ]
\S    非白空格,[^\t\n\f\r ]
\w    整个单词,[0-9A-Za-z_]
\W    非整个单词,[^0-9A-Za-z_]
\h    水平空格
\H    非水平空格
\v    垂直空格
\V    非垂直空格

- 阅读剩余部分 -

如何解压 .zst 和 tar.zst 压缩文件

.zsttar.zst 是使用 Facebook 开源的 Zstandard 算法压缩出来的文件。

tar 命令有个参数 -I(--use-compress-program) 可以指定压缩和解压缩使用的子命令,所以解压的完整命令如下:

tar --use-compress-program=unzstd -xvf archive.tar.zst

如果报错:zstd: Cannot exec: No such file or directory,请尝试使用 apt、yum等系统自带的包管理软件安装zstd。

参考:How can I decompress an archive file having .zst or tar.zst?

恢复git push -f丢失的提交

如果有人本地仓库比较新,让他暂时不要更新,并 git push -f,然后你拉取并合并即可,同时吸取教训,将重要分支设置为保护,如果是在线修改或没人拉取最新代码,能否恢复取决于远端仓库是否执行gc,否则神仙也救不回来了。

以没有gc过为例,登录到远程git服务器,并找到仓库所在目录,以我使用的gitea为例,gitlab类似:

git clone /home/git/gitea-repositories/fengqi/exmaple.git rescue
cd rescue

# 查找丢失的提交,如果没有输出commit表示没救了
git fsck --lost-found
Checking object directories: 100% (256/256), done.
Checking objects: 100% (31/31), done.
dangling commit 558aac381bc8acb161447686361928e2e2edc9bf
dangling blob 82f865770e1590763574a60d53286f2102f6b03b
dangling blob d912156bec00a9f00850ab2ec3a3baf1016c2141
dangling blob f02e11383e55a7f7ac33d8dc6554ce4901e55a64

# 查看内容
git show 558aac381bc8acb161447686361928e2e2edc9bf

git checkout branch_xxx
git rebase 558aac381bc8acb161447686361928e2e2edc9bf

# 这里可能提示和远端不一样导致push失败,可以fetch后rebase,也可以pull,看你喜好
git push branch_xxx

因为原始信息只在远端,如果你没有权限登录到git远程仓库,大概率也没救了。

[记录]便捷部署bitwarden_rs/vaultwarden:从docker提取二进制

Bitwarden Server的开源Rust实现(新版本已经改名vaultwarden),编译后的二进制没有外部依赖,社区不提供编译好的二进制,但是提供了docker,本文是建立在提取docker内的二进制的基础上。

我使用的环境是Proxmox VE(PVE),你可以根据自己的情况变通;点击右上角,创建CT,使用Alpine模板,硬盘默认2G就足够,内存512MB即可。

准备工作

使用命令lxc-attach vmid进入容器,下载docker官方提供的镜像下载脚本,并安装依赖:

cd /opt
wget https://raw.githubusercontent.com/moby/moby/master/contrib/download-frozen-image-v2.sh
chmod +x download-frozen-image-v2.sh
apk add jq bash

- 阅读剩余部分 -

[记录]不使用root或sudo运行systemd服务

需求点

systemd是一套系统组件合集,现在要说的是其中的systemctl命令,它是用来控制和查看系统服务的。
通常情况下需要使用root或者有sudo权限的用户进行操作,这在某些场景下不能满足需要或者有不安全隐患。

现在我们来尝试使用常规权限用户启动服务。

创建服务

属于用户的服务要放在 ~/.config/systemd/user 目录下,这是个固定的目录,后面的user不可替换

mkdir ~/.config/systemd/user

- 阅读剩余部分 -

[分享] SSH和Git共享22端口,适用于docker或者frp转发等

先说下我的使用场景:

  1. 我有一台跑在腾讯云上的VPS,就是此博客系统所在的机器,这台机器是有公网IP的
  2. 在我家里的内网,有一台4核16G的小型服务器,没有公网IP,运行Proxmox VE虚拟了各种服务,其中包括Gitea
  3. 我通过frp转发暴露内网的Gitea到公网
  4. 在这之前我一直使用HTTP协议上传或者下载代码,现在觉得太麻烦想用SSH协议

如果你跟我的场景类型,此文很适合你,如果你是同一台机器上docker宿主机之间22端口共享问题,文末官方文档更适合你。

本文也是参考了文末官方文档的实现,但是有部分不太一样。

- 阅读剩余部分 -

[记录]Proxmox VE 通过外部 SMTP 服务器发邮件,同样适用其他调用Postfix的服务

PVE默认发送的邮件会被丢垃圾箱,所以想改为自己的SMTP

安装SASL依赖

SSH登录或在Web控制面板点击>_Shell输入:

apt-get install -y libsasl2-modules

配置Postfix信息

修改 /etc/postfix/main.cf 尾部添加:

relayhost = smtp.exmail.qq.com:465
smtp_sasl_auth_enable = yes
smtp_sasl_security_options = noanonymous
smtp_sasl_password_maps = hash:/etc/postfix/sasl_passwd
smtp_sender_dependent_authentication = yes
smtp_generic_maps = hash:/etc/postfix/generic
smtp_use_tls = yes
smtp_tls_wrappermode = yes
smtp_tls_security_level = encrypt
smtp_tls_CAfile = /etc/ssl/certs/ca-certificates.crt

relayhost 需要改为自己的SMTP服务和SSL端口号
注意 /etc/postfix/main.cf 文件应该还有一个内容为空的 relayhost 默认配置请删掉或者注释

- 阅读剩余部分 -

[原创]解决Spring Boot Kafka 分区不均匀问题

现象

我们通常使用多个分区,开多线程来提高Kafka的消费速度,分区不均匀会导致线程闲置,消费速度过慢,进而导致消息积压

问题原因

消息写入哪个分区是由生产者决定的,在调用kafkaTemplate.send()方法时,可以指定分区,否则使用默认分区器DefaultPartitioner计算。因为分区可能会调整,通常我们不会指定固定分区,而是依靠分区计算器。

查看DefaultPartitioner代码可以得知:当指定了key每次都会计算出固定的分区,否则会自动计算出一个可用分区。

Kafka指定key计算出固定分区是为了满足消息有序的需求,如果你需要保证消息的有序性而指定了key,本文描述的方法可能不适用你。

解决方案

那么解决这个问题的方式就是:

  1. 不再指定key
  2. 自定义分区器,每次计算出不同的分区

方法1不可行,因为这需要调整业务,成本太高,且合理的使用key有助于业务更清晰。

- 阅读剩余部分 -