[记录]关于新增新字段sqlx报错missing destination name

正常情况下,将数据的字段映射到一个struct的时候,需要使用db这个tag指定关系,典型的使用场景如下:

type News struct {
    Id int64 `json:"id" db:"id"`
    GroupId int64 `json:"group_id" db:"group_id"`
}

news := &News{}
err := db.QueryRowx("select...", x).StructScan(news)

部分类库比如xorm会尝试根据驼峰、下划线去对应,sqlx并不会,而是会报panic级别的错误。

查看源码,发现StructScan内部调用了scanAny这个方法,继续往下看,可以发现这样一段代码:

fields := m.TraversalsByName(v.Type(), columns)
// if we are not unsafe and are missing fields, return an error
if f, err := missingFields(fields); err != nil && !r.unsafe {
    return fmt.Errorf("missing destination name %s in %T", columns[f], dest)
}

这里判断是否有字段缺失,同时有个unsafe开关,如果没有打开,就会报错,unsafe是在初始化db链接的时候指定的,可以通过调用db.Unsafe()方法返回一个打开unsafe开关的db实例,至于是全局使用还是每次调用时指定,看你自己了。

PS: 如果愿意动动手,也可以通过db.Mapper = xx覆盖默认的Mapper方法,其中包括字段名映射逻辑,比如把xorm的逻辑移植过来。

Proxmox VE关于Alpine虚机、MAC地址还有Hostname的小坑

Proxmox VE简称PVE,有kvmlxc两种模式,说人话就是虚拟机和容器,比较轻量的应用我会优先使用lxc,磁盘和内存占用都非常低。

如果对glibc没有强制要求的,我会优先使用 Alpine Linux 这个发行版,除开应用本身的资源,只有2m左右的系统文件,几乎没有内存和磁盘浪费。

我的PVE和虚机优先跑在SSD上,会比跑在HDD上有更好的io,所有SSD空间需要省着用。

问题1:Alpine DHCP可能不发送主机名

我在使用Alpine的时候发现部分机器启动后,DHCP不会发送Hostname,导致OpenWrt看到的主机名是问号?爬了一下Alpine的文档后找到,可在/etc/network/interfaces 增加hostname参数来自定义发送主机名,问题解决,验证方式是查找系统进程udhcpc 看运行参数是否有 hostname:xxx字样,例如:

> ps|grep dhcp
> /sbin/udhcpc -b -R -p /var/run/udhcpc.eth0.pid -i eth0 -x hostname:ptn

原因未知,使用的镜像都是一致的,部分容器开起来就是会出问题。。。可能隐藏的比较深。

- 阅读剩余部分 -

正则表达式阶段性记录

昨天在写一个diff脚本的时候,需要过滤#开头的注释,以及过滤掉过滤#后出现的空行,Google后我的脚本变成了grep -v '^#' | grep -v '^$' 这样,可用但是并太不明白^$的意思,猜测可能是开始即结束?

因为我尝试加上几个空格匹配会失败,且改成 grep -v '^#'|grep -Ev '^\s+$' 是可以的,今天又搜了下想确认猜测,然而并没有找到相关的说明,但是也有其他收获。

首先是梳理了下正则的各种分支和规范,比如POSIX、Perl、RE2等以及包含的子集。

其次是匹配包括换行的写法,以前在写PHP的时候比较习惯使用flag,比如i、s、U这些,现在又多了几种写法:[\s\S]*[\d\D]*[\w\W]*[\v\V]*[\h\H]*

是不是挺迷惑,我一开始也是,那现在再来回顾下语法:

\d    数字,[0-9]
\D    非数字,[^0-9]
\s    白空格,[\t\n\f\r ]
\S    非白空格,[^\t\n\f\r ]
\w    整个单词,[0-9A-Za-z_]
\W    非整个单词,[^0-9A-Za-z_]
\h    水平空格
\H    非水平空格
\v    垂直空格
\V    非垂直空格

- 阅读剩余部分 -

如何解压 .zst 和 tar.zst 压缩文件

.zsttar.zst 是使用 Facebook 开源的 Zstandard 算法压缩出来的文件。

tar 命令有个参数 -I(--use-compress-program) 可以指定压缩和解压缩使用的子命令,所以解压的完整命令如下:

tar --use-compress-program=unzstd -xvf archive.tar.zst

如果报错:zstd: Cannot exec: No such file or directory,请尝试使用 apt、yum等系统自带的包管理软件安装zstd。

参考:How can I decompress an archive file having .zst or tar.zst?

恢复git push -f丢失的提交

如果有人本地仓库比较新,让他暂时不要更新,并 git push -f,然后你拉取并合并即可,同时吸取教训,将重要分支设置为保护,如果是在线修改或没人拉取最新代码,能否恢复取决于远端仓库是否执行gc,否则神仙也救不回来了。

以没有gc过为例,登录到远程git服务器,并找到仓库所在目录,以我使用的gitea为例,gitlab类似:

git clone /home/git/gitea-repositories/fengqi/exmaple.git rescue
cd rescue

# 查找丢失的提交,如果没有输出commit表示没救了
git fsck --lost-found
Checking object directories: 100% (256/256), done.
Checking objects: 100% (31/31), done.
dangling commit 558aac381bc8acb161447686361928e2e2edc9bf
dangling blob 82f865770e1590763574a60d53286f2102f6b03b
dangling blob d912156bec00a9f00850ab2ec3a3baf1016c2141
dangling blob f02e11383e55a7f7ac33d8dc6554ce4901e55a64

# 查看内容
git show 558aac381bc8acb161447686361928e2e2edc9bf

git checkout branch_xxx
git rebase 558aac381bc8acb161447686361928e2e2edc9bf

# 这里可能提示和远端不一样导致push失败,可以fetch后rebase,也可以pull,看你喜好
git push branch_xxx

因为原始信息只在远端,如果你没有权限登录到git远程仓库,大概率也没救了。

[记录]便捷部署bitwarden_rs/vaultwarden:从docker提取二进制

Bitwarden Server的开源Rust实现(新版本已经改名vaultwarden),编译后的二进制没有外部依赖,社区不提供编译好的二进制,但是提供了docker,本文是建立在提取docker内的二进制的基础上。

我使用的环境是Proxmox VE(PVE),你可以根据自己的情况变通;点击右上角,创建CT,使用Alpine模板,硬盘默认2G就足够,内存512MB即可。

准备工作

使用命令lxc-attach vmid进入容器,下载docker官方提供的镜像下载脚本,并安装依赖:

cd /opt
wget https://raw.githubusercontent.com/moby/moby/master/contrib/download-frozen-image-v2.sh
chmod +x download-frozen-image-v2.sh
apk add jq bash

- 阅读剩余部分 -

[记录]不使用root或sudo运行systemd服务

需求点

systemd是一套系统组件合集,现在要说的是其中的systemctl命令,它是用来控制和查看系统服务的。
通常情况下需要使用root或者有sudo权限的用户进行操作,这在某些场景下不能满足需要或者有不安全隐患。

现在我们来尝试使用常规权限用户启动服务。

创建服务

属于用户的服务要放在 ~/.config/systemd/user 目录下,这是个固定的目录,后面的user不可替换

mkdir ~/.config/systemd/user

- 阅读剩余部分 -

[分享] SSH和Git共享22端口,适用于docker或者frp转发等

先说下我的使用场景:

  1. 我有一台跑在腾讯云上的VPS,就是此博客系统所在的机器,这台机器是有公网IP的
  2. 在我家里的内网,有一台4核16G的小型服务器,没有公网IP,运行Proxmox VE虚拟了各种服务,其中包括Gitea
  3. 我通过frp转发暴露内网的Gitea到公网
  4. 在这之前我一直使用HTTP协议上传或者下载代码,现在觉得太麻烦想用SSH协议

如果你跟我的场景类型,此文很适合你,如果你是同一台机器上docker宿主机之间22端口共享问题,文末官方文档更适合你。

本文也是参考了文末官方文档的实现,但是有部分不太一样。

- 阅读剩余部分 -

[记录]Proxmox VE 通过外部 SMTP 服务器发邮件,同样适用其他调用Postfix的服务

PVE默认发送的邮件会被丢垃圾箱,所以想改为自己的SMTP

安装SASL依赖

SSH登录或在Web控制面板点击>_Shell输入:

apt-get install -y libsasl2-modules

配置Postfix信息

修改 /etc/postfix/main.cf 尾部添加:

relayhost = smtp.exmail.qq.com:465
smtp_sasl_auth_enable = yes
smtp_sasl_security_options = noanonymous
smtp_sasl_password_maps = hash:/etc/postfix/sasl_passwd
smtp_sender_dependent_authentication = yes
smtp_generic_maps = hash:/etc/postfix/generic
smtp_use_tls = yes
smtp_tls_wrappermode = yes
smtp_tls_security_level = encrypt
smtp_tls_CAfile = /etc/ssl/certs/ca-certificates.crt

relayhost 需要改为自己的SMTP服务和SSL端口号
注意 /etc/postfix/main.cf 文件应该还有一个内容为空的 relayhost 默认配置请删掉或者注释

- 阅读剩余部分 -

[原创]解决Spring Boot Kafka 分区不均匀问题

现象

我们通常使用多个分区,开多线程来提高Kafka的消费速度,分区不均匀会导致线程闲置,消费速度过慢,进而导致消息积压

问题原因

消息写入哪个分区是由生产者决定的,在调用kafkaTemplate.send()方法时,可以指定分区,否则使用默认分区器DefaultPartitioner计算。因为分区可能会调整,通常我们不会指定固定分区,而是依靠分区计算器。

查看DefaultPartitioner代码可以得知:当指定了key每次都会计算出固定的分区,否则会自动计算出一个可用分区。

Kafka指定key计算出固定分区是为了满足消息有序的需求,如果你需要保证消息的有序性而指定了key,本文描述的方法可能不适用你。

解决方案

那么解决这个问题的方式就是:

  1. 不再指定key
  2. 自定义分区器,每次计算出不同的分区

方法1不可行,因为这需要调整业务,成本太高,且合理的使用key有助于业务更清晰。

- 阅读剩余部分 -