netqyq (yongqiang)

分布式管理进程/任务用什么工具好？

netqyq — Sun, 13 Aug 2023 11:28:34 +0800

大家好。

我有一个在单机（Ubuntu/Linux）上执行的很好的程序（Go 编译后的二进制文件，主要来处理数据，处理结果存入数据库，可以并行处理），现在我现在想在多台机器上同时执行这个程序，各个进程不交互，互不影响。请问有没有什么工具可以集中管理这种多台机器上的进程，监视运行状态什么的？

需求总结：管理多台机器，每台机器运行多个同样的进程 (dosomething)。

内心：不太想使用 Docker 生态系统的东西。越是原始、底层、简单、有效，越好！。

有没有好用的百科网站推荐？

netqyq — Fri, 04 Aug 2023 18:25:49 +0800

最近在给 Backdata.net 抓数据，需要收录高质量百科网站。维基百科不收录，因为国内无法访问。其他的百度百科，搜狗百科不允许抓取，内容越来越割裂了。大家有没有好用的百科网站推荐？

征集一些优秀的技术团队博客 (国内外都需要)

netqyq — Mon, 12 Jun 2023 16:36:52 +0800

想征集一些优秀的技术团队博客，放在一起，方便学习查阅，大家有没有推荐的，可以在下方评论。

打算将它们集中放在 https://cooltools.top/developers.html

目前已经收录有：

Spotify R&D
美团技术团队
小米信息部技术团队
Thoughtworks 洞见
Twitter Engineering
Meta Engineering
netflix tech blog
airbnb Engineering

我们做了一个 AI 导航网站（AI 工具集合）Cooltools.top/ai.html

netqyq — Mon, 15 May 2023 18:38:59 +0800

大家好，看最近大家对 AI 应用关注比较多，我们做了一个 AI 网址导航网站：https://CoolTools.top/ai.html ，这里面包含有聊天问答，文案生成，阅读辅助，图片生成，图片处理，语音生成，品牌 logo 设计，视频生成，市场营销，法律等相关的 AI 网站，一共超过了 300 个。欢迎使用，希望对大家有所帮助，期待大家能提出反馈意见建议，非常感谢。

记一次 capistrano 异常及其引发的思考

netqyq — Wed, 05 Apr 2017 19:23:18 +0800

缘起

记得上一次线上部署是 3 月 29 日，使用cap production deploy，没有什么问题，顺利部署。

今天跟新了几行代码，没动 capistrano 相关的部分，执行部署命令，居然直接 abort 异常退出了！百思不得其解。

报错如下：

(Backtrace restricted to imported tasks)
cap aborted!
Don't know how to build task 'start' (see --tasks)

Tasks: TOP => production
(See full trace by running task with --trace)

找原因

加上--trace看了一下，没找到明显的提示。

只好祭出 google 了。搜索一下关键字，看了几条结果，好像不搭边。再精确提炼一下关键字。

从报错中提取一行关键信息，Don't know how to build task 'start' (see --tasks)，去掉后面的(see --tasks)，因为原则上尽量不要给搜索引擎增加处理特殊符号的负担，再加上主题词capistrano, 因为主要是它的问题。

最终的搜索关键字如下：

capistrano Don't know how to build task 'start'

这样的话问题逻辑上就会被限定死。如果这样没有结果，搜索这条路子就至此了。

果然，看到第三条，还是stackoverflow，有人说了

Add install_plugin Capistrano::Puma into your Capfile after require 'capistrano/puma'.

capistrano3-puma moved to 3.0 a few days ago. This line is required for loading default puma tasks in this version.

See https://github.com/seuros/capistrano-puma#usage

解决方法

特别是再看到moved ... a few days ago时，心中一阵喜感，觉得有希望了。

试一下再 Capfile 中加入

install_plugin Capistrano::Puma

执行bundle后，再运行部署命令就正常了。

总结思考

搜索时关键字选取很重要。尽量去除一些介词、连词、语气词，去除特殊符号。因为在后台处理时这些也是要先去掉的，加上以后反而会给搜索引擎增加负担，从而降低准确率，不如我们先人工过滤一遍。
如何避免类似事件？考虑真正的原因，本地相关代码都没动，唯一动的就是执行了几遍bundle命令，这样应该会把相关库一些最新代码同步下来，而配置没有自动同步下来，引发错误。由于这里 gem 中没有指定版本，这样的话会是使用最新的吧。

没注意到 Capistrano::Puma 的更新，没有跟上社区脚步。

在有多个模型关联操作的情况下，使用 Callbacks 保证数据的一致性

netqyq — Tue, 28 Feb 2017 18:13:34 +0800

背景

通过 callback 关联的 2 个 model，rails 会自动把所有的数据库操作语句封装为一个事务。如果整个事务执行过程中有异常抛出，事务将自动回滚，从而保证了关联模型的数据一致性。

举例

在电商系统中，有 2 个模型，Order 和 OrderItem。其中 Order 模型用来存储订单信息，OrderItem 存储订单项。这 2 个表都有一个orderID字段，通过一个生成的orderID来进行关联，注意这里的orderID并不是 ActiveRecord 自动维护的 order.id 或 order_item.id，而是后生成的并且同时插入这 2 个表中，也就是说关联关系并没有用到原来的id字段。所以不能通过 has_many 关联。

数据库 schema 如下：

create_table "order_items", force: :cascade do |t|
  t.string   "orderID"
  t.integer  "product_id"
  t.decimal  "price",      precision: 10, scale: 2
  t.decimal  "amount",     precision: 10, scale: 2
  t.datetime "created_at",                          null: false
  t.datetime "updated_at",                          null: false
  t.integer  "user_id"
  t.index ["product_id"], name: "index_order_items_on_product_id", using: :btree
end

create_table "orders", force: :cascade do |t|
  t.integer  "user_id"
  t.string   "orderID"
  t.text     "message"
  t.datetime "created_at",                             null: false
  t.datetime "updated_at",                             null: false
  t.string   "fixed_address"
  t.decimal  "total_price",   precision: 10, scale: 2
  t.index ["user_id"], name: "index_orders_on_user_id", using: :btree
end

业务逻辑是：

如果创建了订单，则需要将购物车中具体购买的物品添加到 order_items 表中。
如果删除订单，则需要同时删除在 order_items 表中具有和 orderID 相同的项目。

使用 Callback 实现关联操作如下：

class Order < ApplicationRecord
  belongs_to :user
  belongs_to :address

  # 新建order后新建order_items
  after_create :create_order_items

  # 如果删除订单，则需要同时删除在order_items表中具有和orderID相同的项目。
  after_destroy :destroy_all_same_orderID

  protected
    def create_order_items
      current_user = self.user
      current_user.carts.each do |cart|
        OrderItem.new(user_id: current_user.id, orderID: self.orderID, product_id: cart.product_id, price: cart.product.price, amount: cart.amount).save!
      end
      # raise "crash for test"
      Cart.where(user_id: current_user.id).destroy_all
    end

    def destroy_all_same_orderID
      # raise "error"

      OrderItem.where(orderID: self.orderID).destroy_all
    end
end

结论

这样在 orders_controller.rb 中的 create 操作，只进行 order 新建相关的操作，没有任何 order_items 相关的操作。如果不使用 callback，在 controller 中操作两个模型的话，代码会不整洁，最主要是数据一直性无法保证。另外，好的做法是将 callback 方法放在 private 或 protected 中，以避免对外公开。

通配路由过期 warning

netqyq — Fri, 15 Jul 2016 10:46:23 +0800

Warning：

DEPRECATION WARNING: Using a dynamic :controller segment in a route is deprecated and will be removed in Rails 5.1. (called from block
DEPRECATION WARNING: Using a dynamic :action segment in a route is deprecated and will be removed in Rails 5.1. (called from block in

路由配置：

match ':controller(/:action(/:id(.:format)))', :via => [:get, :post]

请问如何处理？或者为什么会这样，其背后的道理是什么，有什么好的处理方式吗？