Message Queue — hàng đợi tin nhắn

Message queue là gì?

Một hàng đợi first-in-first-out gồm các tin nhắn nhỏ, đứng giữa phần app TẠO việc và phần app LÀM việc.

Một request, hai kiểu

Cùng khoảnh khắc 'user đặt hàng', có và không có hàng đợi ở giữa.

Message queue làm bốn việc

Vì sao nên dùng hàng đợi

Ba lý do, đều xoay quanh chuyện không chờ và không mất.

Cuộc đời của một tin nhắn

Theo một đơn hàng từ lúc bấm cho đến khi xong.

1. 1

   Producer công bố

   App của bạn gọi publish() kèm tin nhắn — ví dụ JSON của một đơn hàng với id 42. Đó là toàn bộ phía gửi.

2. 2

   Broker lưu tin

   Server hàng đợi (broker) nhận tin và giữ lại — trong bộ nhớ và/hoặc trên disk, tùy hệ thống.

3. 3

   Phân phối quyết định đi đâu

   Tin vào hàng nào? Hệ đơn giản: một hàng mỗi loại việc. Hệ lớn hơn phân phối theo tên hoặc topic.

4. 4

   Một consumer tiêu thụ

   Worker lấy tin kế tiếp và làm việc: gửi email, gọi API, render hóa đơn.

5. 5

   Ack — hoặc thử lại

   Xong việc, consumer xác nhận (ack). Hỏng giữa chừng? Tin được giao lại — nguyên tắc 'ít nhất một lần'.

Ba khối, một hàng ở giữa

Không ai gọi ai. Mọi thứ là tin nhắn đi dọc theo hàng.

Producer và worker chỉ gặp hàng đợi — không bao giờ gặp nhau.

Queue so với topic

Một tin — một consumer, hay nhiều? Đó là ngã ba.

Sáu từ, một hơi

Publish: bỏ một tin vào hàng

Toàn bộ chiêu 'bất đồng bộ' phía web app: một dòng, request rảnh ngay.

import redis

r = redis.Redis(host="localhost", port=6379)

def publish(order):
    # put one message onto the queue
    r.lpush("orders", order)
    print("queued:", order)

publish({"id": 42, "item": "keyboard", "qty": 1})

lpush = đẩy vào đầu danh sách: tin nằm ở đầu list 'orders' — một hàng đợi bằng một lệnh Redis.

Consume: vòng lặp làm việc cho đến khi hàng vắng

Phía worker: lấy tin kế tiếp, làm việc, lặp lại. Không gì mất cả.

import redis, json

r = redis.Redis(host="localhost", port=6379)

while True:
    item = r.brpop("orders", timeout=5)
    if item is None:
        continue            # queue empty — keep waiting
    order = json.loads(item[1])
    print("processing:", order)
    # work: send email, call API, render PDF…
    # then loop — the next message is up

brpop = lấy ra có chặn: worker ngủ đến khi có tin (timeout = ngủ bao lâu).

Xem hàng đợi từ terminal

LLEN = đang chờ bao nhiêu; LRANGE = liếc xem bên trong; LPOP = lấy một ra — đó là một lần consume.

Những tên bạn sẽ thực sự gặp

Ba cái này đủ cho gần như mọi hệ thống nhỏ-vừa bạn sẽ ship.

RabbitMQ so với Redis so với Kafka

Những gì cố tình bỏ qua

Hàng đợi đi rất sâu. Những thứ này là thật — nhưng không phải bước tiếp theo của bạn.