AI trong stack của bạn — llama-server & OpenRouter

Gắn AI vào stack của bạn

App của bạn đã nói chuyện qua HTTP (Flask, curl, nginx). AI chỉ là một thứ nữa nó có thể gọi qua cùng đường truyền đó — câu hỏi duy nhất là ai chạy model.

cùng một lời gọi HTTP trong cả hai trường hợp — chỉ địa chỉ (và ai trả tiền) thay đổi

Hai cách đưa AI vào

Chỉ có đúng hai hình dạng. Mọi thứ trong chủ đề này đều là chi tiết của một trong hai thứ đó.

Tự host vs có sẵn

Đây không phải khác biệt kỹ thuật — mà là khác biệt về kinh tế và quyền kiểm soát. Code phía bạn gần như giống hệt nhau.

Một trục, hai đầu

Hầu hết sản phẩm thực tế nằm đâu đó ở giữa — hoặc chọn đầu khác cho từng tính năng. Bạn dịch chuyển trên trục này khi nhu cầu thay đổi.

code giống nhau — chỉ endpoint và hóa đơn khác nhau

Tự host vs có sẵn, qua từng tiêu chí

Cùng một request phía bạn. Năm hàng này là toàn bộ quyết định.

Hình dạng cuộc hội thoại

Dù bạn gọi cái nào — local hay hosted — request và response luôn có hình dạng này. Vì vậy code gần như không đổi.

Model chỉ là một file to

Không có phép thuật. Một model đã được huấn luyện là một file chứa các con số (trọng số). Bạn nạp nó, nó chạy, và nó mở một endpoint HTTP.

Serve một model trong hai lệnh

Tải binary llama-server, cho nó chạy được, và khởi động nó trỏ tới file model. Giờ nó trả lời trên :8080.

RAM/VRAM là giới hạn cứng

Hai thứ tranh giành bộ nhớ máy bạn: chính model, và context (cuộc hội thoại nó phải nhớ). Kích thước quyết định cả hai.

Model lớn hơn, context nhiều hơn — chọn một

Trên một máy có bộ nhớ cố định bạn không thể có tất cả. Đây là giằng co thường ngày khi chạy model cục bộ.

Kích thước → bộ nhớ → cái gì vừa trên một VPS

Số liệu gần đúng cho model 4-bit. Con số chính xác của bạn thay đổi theo model và cách nén — đây là hình dạng để bạn lên kế hoạch theo.

Những gì bạn thực sự gửi

Thân là một danh sách messages cộng vài núm chỉnh. model đặt tên model, messages là toàn bộ hội thoại, stream yêu cầu token lần-lượt.

{
  "model": "llama-3.1-8b",
  "messages": [
    {"role": "user", "content": "Explain what a reverse proxy is, in one sentence."}
  ],
  "max_tokens": 120,
  "temperature": 0.7,
  "stream": true
}

Đó là toàn bộ request. role gồm system / user / assistant; content là nội dung.

Hỏi model cục bộ của bạn

Một POST tới endpoint cục bộ. Thân -d đúng là JSON ở trên — không thêm, không bớt.

# local llama-server, OpenAI-compatible
curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b",
    "messages": [{"role": "user", "content": "Hello there"}]
  }'

Cùng verb, cùng path, cùng thân bạn gửi cho bất kỳ provider nào — chỉ host là 127.0.0.1.

Một trả lời, hay một stream

Flag stream là khác biệt giữa một chat phải chờ và một chat tự gõ. Cùng request, khác cách đóng gói response.

Streaming, từng chút một

Với stream: true, response là một chuỗi các dòng data:. Mỗi dòng mang một mảnh tiếp theo; [DONE] đánh dấu kết thúc.

Một key, nhiều model

OpenRouter là một router đứng trước nhiều nhà cung cấp. Bạn gọi một URL; nó chuyển tiếp tới đúng model bạn đặt tên.

Một request tới OpenRouter

Hình dạng giống hệt lời gọi cục bộ — cùng thân, cùng path /v1/chat/completions. Hai thứ thay đổi: host, và header Authorization.

# one key, any model — pick the model in the body
curl https://openrouter.ai/api/v1/chat/completions \
  -H "Authorization: Bearer $OPENROUTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-4o-mini",
    "messages": [{"role": "user", "content": "Hello"}]
  }'

Token Bearer trong header; model được chọn trong body. Đó là toàn bộ khác biệt so với local.

Cùng thân, hai địa chỉ

Đặt hai lời gọi cạnh nhau. Thân JSON giống nhau từng từ — chỉ URL và key khác nhau.

Khi nào dùng có sẵn là đúng

Nó không 'tốt hơn' tự host — mà nó tốt hơn trong các tình huống này.

Chuyển tiếp trong Flask

Vài dòng: đọc message của người dùng, POST tới model (local hay OpenRouter), trả về văn bản. Bạn sẽ dùng AI để xây phần thật — đây là hình dạng.

# one endpoint that forwards the user's message to the model
@app.route("/ask", methods=["POST"])
def ask():
    prompt = request.json.get("message")
    r = requests.post(MODEL_URL,  # local /v1 OR OpenRouter /v1
        headers={"Authorization": "Bearer " + MODEL_KEY},
        json={"model": "openai/gpt-4o-mini",
              "messages": [{"role": "user", "content": prompt}]})
    reply = r.json()["choices"][0]["message"]["content"]
    return {"reply": reply}

MODEL_URL + MODEL_KEY là hai thứ duy nhất khác nhau giữa local và hosted. Mọi thứ còn lại giống nhau.

Một endpoint, một lượt đi về

Theo một câu hỏi từ người dùng đến câu trả lời. App của bạn giữ key và không bao giờ lộ nó cho trình duyệt.

Ba quyết định trước khi ship

Trước khi viết code, hãy chọn ba thứ này. Dễ chọn đúng, đắt nếu chọn sai.

AI chỉ là một service nữa

App của bạn không nói chuyện với 'AI'. Nó nói chuyện với một URL. URL đó có thể là llama-server của bạn hay một provider — và không gì khác trong app đổi cả.

tự host để có riêng tư và kiểm soát · một provider để có scale và đa dạng — và code gần như không dịch chuyển giữa chúng

Những gì cố tình bỏ qua

Chúng có thật và quan trọng — nhưng không phải bước tiếp theo của bạn, và không đổi cách bạn gọi service.