VI ▾

Yêu cầu hàng loạt trong Python cho API LLM tương thích OpenAI

Đối với công việc hàng loạt API LLM Python, bạn không cần endpoint hàng loạt đặc biệt: bạn cần một nhóm worker tuân thủ giới hạn tốc độ, quy tắc thử lại cho HTTP 429 và tệp kết quả có thể tiếp tục từ đó. Hướng dẫn này xây dựng cả ba với SDK OpenAI trỏ đến base URL của bạn.

Cập nhật

Các đường ống song song mang các khối dữ liệu vào lõi xử lý, minh họa các yêu cầu hàng loạt đồng thời trong Python

Điểm chính

  • API có hai phương thức, hoàn thành hội thoại và mô hình, nên việc hàng loạt được thực hiện ở phía bạn với một nhóm các yêu cầu đồng thời.
  • Khóa chuẩn cho phép 8 yêu cầu đồng thời và 300 mỗi phút; khóa dùng thử cho phép 2 và 60. Điều chỉnh kích thước nhóm của bạn cho phù hợp.
  • Thử lại khi 429 bằng tiêu đề Retry-After, và phân biệt rate_limited với đồng thời.
  • Ghi mỗi kết quả vào tệp JSONL khi nó hoàn thành để khi sự cố chỉ tốn vài phút, không phải toàn bộ lần chạy.

Cách hoạt động của hàng loạt ở đây

Endpoint tương thích OpenAI và cung cấp POST /v1/chat/completions và GET /v1/models. Không có endpoint gửi tác vụ riêng biệt nào nhận tệp và trả lại sau đó. Do đó, một lô là một vòng lặp qua các yêu cầu bình thường, chạy đồng thời, với các giới hạn được tích hợp vào mã của bạn. Điều đó đơn giản hơn bạn nghĩ, và nó cho bạn kết quả khi chúng hoàn thành thay vì ở cuối.

Các con số định hình thiết kế là các giới hạn. Khóa chuẩn cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Khóa dùng thử cho phép 2 đồng thời và 60 mỗi phút. Kích thước tối đa của thân yêu cầu là 8 MB. Một yêu cầu truyền phát giữ slot đồng thời của nó cho đến khi luồng kết thúc, vì vậy đối với công việc hàng loạt, hãy tắt truyền phát.

Tại sao không chỉ bắn mọi thứ cùng một lúc? Bởi vì một lô là vấn đề thông lượng có trần, và trần đó là do bạn tôn trọng. Một vòng lặp gửi 5.000 yêu cầu nhanh nhất có thể mà Python tạo ra sẽ nhận được một bức tường phản hồi 429, lãng phí thời gian cho việc thử lại và chôn vùi các lỗi hữu ích trong nhiễu. Một nhóm giữ tối đa 8 yêu cầu đang chạy giữ dòng chảy di chuyển ở tốc độ dịch vụ cho phép, và đó là cùng mã dù bạn có 50 hàng hay 500.000. Hãy lên kế hoạch cho ba phần: một nhóm có giới hạn, một quy tắc thử lại và một tệp kết quả chỉ thêm.

ID mô hình là uncensored, xác thực là Authorization: Bearer <key>, và base URL là https://api.unfilteredvideo.com/v1. Nếu bạn chưa có key, trang API key có bản dùng thử $0.50 chỉ với một cú nhấp chuột.

Cài đặt và thiết lập

Bạn cần Python 3.9 trở lên và gói openai chính thức. Đặt khóa vào biến môi trường thay vì trong tập lệnh.

pip install openai
export API_KEY="paste-your-key-here"

# quick check that the key and base URL work
curl https://api.unfilteredvideo.com/v1/models -H "Authorization: Bearer $API_KEY"

Danh sách mô hình nên hiển thị uncensored. Bây giờ hãy chuẩn bị đầu vào của bạn dưới dạng tệp JSONL, một đối tượng mỗi dòng với id và văn bản cần xử lý. id là thứ cho phép bạn tiếp tục sau này.

{"id": "r001", "text": "Summarise this product review in one sentence: ..."}
{"id": "r002", "text": "Summarise this product review in one sentence: ..."}

Một nhóm luồng giữ trong giới hạn

Đối với hầu hết các tập lệnh, ThreadPoolExecutor là cách nhanh nhất. Máy khách OpenAI an toàn để chia sẻ giữa các luồng, và công việc bị ràng buộc bởi mạng, vì vậy các luồng phù hợp. Đặt kích thước nhóm thành giới hạn đồng thời của bạn, không cao hơn: các worker dư thừa chỉ thu thập lỗi 429.

import json, os
from concurrent.futures import ThreadPoolExecutor, as_completed
from openai import OpenAI

client = OpenAI(api_key=os.environ["API_KEY"], base_url="https://api.unfilteredvideo.com/v1", max_retries=0)
MODEL = "uncensored"
WORKERS = 8          # use 2 on a trial key

def run_one(row):
    resp = client.chat.completions.create(
        model=MODEL,
        temperature=0.2,
        max_tokens=200,
        messages=[{"role": "user", "content": row["text"]}],
    )
    return {
        "id": row["id"],
        "output": resp.choices[0].message.content,
        "in": resp.usage.prompt_tokens,
        "out": resp.usage.completion_tokens,
    }

rows = [json.loads(line) for line in open("input.jsonl")]
with ThreadPoolExecutor(max_workers=WORKERS) as pool, open("output.jsonl", "a") as out:
    futures = [pool.submit(run_one, r) for r in rows]
    for f in as_completed(futures):
        out.write(json.dumps(f.result()) + "\n")
        out.flush()

Phiên bản này không có thử lại và không có tiếp tục, vì vậy nó là điểm bắt đầu. Máy khách được tạo với max_retries=0 trên máy khách vì SDK tự thử lại theo mặc định, và bạn muốn một nơi sở hữu quy tắc thử lại. Hai phần tiếp theo thêm quy tắc đó và logic tiếp tục.

Xử lý 429 đúng cách

Có ba loại mã 429 trên API này, và chúng yêu cầu các phản ứng hơi khác nhau:

  • rate_limited: bạn đã gửi quá nhiều yêu cầu trong một phút. Làm chậm lại. Một nhóm có ít worker hơn hoặc thời gian chờ ngắn sẽ khắc phục nó.
  • concurrency: quá nhiều yêu cầu đang thực hiện cùng lúc. Pool của bạn lớn hơn giới hạn của bạn, hoặc bạn có các stream đang mở mà bạn đã quên.
  • Quá tải tạm thời: một 429 với tiêu đề Retry-After: 5. Không có gì sai với mã của bạn. Chờ thời gian được nêu và thử lại.

Một trình trợ giúp retry bao gồm cả ba. Nó chờ Retry-After khi có, và nếu không thì backoff theo cấp số nhân với một chút jitter. Các yêu cầu bị lỗi và bị từ chối không bị tính phí, vì vậy việc thử lại là miễn phí.

import random, time
import openai
from openai import OpenAI

client = OpenAI(api_key=__import__("os").environ["API_KEY"], base_url="https://api.unfilteredvideo.com/v1", max_retries=0)
MODEL = "uncensored"

def call_with_retry(messages, attempts=6):
    for n in range(attempts):
        try:
            return client.chat.completions.create(model=MODEL, messages=messages, max_tokens=200)
        except openai.RateLimitError as e:
            wait = e.response.headers.get("Retry-After")
            delay = float(wait) if wait else min(60, 2 ** n) + random.random()
            print("429", getattr(e, "code", None), "waiting", round(delay, 1), "s")
            time.sleep(delay)
        except (openai.APIConnectionError, openai.APITimeoutError):
            time.sleep(min(30, 2 ** n))
    raise RuntimeError("gave up after %d attempts" % attempts)

Không nên retry bừa bãi với mọi lỗi. Mã 400 có nghĩa là yêu cầu của bạn sai, ví dụ body vượt quá 8 MB hoặc thông báo sai định dạng, và gửi lại nó sẽ thất bại theo cách tương tự. Log nó với row id và tiếp tục.

Phiên bản bất đồng bộ với semaphore

Nếu tập lệnh của bạn đã chạy trong vòng lặp sự kiện, hoặc bạn muốn cung cấp cho dịch vụ web, hãy sử dụng AsyncOpenAI và một asyncio.Semaphore giới hạn các yêu cầu đang thực hiện. Semaphore đóng vai trò của kích thước nhóm.

import asyncio, json, os
from openai import AsyncOpenAI

client = AsyncOpenAI(api_key=os.environ["API_KEY"], base_url="https://api.unfilteredvideo.com/v1", max_retries=0)
MODEL = "uncensored"
sem = asyncio.Semaphore(8)

async def run_one(row, out):
    async with sem:
        resp = await client.chat.completions.create(
            model=MODEL,
            max_tokens=200,
            messages=[{"role": "user", "content": row["text"]}],
        )
    out.write(json.dumps({"id": row["id"], "output": resp.choices[0].message.content}) + "\n")
    out.flush()

async def main():
    rows = [json.loads(l) for l in open("input.jsonl")]
    with open("output.jsonl", "a") as out:
        await asyncio.gather(*(run_one(r, out) for r in rows))

asyncio.run(main())

Bọc cuộc gọi trong logic thử lại tương tự như ở trên, sử dụng await asyncio.sleep thay vì time.sleep. Một lời cảnh báo: gather với hàng chục nghìn coroutine tạo ra tất cả chúng cùng một lúc. Đối với đầu vào rất lớn, hãy xử lý tệp theo các phân đoạn vài nghìn hàng.

Làm cho lần chạy có thể tiếp tục

Các công việc dài thất bại theo những cách nhàm chán: máy tính ở chế độ ngủ, kết nối bị ngắt, bạn nhấn Ctrl+C. Vì mỗi hàng hoàn thành được thêm vào output.jsonl với id của nó, việc tiếp tục có nghĩa là bỏ qua các id bạn đã có.

import json, os
from openai import OpenAI

client = OpenAI(api_key=os.environ["API_KEY"], base_url="https://api.unfilteredvideo.com/v1")
MODEL = "uncensored"

def done_ids(path="output.jsonl"):
    if not os.path.exists(path):
        return set()
    return {json.loads(line)["id"] for line in open(path) if line.strip()}

finished = done_ids()
todo = [r for r in map(json.loads, open("input.jsonl")) if r["id"] not in finished]
print(len(finished), "done,", len(todo), "to go")

Đưa todo vào bất kỳ nhóm nào ở trên. Mở tệp đầu ra ở chế độ ghi thêm, không bao giờ là chế độ ghi, hoặc một lần chạy lại sẽ xóa tiến trình của bạn. Cũng ghi lỗi vào một tệp thứ hai, errors.jsonl, để bạn có thể chạy lại chỉ các lỗi sau khi đọc lý do tại sao chúng thất bại.

Đối với đầu ra có thể lặp lại qua các lần chạy lại, hãy chuyển một seed cố định cùng với một temperature thấp. Seed được chuyển qua cho mô hình cùng với top_p, stop và các hệ số phạt.

Kiểm tra trên một phần nhỏ trước

Chạy thử 20 rows trước khi chạy 20.000. Chọn các rows bao gồm các trường hợp tệ nhất của bạn: input dài nhất, một cái có ký tự lạ, một cái rỗng. Đọc outputs bằng mắt, kiểm tra xem usage có khớp với ước tính chi phí của bạn không, và xác nhận helper retry hoạt động bằng cách tạm thời tăng worker count vượt quá giới hạn của bạn. Bạn sẽ thấy mã 429 với code concurrency trong log, một khoảng thời gian chờ, và một lần retry thành công. Tốt hơn là thấy điều đó trên 20 rows hơn là phát hiện ra nó ở row 9.000.

Nếu job cần output có cấu trúc, hãy thêm chế độ JSON với response_format={"type": "json_object"}, mô tả các keys trong prompt, và parse mỗi reply bên trong một khối try. Đếm số lần parse thất bại trong phần thử nghiệm. Tỷ lệ vượt quá một hoặc hai phần trăm thường có nghĩa là prompt cần một schema rõ ràng hơn, và điều đó rẻ hơn để sửa ngay bây giờ hơn là chạy lại sau này. Các rows không parse được sẽ được ghi vào errors.jsonl với id của chúng, và logic resume sẽ coi chúng là chưa hoàn thành.

Cuối cùng, hãy đặt một client timeout phù hợp với thời gian dự kiến cho output dài nhất nhất của bạn. SDK chấp nhận timeout=60 trên client hoặc cho từng request; một request bị kẹt không bao giờ trả về sẽ giữ một trong 8 slots của bạn trong suốt thời gian nó tồn tại.

Đo kích thước nhóm và ước tính thời gian

Throughput bị giới hạn bởi hai yếu tố: concurrency chia cho thời gian một request thực hiện, và giới hạn requests mỗi phút. Trên một khóa đầy đủ, giới hạn là 300 mỗi phút, tức là 5 mỗi giây. Nếu một request điển hình mất 2 giây, 8 workers sẽ tạo ra 8 / 2 = 4 requests mỗi giây, hoặc 240 mỗi phút, nằm dưới giới hạn. Nếu các request mất 1 giây, 8 workers sẽ thử 8 mỗi giây và chạm giới hạn, vì vậy hãy thêm một độ trễ nhỏ hoặc chấp nhận các lỗi 429 thỉnh thoảng xảy ra mà helper retry của bạn sẽ xử lý.

Ở mức 4 mỗi giây, 10.000 rows mất 2.500 giây, khoảng 42 phút. Trên một khóa dùng thử, với 2 concurrent requests và 60 mỗi phút, giới hạn là 1 mỗi giây, vì vậy cùng 10.000 rows đó sẽ mất 10.000 giây, gần 2 giờ 47 phút. Trong thực tế, tín dụng dùng thử $0,50 sẽ hết trước thời điểm đó, điều này khiến nó trở thành nơi tốt để thử nghiệm script trên vài trăm rows và không phải là nơi để chạy production.

Chi phí của một lô lớn

Giá là $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra. Hãy lấy một công việc theo kiểu phân loại: 50.000 hàng, mỗi hàng khoảng 200 token đầu vào và 100 token đầu ra.

  • Input: 50.000 × 200 = 10.000.000 tokens, tương đương 10 × $0,15 = $1,50.
  • Output: 50.000 × 100 = 5.000.000 tokens, tương đương 5 × $0,50 = $2,50.
  • Tổng cộng: $4,00, hoặc $0,00008 cho mỗi row.

Script ở trên ghi lại in và out cho mỗi row, vì vậy bạn có thể tính toán cùng con số đó từ lần chạy thực tế của bạn. Response header X-Balance-USD cũng hiển thị tín dụng còn lại, và X-Request-Id là thứ bạn nên đề cập nếu bạn yêu cầu trợ giúp trên trang docs hoặc trang hỗ trợ.

Tín dụng là trả trước với các khoản top-up nguyên đô la từ $20 đến $500, với +5% từ $50, +10% từ $100 và +15% từ $200, thanh toán bằng crypto (USDT trên TRC20 hoặc USDC trên Base). Nó không bao giờ hết hạn. Trang bảng giá có đầy đủ chi tiết. Một lưu ý cho các bộ dữ liệu nhạy cảm: prompts không được sử dụng để huấn luyện.

Hỏi đáp

API có một batch endpoint không?

Không. Nó expose endpoint chat completions và danh sách mô hình. Bạn thực hiện batch bằng cách chạy nhiều yêu cầu thông thường đồng thời từ mã của bạn, trong giới hạn 8 concurrent và 300 mỗi phút trên một khóa đầy đủ.

Tôi nên sử dụng bao nhiêu luồng?

Sử dụng 8 workers trên một khóa đầy đủ và 2 trên một khóa dùng thử, phù hợp với các giới hạn concurrency. Nhiều workers hơn chỉ tạo ra các lỗi 429 với code concurrency.

Tôi nên làm gì khi nhận được HTTP 429?

Chờ giá trị Retry-After nếu phản hồi có, nếu không thì chờ vài giây rồi thử lại. Các yêu cầu thất bại không bị tính phí, nên việc thử lại không tốn kém.

Tôi có thể truyền phát phản hồi trong công việc batch không?

Bạn có thể, nhưng bạn không nên. Một yêu cầu truyền phát giữ khe chờ xử lý đồng thời của nó cho đến khi luồng kết thúc, điều này làm giảm thông lượng. Tắt truyền phát cho các công việc batch.

Khóa của bạn chỉ cách một bước

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API