ID ▾

Permintaan Batch di Python untuk API LLM yang Kompatibel dengan OpenAI

Untuk pekerjaan batch python API LLM, Anda tidak memerlukan endpoint batch khusus: Anda memerlukan kumpulan pekerja yang mematuhi batas laju, aturan backoff untuk HTTP 429, dan file hasil yang dapat dilanjutkan. Panduan ini membangun ketiganya dengan SDK OpenAI yang diarahkan ke URL dasar Anda.

Diperbarui

Pipa paralel yang membawa kubus data ke inti pemrosesan, mengilustrasikan permintaan batch paralel di Python

Poin utama

  • API memiliki dua metode, chat completions dan models, sehingga batching dilakukan di sisi Anda dengan kumpulan permintaan konkuren.
  • Kunci penuh mengizinkan 8 permintaan konkuren dan 300 per menit; kunci uji coba mengizinkan 2 dan 60. Sesuaikan ukuran pool Anda.
  • Lakukan retry pada 429 menggunakan header Retry-After, dan bedakan antara rate_limited dan konkurensi.
  • Tulis setiap hasil ke file JSONL saat selesai sehingga jika terjadi crash, yang hilang hanya beberapa menit, bukan seluruh eksekusi.

Cara kerja batching di sini

Endpoint ini kompatibel dengan OpenAI dan mengekspos POST /v1/chat/completions serta GET /v1/models. Tidak ada endpoint pengiriman pekerjaan terpisah yang menerima file dan mengembalikan hasilnya nanti. Oleh karena itu, batch adalah loop atas permintaan normal yang dijalankan secara konkuren, dengan batas yang dibangun ke dalam kode Anda. Itu lebih sederhana daripada yang terdengar, dan itu memberikan Anda hasil saat selesai alih-alih di akhir.

Angka yang membentuk desain adalah batas. Kunci penuh mengizinkan 8 permintaan konkuren dan 300 permintaan per menit. Kunci uji coba mengizinkan 2 konkuren dan 60 per menit. Tubuh permintaan maksimum adalah 8 MB. Permintaan streaming memegang slot konkurensinya hingga stream berakhir, jadi untuk pekerjaan batch, matikan streaming.

Mengapa tidak langsung menembakkan semuanya sekaligus? Karena batch adalah masalah throughput dengan batas atas, dan batas atas itu harus Anda hormati. Loop yang mengirim 5.000 permintaan secepat Python bisa membuatnya akan mendapatkan dinding respons 429, membuang waktu pada retry, dan mengubur error yang berguna dalam noise. Kumpulan yang menahan paling banyak 8 permintaan yang sedang berjalan menjaga garis bergerak pada kecepatan yang diizinkan layanan, dan itu kode yang sama apakah Anda memiliki 50 baris atau 500.000. Rencanakan tiga bagian: kumpulan terbatas, satu aturan retry, dan file hasil append-only.

ID model adalah uncensored, autentikasi adalah Authorization: Bearer <key>, dan Base URL adalah https://api.unfilteredvideo.com/v1. Jika Anda belum memiliki kunci, halaman kunci API memiliki uji coba $0,50 satu klik.

Instal dan siapkan

Anda memerlukan Python 3.9 atau lebih baru dan paket openai resmi. Masukkan kunci ke dalam variabel lingkungan daripada ke dalam skrip.

pip install openai
export API_KEY="paste-your-key-here"

# quick check that the key and base URL work
curl https://api.unfilteredvideo.com/v1/models -H "Authorization: Bearer $API_KEY"

Daftar model harus menampilkan uncensored. Sekarang siapkan input Anda sebagai file JSONL, satu objek per baris dengan id dan teks untuk diproses. id memungkinkan Anda melanjutkan nanti.

{"id": "r001", "text": "Summarise this product review in one sentence: ..."}
{"id": "r002", "text": "Summarise this product review in one sentence: ..."}

Kumpulan thread yang tetap berada dalam batas

Untuk sebagian besar skrip, ThreadPoolExecutor adalah jalur terpendek. Klien OpenAI aman untuk dibagikan di antara thread, dan pekerjaan ini terikat jaringan, sehingga thread cocok. Atur ukuran pool ke batas konkurensi Anda, tidak lebih tinggi: worker tambahan hanya mengumpulkan error 429.

import json, os
from concurrent.futures import ThreadPoolExecutor, as_completed
from openai import OpenAI

client = OpenAI(api_key=os.environ["API_KEY"], base_url="https://api.unfilteredvideo.com/v1", max_retries=0)
MODEL = "uncensored"
WORKERS = 8          # use 2 on a trial key

def run_one(row):
    resp = client.chat.completions.create(
        model=MODEL,
        temperature=0.2,
        max_tokens=200,
        messages=[{"role": "user", "content": row["text"]}],
    )
    return {
        "id": row["id"],
        "output": resp.choices[0].message.content,
        "in": resp.usage.prompt_tokens,
        "out": resp.usage.completion_tokens,
    }

rows = [json.loads(line) for line in open("input.jsonl")]
with ThreadPoolExecutor(max_workers=WORKERS) as pool, open("output.jsonl", "a") as out:
    futures = [pool.submit(run_one, r) for r in rows]
    for f in as_completed(futures):
        out.write(json.dumps(f.result()) + "\n")
        out.flush()

Versi ini tidak memiliki retry dan tidak ada resume, jadi itu adalah titik awal. Klien dibuat dengan max_retries=0 pada klien karena SDK melakukan retry sendiri secara default, dan Anda ingin satu tempat yang memiliki aturan retry. Dua bagian berikutnya menambahkan aturan itu dan logika resume.

Tangani 429 dengan benar

Ada tiga jenis 429 pada API ini, dan mereka memerlukan reaksi yang sedikit berbeda:

  • rate_limited: Anda mengirim terlalu banyak permintaan dalam satu menit. Perlahan. Kumpulan dengan lebih sedikit worker, atau tidur singkat, memperbaikinya.
  • concurrency: terlalu banyak permintaan yang sedang berjalan pada satu waktu. Kumpulan Anda lebih besar dari batas Anda, atau Anda memiliki stream terbuka yang Anda lupa.
  • Beban berlebih sementara: 429 dengan header Retry-After: 5. Tidak ada yang salah dengan kode Anda. Tunggu waktu yang dinyatakan dan coba lagi.

Satu helper retry mencakup ketiganya. Ini menunggu Retry-After saat ada dan jika tidak melakukan backoff secara eksponensial dengan sedikit jitter. Permintaan yang gagal dan ditolak tidak dikenakan biaya, sehingga retry gratis.

import random, time
import openai
from openai import OpenAI

client = OpenAI(api_key=__import__("os").environ["API_KEY"], base_url="https://api.unfilteredvideo.com/v1", max_retries=0)
MODEL = "uncensored"

def call_with_retry(messages, attempts=6):
    for n in range(attempts):
        try:
            return client.chat.completions.create(model=MODEL, messages=messages, max_tokens=200)
        except openai.RateLimitError as e:
            wait = e.response.headers.get("Retry-After")
            delay = float(wait) if wait else min(60, 2 ** n) + random.random()
            print("429", getattr(e, "code", None), "waiting", round(delay, 1), "s")
            time.sleep(delay)
        except (openai.APIConnectionError, openai.APITimeoutError):
            time.sleep(min(30, 2 ** n))
    raise RuntimeError("gave up after %d attempts" % attempts)

Jangan melakukan retry secara buta pada setiap error. 400 berarti permintaan Anda salah, misalnya tubuh lebih dari 8 MB atau pesan yang tidak valid, dan mengirimkannya lagi akan gagal dengan cara yang sama. Log dengan id baris dan lanjutkan.

Versi async dengan semaphore

Jika skrip Anda sudah berjalan di loop acara, atau Anda ingin memberi makan layanan web, gunakan AsyncOpenAI dan asyncio.Semaphore yang membatasi permintaan yang sedang berjalan. Semaphore memainkan peran ukuran pool.

import asyncio, json, os
from openai import AsyncOpenAI

client = AsyncOpenAI(api_key=os.environ["API_KEY"], base_url="https://api.unfilteredvideo.com/v1", max_retries=0)
MODEL = "uncensored"
sem = asyncio.Semaphore(8)

async def run_one(row, out):
    async with sem:
        resp = await client.chat.completions.create(
            model=MODEL,
            max_tokens=200,
            messages=[{"role": "user", "content": row["text"]}],
        )
    out.write(json.dumps({"id": row["id"], "output": resp.choices[0].message.content}) + "\n")
    out.flush()

async def main():
    rows = [json.loads(l) for l in open("input.jsonl")]
    with open("output.jsonl", "a") as out:
        await asyncio.gather(*(run_one(r, out) for r in rows))

asyncio.run(main())

Bungkus panggilan dalam logika retry yang sama seperti di atas, menggunakan await asyncio.sleep sebagai gantinya time.sleep. Satu peringatan: gather dengan puluhan ribu coroutine membuatnya semua sekaligus. Untuk input yang sangat besar, proses file dalam irisan beberapa ribu baris.

Jalankan kembali batch yang dapat dilanjutkan

Pekerjaan panjang gagal dengan cara yang membosankan: laptop tidur, koneksi terputus, Anda menekan Ctrl+C. Karena setiap baris yang selesai ditambahkan ke output.jsonl dengan id-nya, melanjutkan berarti melewati id yang sudah Anda miliki.

import json, os
from openai import OpenAI

client = OpenAI(api_key=os.environ["API_KEY"], base_url="https://api.unfilteredvideo.com/v1")
MODEL = "uncensored"

def done_ids(path="output.jsonl"):
    if not os.path.exists(path):
        return set()
    return {json.loads(line)["id"] for line in open(path) if line.strip()}

finished = done_ids()
todo = [r for r in map(json.loads, open("input.jsonl")) if r["id"] not in finished]
print(len(finished), "done,", len(todo), "to go")

Berikan todo ke salah satu pool di atas. Buka file output dalam mode append, bukan mode tulis, atau restart akan menghapus kemajuan Anda. Juga tulis error ke file kedua, errors.jsonl, sehingga Anda dapat menjalankan ulang hanya kegagalan setelah membaca mengapa mereka gagal.

Untuk output yang dapat diulang di seluruh jalankan ulang, lewati seed tetap bersama dengan temperature rendah. Seed diteruskan ke model bersama dengan top_p, stop dan penalti.

Uji pada irisan kecil terlebih dahulu

Jalankan 20 baris sebelum Anda menjalankan 20.000. Pilih baris yang mencakup kasus terburuk Anda: input terpanjang, satu dengan karakter aneh, satu yang kosong. Baca output dengan mata, periksa bahwa usage sesuai dengan estimasi biaya Anda, dan konfirmasi bahwa helper retry berperilaku dengan sementara meningkatkan jumlah worker di atas batas Anda. Anda harus melihat 429 dengan kode concurrency di log, tunggu, dan retry berhasil. Lebih baik melihat itu pada 20 baris daripada menemukannya pada baris 9.000.

Jika pekerjaan memerlukan output terstruktur, tambahkan mode JSON dengan response_format={"type": "json_object"}, deskripsikan kunci dalam prompt, dan uraikan setiap balasan di dalam blok try. Hitung kegagalan parsing selama irisan tes. Tingkat di atas satu atau dua persen biasanya berarti prompt memerlukan skema yang lebih jelas, dan itu lebih murah untuk diperbaiki sekarang daripada menjalankan ulang nanti. Baris yang gagal parsing pergi ke errors.jsonl dengan id mereka, dan logika resume memperlakukan mereka sebagai belum selesai.

Akhirnya, atur batas waktu klien yang sesuai dengan output terpanjang yang diharapkan. SDK menerima timeout=60 pada klien atau per permintaan; permintaan yang macet yang tidak pernah kembali akan menahan salah satu dari 8 slot Anda selama itu ada di sana.

Menentukan ukuran pool dan memperkirakan waktu

Throughput dibatasi oleh dua hal: konkurensi dibagi dengan waktu yang dibutuhkan satu permintaan, dan batas permintaan per menit. Pada kunci penuh, batasnya adalah 300 per menit, yang berarti 5 per detik. Jika permintaan khas memakan waktu 2 detik, 8 pekerja menghasilkan 8 / 2 = 4 permintaan per detik, atau 240 per menit, yang berada di bawah batas. Jika permintaan memakan waktu 1 detik, 8 pekerja akan mencoba 8 per detik dan mencapai batas, sehingga tambahkan penundaan kecil atau terima error 429 sesekali yang diserap oleh pembantu retry Anda.

Pada 4 per detik, 10.000 baris membutuhkan 2.500 detik, sekitar 42 menit. Pada kunci uji coba, dengan 2 permintaan konkuren dan 60 per menit, batasnya adalah 1 per detik, sehingga 10.000 baris yang sama akan membutuhkan 10.000 detik, hampir 2 jam 47 menit. Dalam praktiknya, kredit uji coba $0,50 akan habis sebelum itu, yang membuatnya menjadi tempat yang baik untuk menguji skrip pada beberapa ratus baris dan bukan tempat untuk menjalankan produksi.

Berapa biaya batch besar

Harga adalah $0,15 per 1M token input dan $0,50 per 1M token output. Ambil pekerjaan gaya klasifikasi: 50.000 baris, masing-masing sekitar 200 token input dan 100 token output.

  • Input: 50.000 × 200 = 10.000.000 token, yang merupakan 10 × $0,15 = $1,50.
  • Output: 50.000 × 100 = 5.000.000 token, yang merupakan 5 × $0,50 = $2,50.
  • Total: $4,00, atau $0,00008 per baris.

Skrip di atas mencatat in dan out untuk setiap baris, sehingga Anda dapat menghitung angka yang sama dari batch nyata Anda. Header respons X-Balance-USD juga menunjukkan sisa kredit, dan X-Request-Id adalah apa yang harus dikutip jika Anda meminta bantuan di halaman dokumentasi atau dukungan.

Saldo prabayar diisi dalam satuan dolar utuh mulai dari $20 hingga $500, dengan bonus +5% dari $50, +10% dari $100, dan +15% dari $200, dibayar menggunakan kripto (USDT di jaringan TRC20 atau USDC di jaringan Base). Saldo tidak pernah habis. Halaman harga memuat detail lengkap. Catatan untuk data sensitif: prompt tidak digunakan untuk pelatihan.

Tanya jawab

Apakah API memiliki endpoint batch?

Tidak. Ini menyediakan penyelesaian chat dan daftar model. Anda melakukan batching dengan menjalankan banyak permintaan normal secara bersamaan dari kode Anda sendiri, dengan batas 8 permintaan bersamaan dan 300 per menit untuk satu kunci penuh.

Berapa banyak thread yang harus saya gunakan?

Gunakan 8 pekerja pada kunci penuh dan 2 pada kunci uji coba, sesuai dengan batas konkurensi. Pekerja lebih banyak hanya akan menghasilkan error 429 dengan kode konkurensi.

Apa yang harus saya lakukan saat mendapatkan HTTP 429?

Tunggu nilai Retry-After jika respons memilikinya, jika tidak lakukan penundaan selama beberapa detik, lalu coba lagi. Permintaan yang gagal tidak dikenakan biaya, sehingga mencoba lagi tidak memerlukan biaya.

Bisakah saya melakukan streaming respons dalam pekerjaan batch?

Anda bisa, tetapi sebaiknya tidak. Permintaan yang dialirkan memegang slot konkurensi hingga stream berakhir, yang menurunkan throughput. Matikan streaming untuk pekerjaan batch.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah URL dasar. Itu saja pengaturan lengkapnya.

Dapatkan kunci API