TR ▾

Python ile OpenAI Uyumlu LLM API için Toplu İstekler

LLM API toplu Python işleri için özel bir uç noktaya ihtiyacınız yoktur; hız limitlerine uyan bir işçi havuzu, HTTP 429 için bir yeniden deneme kuralı ve kaldığınız yerden devam edebileceğiniz bir sonuç dosyasına ihtiyacınız vardır. Bu rehber, temel URL'nizi kullanan OpenAI SDK ile bunların üçünü de oluşturur.

Güncellendi

Veri küplerini bir işleme çekirdeğine taşıyan paralel borular, Python'da eşzamanlı toplu istekleri gösterir

Temel noktalar

  • API'nin iki yöntemi vardır: sohbet tamamlamaları ve modeller. Bu nedenle toplu işlem, eşzamanlı istek havuzu ile tarafınızda yapılır.
  • Tam bir anahtar 8 eşzamanlı istek ve dakika başına 300 istek izni verir; deneme anahtarı 2 ve 60 izni verir. Havuzunuzu buna göre ayarlayın.
  • Retry-After üst bilgisini kullanarak 429'da yeniden deneyin ve hız limitini eşzamanlılıktan ayırt edin.
  • Her sonuç tamamlandığında onu bir JSONL dosyasına yazın, böylece bir çökme tüm çalıştırmayı değil, yalnızca dakikaları kaybeder.

Burada toplu işlemenin nasıl çalıştığı

Uç nokta OpenAI uyumludur ve POST /v1/chat/completions ile GET /v1/models sunar. Dosya alan ve daha sonra dönen ayrı bir iş gönderme uç noktası yoktur. Bu nedenle toplu işlem, sınırlar kodunuza gömülü olacak şekilde eşzamanlı olarak çalışan normal istekler üzerinden bir döngüdür. Bu, göründüğünden daha basittir ve size sonuçları sonunda değil, tamamlandıkça verir.

Tasarımı şekillendiren sayılar sınırlardır. Tam bir anahtar dakika başına 300 istek ve 8 eşzamanlı istek izni verir. Deneme anahtarı dakika başına 60 ve 2 eşzamanlı istek izni verir. Maksimum istek gövdesi 8 MB'tır. Akışlı bir istek, akış bitene kadar eşzamanlılık yuvasını tutar, bu nedenle toplu işler için akışı kapalı bırakın.

Neden her şeyi aynı anda göndermiyoruz? Çünkü bir toplu işlem, bir tavanı olan bir verimlilik sorunudur ve bu tavan saygı duymanız gereken şeydir. Python'un oluşturabileceği hızda 5.000 istek gönderen bir döngü, bir duvar 429 yanıtı alır, yeniden denemelerde zaman harcar ve yararlı hataları gürültü altında bırakır. En fazla 8 istek çalışan durumda tutan bir havuz, iş akışını hizmetin izin verdiği hızda ilerletir ve 50 satır veya 500.000 satırınız olsun aynı koddur. Üç parçaya planlayın: sınırlı bir havuz, bir yeniden deneme kuralı ve ekleme modunda bir sonuç dosyası.

Model kimliği uncensored, kimlik doğrulama Authorization: Bearer <key> ve taban URL https://api.unfilteredvideo.com/v1 şeklindedir. Henüz bir anahtarınız yoksa, API anahtarı sayfası tek tıklamayla $0.50 deneme sunar.

Kurulum ve yapılandırma

Python 3.9 veya daha yenisi ve resmi openai paketi gerekir. Anahtarı betiğe değil, bir ortam değişkenine koyun.

pip install openai
export API_KEY="paste-your-key-here"

# quick check that the key and base URL work
curl https://api.unfilteredvideo.com/v1/models -H "Authorization: Bearer $API_KEY"

Model listesi uncensored göstermelidir. Şimdi girdinizi bir JSONL dosyası olarak hazırlayın, her satırda bir nesne, bir id ve işlenecek metin ile. Id, daha sonra devam etmenizi sağlar.

{"id": "r001", "text": "Summarise this product review in one sentence: ..."}
{"id": "r002", "text": "Summarise this product review in one sentence: ..."}

Sınırlar içinde kalan bir iş parçacığı havuzu

Çoğu betik için ThreadPoolExecutor en kısa yoldur. OpenAI istemcisi iş parçacıkları arasında paylaşılması güvenlidir ve iş ağa bağlıdır, bu nedenle iş parçacıkları uygundur. Havuz boyutunu eşzamanlılık sınırınıza ayarlayın, daha yüksek değil: ek işçiler yalnızca 429 hatalarını toplar.

import json, os
from concurrent.futures import ThreadPoolExecutor, as_completed
from openai import OpenAI

client = OpenAI(api_key=os.environ["API_KEY"], base_url="https://api.unfilteredvideo.com/v1", max_retries=0)
MODEL = "uncensored"
WORKERS = 8          # use 2 on a trial key

def run_one(row):
    resp = client.chat.completions.create(
        model=MODEL,
        temperature=0.2,
        max_tokens=200,
        messages=[{"role": "user", "content": row["text"]}],
    )
    return {
        "id": row["id"],
        "output": resp.choices[0].message.content,
        "in": resp.usage.prompt_tokens,
        "out": resp.usage.completion_tokens,
    }

rows = [json.loads(line) for line in open("input.jsonl")]
with ThreadPoolExecutor(max_workers=WORKERS) as pool, open("output.jsonl", "a") as out:
    futures = [pool.submit(run_one, r) for r in rows]
    for f in as_completed(futures):
        out.write(json.dumps(f.result()) + "\n")
        out.flush()

Bu sürümde yeniden deneme ve devam etme yok, bu yüzden başlangıç noktasıdır. SDK varsayılan olarak kendi kendine yeniden dener ve yeniden deneme kuralına tek bir yerden sahip olmanızı istediğiniz için istemci max_retries=0 ile oluşturulur. Sonraki iki bölüm bu kuralı ve devam etme mantığını ekler.

429'u doğru şekilde yönetin

Bu API'de üç tür 429 vardır ve bunlar biraz farklı tepkiler gerektirir:

  • rate_limited: bir dakikada çok fazla istek gönderdiniz. Yavaşlayın. Daha az işçili bir havuz veya kısa bir bekleme süresi bunu düzeltir.
  • concurrency: aynı anda çok fazla istek çalışıyordu. Havuzunuz sınırınızdan daha büyük veya unuttuğunuz açık akışlarınız var.
  • Geçici aşırı yük: Retry-After: 5 üst bilgisi ile bir 429. Kodunuzda bir sorun yok. Belirtilen süreyi bekleyin ve tekrar deneyin.

Bir yeniden deneme yardımcısı üçünü de kapsar. Mevcut olduğunda Retry-After için bekler, aksi takdirde biraz gürültü ile üstel olarak geri çeker. Başarısız ve reddedilen istekler ücretlendirilmez, bu nedenle yeniden deneme ücretsizdir.

import random, time
import openai
from openai import OpenAI

client = OpenAI(api_key=__import__("os").environ["API_KEY"], base_url="https://api.unfilteredvideo.com/v1", max_retries=0)
MODEL = "uncensored"

def call_with_retry(messages, attempts=6):
    for n in range(attempts):
        try:
            return client.chat.completions.create(model=MODEL, messages=messages, max_tokens=200)
        except openai.RateLimitError as e:
            wait = e.response.headers.get("Retry-After")
            delay = float(wait) if wait else min(60, 2 ** n) + random.random()
            print("429", getattr(e, "code", None), "waiting", round(delay, 1), "s")
            time.sleep(delay)
        except (openai.APIConnectionError, openai.APITimeoutError):
            time.sleep(min(30, 2 ** n))
    raise RuntimeError("gave up after %d attempts" % attempts)

Her hatada körlemesine yeniden deneme yapmayın. Bir 400, istekinizin yanlış olduğu anlamına gelir, örneğin 8 MB'ı aşan bir gövde veya bozuk bir mesaj ve bunu tekrar göndermek aynı şekilde başarısız olur. Satır id ile günlüğe kaydedin ve devam edin.

Bir semafor ile asenkron bir sürüm

Betik zaten bir olay döngüsünde çalışıyorsa veya bir web hizmetine beslemek istiyorsanız, AsyncOpenAI ve çalışan istekleri sınırlayan bir asyncio.Semaphore kullanın. Yarı sayıcı, havuz boyutunun rolünü oynar.

import asyncio, json, os
from openai import AsyncOpenAI

client = AsyncOpenAI(api_key=os.environ["API_KEY"], base_url="https://api.unfilteredvideo.com/v1", max_retries=0)
MODEL = "uncensored"
sem = asyncio.Semaphore(8)

async def run_one(row, out):
    async with sem:
        resp = await client.chat.completions.create(
            model=MODEL,
            max_tokens=200,
            messages=[{"role": "user", "content": row["text"]}],
        )
    out.write(json.dumps({"id": row["id"], "output": resp.choices[0].message.content}) + "\n")
    out.flush()

async def main():
    rows = [json.loads(l) for l in open("input.jsonl")]
    with open("output.jsonl", "a") as out:
        await asyncio.gather(*(run_one(r, out) for r in rows))

asyncio.run(main())

Yukarıdaki yeniden deneme mantığını await asyncio.sleep kullanılarak time.sleep yerine sarın. Bir uyarı: gather ile on binlerce eşzamanlı yordam oluşturmak hepsini aynı anda oluşturur. Çok büyük girdiler için dosyayı birkaç bin satırlık dilimlerde işleyin.

Çalıştırmayı devam ettirilebilir hale getirin

Uzun işler sıkıcı şekillerde başarısız olur: bir dizüstü bilgisayar uyur, bir bağlantı kopar, Ctrl+C'ye basarsınız. Her tamamlanan satır, id'siyle output.jsonl dosyasına eklendiğinden, devam etmek zaten sahip olduğunuz id'leri atlamak anlamına gelir.

import json, os
from openai import OpenAI

client = OpenAI(api_key=os.environ["API_KEY"], base_url="https://api.unfilteredvideo.com/v1")
MODEL = "uncensored"

def done_ids(path="output.jsonl"):
    if not os.path.exists(path):
        return set()
    return {json.loads(line)["id"] for line in open(path) if line.strip()}

finished = done_ids()
todo = [r for r in map(json.loads, open("input.jsonl")) if r["id"] not in finished]
print(len(finished), "done,", len(todo), "to go")

Yukarıdaki havuzlardan herhangi birine todo verin. Çıktı dosyasını ekleme modunda açın, asla yazma modunda değil, aksi takdirde bir yeniden başlatma ilerlemenizi siler. Ayrıca hataları ikinci bir dosyaya, errors.jsonl dosyasına yazın, böylece neden başarısız olduklarını okuduktan sonra yalnızca hataları yeniden çalıştırabilirsiniz.

Yeniden çalıştırmalar arasında tekrarlanabilir çıktı için, düşük bir temperature ile birlikte sabit bir seed geçirin. Seed, top_p, stop ve cezalarla birlikte modele iletilir.

Önce küçük bir dilimde test edin

20.000 çalıştırmadan önce 20 satır çalıştırın. En kötü durumlarınızı içeren satırları seçin: en uzun girdi, tuhaf karakterler içeren bir tane, boş bir tane. Çıktıları gözle okuyun, usage'ın maliyet tahmininizle eşleştiğinden emin olun ve işçi sayısını geçici olarak sınırınızın üzerine çıkararak yeniden deneme yardımcısının nasıl davrandığını doğrulayın. Günlükte concurrency koduyla bir 429, bir bekleme ve başarılı bir yeniden deneme görmelisiniz. Bunu 20 satırda görmek, 9.000. satırda keşfetmekten daha iyidir.

İşin yapılandırılmış çıktı gerektirmesi durumunda, response_format={"type": "json_object"} ile JSON modunu ekleyin, anahtarları istemde açıklayın ve her yanıtı bir try bloğu içinde ayrıştırın. Ayrıştırma hatalarını test alt kümesinde sayın. Yüzde bir veya iki üzerindeki bir oran, genellikle istemin daha net bir şema gerektirdiği anlamına gelir ve bu, şimdi düzeltmek daha maliyet etkilidir. Ayrıştırma başarısız olan satırlar, id'leriyle errors.jsonl dosyasına gider ve devam etme mantığı onları tamamlanmamış olarak işler.

Son olarak, en uzun beklenen çıktınıza uygun bir istemci zaman aşımı ayarlayın. SDK, istemcide veya istek başına timeout=60 kabul eder; asla dönmeyen bir takılı istek, orada oturduğu sürece 8 yuvanızdan birini tutar.

Havuzun boyutlandırılması ve zaman tahmini

Verimlilik iki şeyle sınırlıdır: eşzamanlılık bölü bir istek süresi ve istek-dakikası tavanı. Tam bir anahtarda tavan dakikada 300'dür, bu da saniyede 5'tir. Tipik bir istek 2 saniye sürerse, 8 işçi saniyede 8 / 2 = 4 istek veya dakikada 240 üretir, bu da tavanın altındadır. İstekler 1 saniye sürerse, 8 işçi saniyede 8 istek deneyecek ve tavana çarpacaktır, bu nedenle küçük bir gecikme ekleyin veya yeniden deneme yardımcınızın işlediği nadir 429'ları kabul edin.

Saniyede 4 istek hızıyla 10.000 satır 2.500 saniye, yaklaşık 42 dakika sürer. Deneme anahtarında, 2 eşzamanlı istek ve dakikada 60 istek limiti ile, limit saniyede 1 istektir; bu nedenle aynı 10.000 satır 10.000 saniye, neredeyse 2 saat 47 dakika sürer. Pratikte $0.50 deneme kredisi bundan önce bitecektir; bu da betiği birkaç yüz satırda test etmek için iyi bir yer ve üretim çalıştırmak için uygun bir yer değildir.

Büyük bir toplu işin maliyeti

Fiyatlandırma 1M girdi token başına $0.15 ve 1M çıktı token başına $0.50'dir. Bir sınıflandırma türü iş alın: 50.000 satır, her biri yaklaşık 200 girdi token ve 100 çıktı token içerir.

  • Girdi: 50.000 × 200 = 10.000.000 token, bu da 10 × $0.15 = $1.50.
  • Çıktı: 50.000 × 100 = 5.000.000 token, bu da 5 × $0.50 = $2.50.
  • Toplam: $4.00, veya satır başına $0.00008.

Yukarıdaki betik her satır için in ve out kaydeder, böylece gerçek çalıştırmanızdan aynı figürü hesaplayabilirsiniz. X-Balance-USD yanıt üst bilgisi kalan krediyi de gösterir ve X-Request-Id, docs veya destek sayfalarında yardım isterseniz alıntılamanız gereken şeydir.

Kredi, kripto para birimi (TRC20 üzerinde USDT veya Base üzerinde USDC) ile ödenen 20 $ ile 500 $ arasında tam dolar üst bakiyelerle ön ödemelidir. 50 $'dan itibaren +%5, 100 $'dan itibaren +%10 ve 200 $'dan itibaren +%15 eklenir. Hiçbir zaman sona ermez. fiyatlandırma sayfası tam detayları içerir. Hassas veri setleri için bir not: istemler eğitim için kullanılmaz.

Sorular ve cevaplar

API'nin toplu iş uç noktası var mı?

Hayır. Sohbet tamamlamaları ve bir model listesi sunar. Kendi kodunuzdan eşzamanlı olarak birçok normal istek çalıştırarak toplu olarak çalıştırırsınız; tam anahtar için 8 eşzamanlı ve dakika başına 300 istek sınırına kadar.

Kaç iş parçacığı kullanmalıyım?

Tam anahtar için 8, deneme anahtarı için 2 işçi kullanın ve eşzamanlılık limitlerine uyun. Daha fazla işçi, hata kodu eşzamanlılığı nedeniyle 429 hatalarına neden olur.

HTTP 429 hatası aldığımda ne yapmalıyım?

Yanıt varsa Retry-After değerini bekleyin, yoksa birkaç saniye bekleyin ve ardından yeniden deneyin. Başarısız istekler ücretlendirilmez, bu nedenle yeniden denemenin bir maliyeti yoktur.

Toplu iş sırasında yanıtı akış olarak alabilir miyim?

Alabilirsiniz, ancak yapmamalısınız. Akışlı bir istek, akış bitene kadar eşzamanlılık slotunu tutar ve bu da verimliliği düşürür. Toplu işler için akışı kapatın.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve temel URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al