JA ▾

OpenAI互換LLM APIのPythonバッチリクエスト

LLM APIのバッチ処理には、特別なバッチエンドポイントではなく、レート制限を尊重するワーカープール、HTTP 429用の再試行ルール、再開可能な結果ファイルが必要です。このガイドでは、OpenAI SDKをベースURLに指してこれら3つを構築します。

更新

データキューブが処理コアに流れ込む平行なパイプ、Pythonでの並列バッチリクエストの例

主要ポイント

  • APIにはチャット完了とモデルの2つのメソッドがあるため、バッチ処理は同時実行リクエストのプールを使ってお客様側で実行されます。
  • フルキーは最大8つの同時リクエストと1分あたり300件のリクエストを許可します。トライアルキーはそれぞれ2と60です。プールサイズを合わせてください。
  • Retry-Afterヘッダーを使用して429で再試行し、レート制限と同時実行を区別してください。
  • 各結果が完了次第、JSONLファイルに書き込んでください。これにより、クラッシュが発生しても数分の損失で済み、実行全体が失われることはありません。

ここでのバッチ処理の仕組み

エンドポイントはOpenAI互換で、POST /v1/chat/completionsとGET /v1/modelsを提供します。ファイルを受け取って後で結果を返す専用のジョブ送信エンドポイントはありません。したがって、バッチは制限をコードに組み込んだ通常のリクエストのループとして実行されます。これは直感に反するほど単純で、完了した時点で結果が得られるため、終了時まで待つ必要がありません。

設計を形作る数値は制限値です。フルキーでは、同時8件のリクエストと1分あたり300件のリクエストが可能です。トライアルキーでは、同時2件、1分あたり60件です。最大リクエストボディサイズは8 MBです。ストリーミング中のリクエストは、ストリーミング終了まで同時実行数のスロットを保持するため、バッチ処理ではストリーミングをオフにしてください。

なぜ一度にすべてを送信しないのか?バッチは天井があるスループットの問題であり、その天井はあなたが尊重すべきものです。Pythonが生成できる速度で5,000件のリクエストを送信するループは、429レスポンスの壁にぶつかり、再試行に時間を浪費し、有用なエラーをノイズに埋もれさせます。最大8件のリクエストを同時に保持するプールは、サービスが許容する速度で処理を維持し、50行でも500,000行でも同じコードで動作します。3つの要素を計画してください:制限付きプール、1つの再試行ルール、追記形式の結果ファイルです。

モデルIDはuncensored、認証はAuthorization: Bearer <key>、ベースURLはhttps://api.unfilteredvideo.com/v1です。まだキーを持っていない場合は、APIキーページでワンクリックの$0.50トライアルが利用可能です。

インストールとセットアップ

Python 3.9以降と公式のopenaiパッケージが必要です。キーはスクリプトではなく環境変数に格納してください。

pip install openai
export API_KEY="paste-your-key-here"

# quick check that the key and base URL work
curl https://api.unfilteredvideo.com/v1/models -H "Authorization: Bearer $API_KEY"

モデル一覧にuncensoredが表示されるはずです。次に、入力をJSONLファイルとして準備してください。1行に1つのオブジェクト、idと処理するテキストを含めます。idは後で再開するために必要です。

{"id": "r001", "text": "Summarise this product review in one sentence: ..."}
{"id": "r002", "text": "Summarise this product review in one sentence: ..."}

制限内に収まるスレッドプール

ほとんどのスクリプトでは、ThreadPoolExecutorが最短の道です。OpenAIクライアントはスレッド間で共有しても安全であり、作業はネットワークバインドであるため、スレッドが適しています。プールサイズを並列制限に合わせて設定してください。余分なワーカーは429エラーを収集するだけです。

import json, os
from concurrent.futures import ThreadPoolExecutor, as_completed
from openai import OpenAI

client = OpenAI(api_key=os.environ["API_KEY"], base_url="https://api.unfilteredvideo.com/v1", max_retries=0)
MODEL = "uncensored"
WORKERS = 8          # use 2 on a trial key

def run_one(row):
    resp = client.chat.completions.create(
        model=MODEL,
        temperature=0.2,
        max_tokens=200,
        messages=[{"role": "user", "content": row["text"]}],
    )
    return {
        "id": row["id"],
        "output": resp.choices[0].message.content,
        "in": resp.usage.prompt_tokens,
        "out": resp.usage.completion_tokens,
    }

rows = [json.loads(line) for line in open("input.jsonl")]
with ThreadPoolExecutor(max_workers=WORKERS) as pool, open("output.jsonl", "a") as out:
    futures = [pool.submit(run_one, r) for r in rows]
    for f in as_completed(futures):
        out.write(json.dumps(f.result()) + "\n")
        out.flush()

このバージョンには再試行と再開の機能がないため、出発点となります。クライアントはデフォルトでSDKが再試行するため、max_retries=0で生成されます。これは再試行ルールを一元管理するためです。次の2つのセクションで、そのルールと再開ロジックを追加します。

429の適切な処理

このAPIには3種類の429があり、それぞれにわずかに異なる対応が必要です。

  • rate_limited:1分間に送信したリクエストが多すぎます。速度を落としてください。ワーカー数の少ないプール、または短いスリープで解決します。
  • concurrency:同時に進行中のリクエストが多すぎます。プールが制限より大きい、または見落としたストリーミングがあるためです。
  • 一時的な過負荷:Retry-After: 5ヘッダーを含む429。コードに問題はありません。指定された時間を待ち、再試行してください。

1つの再試行ヘルパーがこれら3つすべてをカバーします。存在する場合はRetry-Afterを待ち、そうでない場合はわずかなジッター付きで指数関数的にバックオフします。失敗したリクエストと拒否されたリクエストは課金されないため、再試行は無料です。

import random, time
import openai
from openai import OpenAI

client = OpenAI(api_key=__import__("os").environ["API_KEY"], base_url="https://api.unfilteredvideo.com/v1", max_retries=0)
MODEL = "uncensored"

def call_with_retry(messages, attempts=6):
    for n in range(attempts):
        try:
            return client.chat.completions.create(model=MODEL, messages=messages, max_tokens=200)
        except openai.RateLimitError as e:
            wait = e.response.headers.get("Retry-After")
            delay = float(wait) if wait else min(60, 2 ** n) + random.random()
            print("429", getattr(e, "code", None), "waiting", round(delay, 1), "s")
            time.sleep(delay)
        except (openai.APIConnectionError, openai.APITimeoutError):
            time.sleep(min(30, 2 ** n))
    raise RuntimeError("gave up after %d attempts" % attempts)

すべてのエラーで盲目的に再試行しないでください。400はリクエストに問題があることを意味します(例:ボディが8 MBを超える、メッセージの形式が不正)。再送信しても同じエラーになります。行IDでログに記録して次に進みます。

セマフォを使用した非同期版

スクリプトがイベントループで既に実行されている場合、またはWebサービスにフィードする場合は、AsyncOpenAIと進行中のリクエストを制限するasyncio.Semaphoreを使用してください。セマフォはプールのサイズとしての役割を果たします。

import asyncio, json, os
from openai import AsyncOpenAI

client = AsyncOpenAI(api_key=os.environ["API_KEY"], base_url="https://api.unfilteredvideo.com/v1", max_retries=0)
MODEL = "uncensored"
sem = asyncio.Semaphore(8)

async def run_one(row, out):
    async with sem:
        resp = await client.chat.completions.create(
            model=MODEL,
            max_tokens=200,
            messages=[{"role": "user", "content": row["text"]}],
        )
    out.write(json.dumps({"id": row["id"], "output": resp.choices[0].message.content}) + "\n")
    out.flush()

async def main():
    rows = [json.loads(l) for l in open("input.jsonl")]
    with open("output.jsonl", "a") as out:
        await asyncio.gather(*(run_one(r, out) for r in rows))

asyncio.run(main())

上記の再試行ロジックで呼び出しをラップし、await asyncio.sleepをtime.sleepの代わりに使用してください。注意点として、gatherで数万のコールーチンを一度に生成すると、それらすべてが同時に作成されます。非常に大きな入力の場合は、数千行ずつスライスして処理してください。

実行の再開可能性を確保する

長時間のジョブは退屈な方法で失敗します:ラップトップがスリープする、接続が切断される、Ctrl+Cを押す。完了した各行がoutput.jsonlにid付きで追記されるため、再開するには既にあるidをスキップします。

import json, os
from openai import OpenAI

client = OpenAI(api_key=os.environ["API_KEY"], base_url="https://api.unfilteredvideo.com/v1")
MODEL = "uncensored"

def done_ids(path="output.jsonl"):
    if not os.path.exists(path):
        return set()
    return {json.loads(line)["id"] for line in open(path) if line.strip()}

finished = done_ids()
todo = [r for r in map(json.loads, open("input.jsonl")) if r["id"] not in finished]
print(len(finished), "done,", len(todo), "to go")

上記のどちらのプールにもtodoをフィードします。出力ファイルは追記モードで開き、書き込みモードにしないようにしてください。再起動すると進捗が消去されます。また、エラーを2番目のファイルerrors.jsonlに書き込み、失敗した理由を読んでから失敗のみを再実行できるようにします。

再実行間で再現可能な出力を得るには、低いtemperatureとともに固定のseedを渡してください。シードはtop_p、stop、ペナルティとともにモデルに渡されます。

小さなスライスでテストする

20,000行を実行する前に、まず20行を実行してください。最悪のケースを含む行を選択してください:最も長い入力、特殊な文字を含むもの、空の文字列など。出力を目視で確認し、usageがコスト見積もりと一致しているか確認してください。また、ワーカー数を制限値以上に一時的に上げて再試行ヘルパーの動作を確認してください。ログには、コードconcurrencyの429エラー、待機、そして成功した再試行が表示されるはずです。これは20行で確認しておき、9,000行目で初めて発見するよりも良いでしょう。

ジョブに構造化出力が必要な場合は、response_format={"type": "json_object"}でJSONモードを追加し、プロンプトでキーを記述し、tryブロック内で各返信を解析してください。テストスライス中に解析失敗をカウントします。解析失敗率が1〜2%を超えると、プロンプトのスキーマが不明確であることを意味し、今修正する方が後で再実行するよりも安価です。解析に失敗した行はid付きでerrors.jsonlに書き込まれ、再開ロジックはそれらを未完了として扱います。

最後に、クライアントのタイムアウトを最長の予想出力に合わせて設定してください。SDKはクライアントまたはリクエストごとにtimeout=60を受け入れます。タイムアウトを設定しないと、戻らないリクエストがその場に留まる間、8つのスロットの1つを占有し続けます。

プールのサイズ設定と時間の見積もり

スループットは2つの要因によって制限されます:1つのリクエストにかかる時間に対する同時実行数、および1分あたりのリクエスト制限です。フルキーの場合、制限は1分あたり300件、つまり1秒あたり5件です。典型的なリクエストに2秒かかる場合、8ワーカーは1秒あたり8 / 2 = 4件のリクエスト、つまり1分あたり240件を生成します。これは制限内に収まります。リクエストに1秒かかる場合、8ワーカーは1秒あたり8件を試み、制限に達するため、小さな遅延を追加するか、まれに発生する429を受け入れ、再試行ヘルパーで吸収します。

1秒あたり4件の場合、10,000行は2,500秒、約42分かかります。トライアルキーの場合、並列2、1分あたり60の制限により、1秒あたり1件が上限となるため、同じ10,000行には10,000秒、約2時間47分かかります。実際には、$0.50のトライアルクレジットはその前に尽きるため、これはスクリプトを数百行でテストするには適していますが、本番環境で実行するには適していません。

大規模バッチのコスト

価格は入力トークン100万あたり$0.15、出力トークン100万あたり$0.50です。分類スタイルのジョブを考えます:50,000行、各行約200入力トークン、100出力トークン。

  • 入力:50,000 × 200 = 10,000,000トークン、つまり10 × $0.15 = $1.50。
  • 出力:50,000 × 100 = 5,000,000トークン、つまり5 × $0.50 = $2.50。
  • 合計:$4.00、または行あたり$0.00008。

上記のスクリプトは各行のinとoutを記録するため、実際の処理から同じ数値を計算できます。X-Balance-USDレスポンスヘッダーには残高クレジットも表示され、X-Request-Idはdocsまたはサポートページでヘルプを依頼する際に引用すべきIDです。

クレジットは前払いで、$20から$500の全ドル単位のチャージで、$50以上で+5%、$100以上で+10%、$200以上で+15%のボーナスが付きます。暗号資産(TRC20上のUSDTまたはBase上のUSDC)で支払います。期限はありません。価格ページに詳細が記載されています。機密性の高いデータセットに関する注意点:プロンプトはトレーニングに使用されません。

質問と回答

APIにはバッチエンドポイントがありますか?

いいえ。チャット補完とモデル一覧のみを提供しています。バッチ処理は、ご自身のコードから同時に複数の通常リクエストを実行することで実現します。フルキーの場合、同時実行数は8、1分あたりのリクエスト数は300までです。

どのくらいのスレッド数を使用すべきですか?

フルキーには8つのワーカー、トライアルキーには2つのワーカーを使用し、同時実行数の制限に合わせてください。ワーカーを増やすと、コード concurrency の429エラーが発生するだけです。

HTTP 429エラーが発生した場合はどうすればよいですか?

レスポンスにRetry-After値が含まれている場合はその値を待ち、含まれていない場合は数秒間バックオフしてから再試行してください。失敗したリクエストは課金されないため、再試行にコストはかかりません。

バッチジョブでレスポンスをストリーミングできますか?

可能ですが、お勧めしません。ストリーミングリクエストはストリーミングが終了するまで同時実行数のスロットを占有するため、スループットが低下します。バッチ処理ではストリーミングをオフにしてください。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得