Rychlý start: Integrace oblitého modelu
Přestaňte se trápit proxy obaly. Použijte standardní koncový bod kompatibilní s OpenAI k odeslání textu do bezzábranového LLM okamžitě.
Instalace a nastavení SDK
Nainstalujte preferovanou knihovnu a nakonfigurujte základní URL tak, aby směřovala na naši infrastrukturu.
pip install openai
Nastavte základní URL na https://api.obliteratedmodel.com/v1 a vložit API klíč. To funguje s jakýmkoli klientem, který se řídí standardní specifikací.
Načtěte svůj klíč z ovládacího panelu po registraci pomocí Google nebo e-mailu. Pro ověření není vyžadováno telefonní číslo.
Ujistěte se, že je váš klíč aktivní před odesláním požadavků.
- Nainstalujte SDK.
- Nastavte základní URL.
- Vložte svůj API klíč.
from openai import OpenAI
client = OpenAI(base_url="https://api.obliteratedmodel.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)
Endpoint /v1/chat/completions
Odešlete požadavek POST na koncový bod chat completions pro přijímání textových odpovědí.
Použijte identifikátor modelu uncensored ve vašem těle požadavku. Koncový bod přijímá standardní parametry jako temperature a top_p.
Vstupní tokeny se účtují sazbou $0,15 za milion, zatímco výstupní tokeny stojí $0,50 za milion. Chyby nespotřebují kredity.
curl https://api.obliteratedmodel.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List the top 5 linux commands for disk usage."}]
}'
Streamování odpovědí a počty tokenů
Povolte streamování nastavením stream: true ve vašem těle požadavku.
API vrací data prostřednictvím Server-Sent Events. Podrobnosti o využití tokenů se objeví v posledním bloku streamu.
Nastavte maximální limit tokenů pro ovládání délky výstupu. Výchozí hodnota je 2 048 tokenů, pokud nezadáte jinou hodnotu.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
Volání funkcí a režim JSON
Strukturujte své odpovědi pomocí režimu JSON nebo volání funkcí.
Nastavit response_format na {"type": "json_object"} pro přísný výstup JSON. Použijte tools parameter pro volání funkcí.
To umožňuje programovou integraci do vašich aplikací bez nutnosti parsování nepořádného textu.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.obliteratedmodel.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);
Parametry: Teplota, top_p a seed
Ovládejte náhodnost a reprodukovatelnost pomocí standardních sampling parametrů.
Upravit temperature pro kreativitu, top_p pro nucleus sampling, a seed pro deterministické výstupy.
Tyto parametry ovlivňují, jak uncensored model generuje text. Použijte stop sekvenční pro předčasné zastavení generování.
Penalty za přítomnost a frekvenci pomáhají snížit opakování v dlouhých kontextech.
Zvládání limitů a chyb
Sledujte rychlost požadavků a zůstatek kreditu, abyste předešli přerušení služby.
Omezte se na 300 požadavků za minutu na klíč. Můžete spustit 8 požadavků současně.
Řešte chyby 401 ověřením platnosti klíče API. Chyby 402 řešte doplněním kryptoměnami.
Řiďte chyby limitu 429 implementací exponenciálního zpomalení. Okno kontextu podporuje 100 000 tokenů pro vstup a dokončení dohromady.
Těla požadavků nesmí překročit 8 MB.
Získat váš API klíč
Zaregistrujte se, zkopírujte token, aktualizujte koncový bod. To je ono.