Modelle im Live-Katalog des Gateways

Die Verfügbarkeit wird direkt vom Gateway geladen. Modelle und Fähigkeiten können sich ändern, wenn Knoten hinzukommen oder ausfallen.

Der Live-Modellkatalog wird geladen...

Jedes Modell mit 2 Zeilen Code ansteuern

Tausche einfach `base_url` und `api_key` in deinen bestehenden OpenAI-SDKs aus:

inference_example.py
from openai import OpenAI

client = OpenAI(
    base_url="https://mesh.inetconnector.com/v1",
    api_key="cm_live_your_key"
)

response = client.chat.completions.create(
    model="qwen2.5:7b",
    messages=[{"role": "user", "content": "inference routing"}],
    stream=True
)

for chunk in response:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)