Anleitung: Eigene KI-Anbindung (LLM) in Just Social

In Just Social könnt ihr einen eigenen KI-Anbieter oder eine eigene KI-Lösung anbinden, wenn diese eine OpenAI API kompatible Schnittstelle anbietet.

Voraussetzungen

Für die Anbindung benötigt ihr:

• eine Basis-URL,
• einen API-Key als Bearer-Token,
• den Namen eines Modells.

Die API muss den Endpunkt

POST /chat/completions

unterstützen.

Das verwendete Modell muss außerdem folgende Funktionen unterstützen:

• Chat Completions,
• Streaming mit stream: true,
• Tool Calling beziehungsweise Function Calling.

Der Endpunkt

GET /models

ist optional. Über diesen Endpunkt kann Just Social verfügbare Modelle automatisch abrufen.

Einrichtung

Öffnet in der Admin-App den Bereich:

Anbindungen → KI-Unterstützung

Klickt auf „KI-Zugangsdaten einrichten“ und wählt „Benutzerdefiniert“ aus.

Gebt anschließend einen Namen für die Anbindung, die Basis-URL und den API-Key ein.

Eine Basis-URL sieht häufig folgendermaßen aus:

https://<DOMAIN>/v1

Die genaue Basis-URL erhaltet ihr von eurem KI-Anbieter.

Nach der Eingabe der Zugangsdaten versucht Just Social, verfügbare Modelle über /models abzurufen.

• Werden Modelle zurückgegeben, könnt ihr eines davon auswählen.
• Ist /models nicht verfügbar, könnt ihr den Modellnamen manuell eingeben.

Anschließend prüft Just Social, ob das ausgewählte Modell Chat Completions und Streaming unterstützt.

Hinweis: Durch diese Prüfung können beim jeweiligen Anbieter bereits geringe Kosten entstehen.

Tool Calling wird bei der Einrichtung derzeit noch nicht automatisch geprüft. Mit dem technischen Selbsttest weiter unten könnt ihr auch diese Funktion prüfen.

Manuelle Modelleingabe und Azure

Bis einschließlich Version 26.7.x ist die manuelle Eingabe nur möglich, wenn über /models keine Modelle zurückgegeben werden.

Ab Version 26.8.0 könnt ihr den Modellnamen auch dann manuell eingeben, wenn Just Social bereits Modelle abgerufen hat.

Dies ist insbesondere bei Azure AI und Azure OpenAI wichtig. Azure erwartet bei Anfragen häufig den Namen des Deployments anstelle der eigentlichen Modell-ID. Der Deployment-Name kann von der über /models zurückgegebenen Modell-ID abweichen.

Bis einschließlich Version 26.7.x sollte der Deployment-Name daher möglichst der Modell-ID entsprechen.

Ab Version 26.8.0 könnt ihr einen abweichenden Deployment-Namen manuell eingeben.

Weitere Informationen findet ihr in der Microsoft-Dokumentation:

Microsoft: Azure-OpenAI-Modelle verwenden

Technischer Selbsttest

Mit dem folgenden Befehl könnt ihr prüfen, ob ein Modell Chat Completions, Streaming und Tool Calling gemeinsam unterstützt:

curl -N -X POST "https://<BASIS_URL>/chat/completions" \
  -H "Authorization: Bearer <API_KEY>" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<MODELL_ODER_DEPLOYMENT_NAME>",
    "messages": [
      {
        "role": "user",
        "content": "Rufe das Werkzeug just_social_compatibility_test mit dem Ergebnis ok auf."
      }
    ],
    "tools": [
      {
        "type": "function",
        "function": {
          "name": "just_social_compatibility_test",
          "description": "Prüft die Unterstützung von Tool Calling.",
          "parameters": {
            "type": "object",
            "properties": {
              "result": {
                "type": "string"
              }
            },
            "required": [
              "result"
            ]
          }
        }
      }
    ],
    "tool_choice": "auto",
    "stream": true
  }'

Ersetzt:

• <BASIS_URL> durch die Basis-URL des Anbieters,
• <API_KEY> durch den API-Key,
• <MODELL_ODER_DEPLOYMENT_NAME> durch die Modell-ID oder bei Azure durch den Deployment-Namen.

Der Test ist erfolgreich, wenn die Antwort ohne Fehlermeldung gestreamt wird und einen Toolcall mit folgendem Namen enthält:

just_social_compatibility_test

Wenn der automatische Verbindungstest in Just Social erfolgreich ist, einzelne KI-Funktionen aber trotzdem nicht funktionieren, prüft das Modell mit diesem erweiterten Test.

Kosten und Verantwortung

Just Social stellt die technische Verbindung zum ausgewählten KI-Anbieter bereit.

Das verwendete KI-Modell und die erzeugten Inhalte sind kein Produkt der Just Software AG.

Modelle, Preise, Nutzungslimits und Freischaltungen werden durch den jeweiligen Anbieter festgelegt.

Die Testanfragen und die spätere Nutzung können beim Anbieter Kosten verursachen.