Eigenes KI-Modell nutzen: Kernaro AI mit Ihrem On-Premises-LLM betreiben

Home 9 Kernaro AI 9 Eigenes Modell nutzen

Nutzen Sie die KI-Infrastruktur, der Sie bereits vertrauen. Kernaro AI unterstützt jetzt selbst gehostete LLMs über OpenAI-kompatible APIs und ergänzt damit die bestehende Unterstützung für in der Cloud gehostete LLMs.

Mehr Flexibilität für KI-gestützte Enterprise Architecture

Ihr Enterprise Architect Repository gehört zu den wertvollsten Informationsbeständen Ihrer Organisation. Es enthält Ihre Applikationslandschaft, Geschäftsprozesse, Beziehungen zwischen Systemen, Abhängigkeiten und Pläne für die künftige Weiterentwicklung.

Künstliche Intelligenz verändert, wie Organisationen mit diesen Informationen arbeiten. Mit Kernaro AI können Architekten und Analysten in natürlicher Sprache Fragen zu ihren Repositories stellen, Beziehungen untersuchen, Abhängigkeiten analysieren und unterstützte Enterprise Architect Operationen ausführen.

Kernaro AI unterstützt bereits führende, in der Cloud gehostete Large Language Models (LLMs), darunter OpenAI, Microsoft Azure OpenAI und Anthropic Claude.

Allerdings möchte sich nicht jede Organisation auf ein in der Cloud gehostetes LLM verlassen.

Einige Organisationen betreiben bereits eine eigene KI-Infrastruktur. Andere arbeiten in Umgebungen, in denen Anforderungen an Sicherheit, Datenschutz oder regulatorische Vorgaben für lokal gehostete KI-Modelle sprechen.

Kernaro AI mit einem LLM in Ihrer eigenen Infrastruktur nutzen

Mit der Unterstützung für On-Premises-LLMs über OpenAI-kompatible APIs macht Kernaro AI dies möglich.

Organisationen können Kernaro AI mit ihren selbst gehosteten Sprachmodellen verbinden. Damit erweitert sich die Flexibilität der Plattform über die bestehende Unterstützung für in der Cloud gehostete LLMs hinaus.

Was bedeutet Bring Your Own Model?

Bring Your Own Model (BYOM) bedeutet, ein KI-Modell zu nutzen, das Ihre Organisation selbst ausgewählt, bereitgestellt oder bereits im Einsatz hat, anstatt ausschließlich von einem Modell abhängig zu sein, das ein externer KI-Anbieter hostet.

Anstatt einen weiteren cloudbasierten KI-Dienst einzuführen, können Organisationen Kernaro AI mit ihrer eigenen LLM-Umgebung verbinden. Voraussetzung ist, dass diese eine OpenAI-kompatible API bereitstellt und das ausgewählte Modell die erforderlichen Fähigkeiten unterstützt.

So können Organisationen von Kernaro AI profitieren und zugleich mehr Kontrolle über ihre KI-Infrastruktur, die Modellauswahl und ihre Deployment-Umgebung behalten.

Was ist ein OpenAI-kompatibles LLM?

Vielleicht fragen Sie sich: Bedeutet OpenAI-kompatibel, dass wir OpenAI nutzen oder unsere Daten an OpenAI senden müssen?

Die Antwort lautet nein.

Ein OpenAI-kompatibles LLM nutzt nicht zwangsläufig ein OpenAI-Modell und muss auch nicht mit den Cloud-Diensten von OpenAI kommunizieren.

  • Der Begriff beschreibt lediglich, wie ein KI-Modell mit anderen Anwendungen kommuniziert.
  • Sie können sich dies wie einen standardisierten USB-Anschluss vorstellen.
  • Verschiedene Hersteller produzieren unterschiedliche Geräte, die jedoch über denselben Anschlussstandard kommunizieren können.
  • Ebenso können unterschiedliche KI-Modelle über ein gemeinsames API-Format mit Anwendungen kommunizieren.

OpenAI hat ein API-Format etabliert, das inzwischen auch viele andere KI-Plattformen unterstützen. Wenn eine LLM-Plattform eine OpenAI-kompatible API bereitstellt, können Anwendungen wie Kernaro AI über diese gemeinsame Schnittstelle mit ihr kommunizieren.

Ihre Organisation könnte beispielsweise ein lokal gehostetes LLM auf einer Plattform wie Ollama oder vLLM betreiben. Diese Plattformen können eine OpenAI-kompatible API bereitstellen, über die unterstützte Anwendungen Anfragen an das Modell senden und Antworten empfangen können.

Die wichtige Unterscheidung ist, dass sich OpenAI-kompatibel auf das Kommunikationsformat bezieht, nicht auf den Modellanbieter oder den Hosting-Standort.

Ihr LLM kann auf Ihren eigenen Servern innerhalb Ihrer privaten Infrastruktur laufen, ohne dass ein OpenAI-Abonnement erforderlich ist oder Anfragen an OpenAI übermittelt werden.

Wie arbeitet Kernaro AI mit einem On-Premises-LLM?

Kernaro AI kann sich über eine OpenAI-kompatible API mit dem lokalen LLM der Organisation verbinden.

Ein vereinfachtes Beispiel veranschaulicht den Ablauf:

  1. Ein Anwender stellt eine Frage: Ein Architekt fragt Kernaro AI: „Welche Anwendungen sind von unserem Kundenmanagementsystem abhängig?“
  2. Kernaro AI greift auf das Repository zu: Kernaro AI ruft relevante Elemente und Beziehungen aus dem konfigurierten Enterprise Architect Repository ab.
  3. Das lokale LLM verarbeitet die Anfrage: Kernaro AI kommuniziert mit dem konfigurierten LLM-Endpunkt der Organisation, um die Anfrage zu interpretieren und die relevanten Informationen zu analysieren.
  4. Kernaro AI präsentiert die Ergebnisse: Der Anwender erhält eine KI-gestützte Antwort auf Basis der aus dem Repository abgerufenen Informationen.

Der wesentliche Unterschied liegt darin, wo das KI-Modell die Anfrage verarbeitet.

  • Bei einem in der Cloud gehosteten LLM findet die Inferenz in der Umgebung des ausgewählten Cloud-Anbieters statt.
  • Bei einem On-Premises-LLM findet die Inferenz innerhalb der eigenen Infrastruktur der Organisation statt.

    Wenn Deployment, Netzwerk-Routing und Integrationen so konfiguriert sind, dass sie innerhalb der Organisation bleiben, müssen für den KI-Inferenzprozess keine Repository-Informationen an einen externen LLM-Anbieter übermittelt werden.

    Dies eröffnet Organisationen eine zusätzliche Möglichkeit, KI unter Berücksichtigung ihrer bestehenden Infrastruktur und Sicherheitsrichtlinien einzusetzen.

      Welche On-Premises-LLMs können mit Kernaro AI genutzt werden?

      Kernaro AI ist bei lokal gehosteten LLMs nicht auf einen bestimmten Anbieter beschränkt.

      Die Kompatibilität hängt in erster Linie davon ab, ob das Modell über eine OpenAI-kompatible API erreichbar ist und die von Kernaro AI benötigten Fähigkeiten unterstützt. Viele Plattformen für KI-Deployment und Model Serving bieten diese Möglichkeit.

      Beispiele sind:

      • Ollama: Eine Plattform, die den lokalen Betrieb von Sprachmodellen und deren Bereitstellung für Anfragen erleichtert.
      • LiteLLM: Ein Gateway oder Proxy, der eine einheitliche Schnittstelle für die Kommunikation mit unterstützten KI-Modellen und Diensten bereitstellt.
      • KI-Gateways für Unternehmen: Organisationen können auch eigene interne API-Gateways oder Proxy-Dienste wie Azure API Management nutzen, um den Zugriff auf kompatible LLM-Endpunkte bereitzustellen.

          Diese Plattformen bieten unterschiedliche Ansätze für das Hosting eines LLM, dessen Bereitstellung über eine Schnittstelle oder den Zugriff darauf.

          Eine Organisation, die ihr eigenes Modell über Ollama betreibt, kann beispielsweise einen OpenAI-kompatiblen Endpunkt bereitstellen, auf den Kernaro AI zugreifen kann.

          Ebenso kann eine Organisation mit einer zentralen KI-Plattform ihre Modelle über ein unternehmensweites Gateway bereitstellen, sodass Kernaro AI über das unterstützte API-Format mit ihnen kommunizieren kann.

              Beispiele für LLMs, die mit Kernaro AI getestet wurden

              Im Rahmen unserer internen Evaluierung der Integration von On-Premises-LLMs hat das Kernaro AI Team mehrere Plattformen getestet, darunter:

              • Qwen 3.5 9B
              • Meta Llama 3.1 70B
              • GPT-OSS 120B

                Diese Plattformen unterscheiden sich in ihrer Größe und ihren Fähigkeiten und veranschaulichen die Flexibilität, Kernaro AI mit unterschiedlichen selbst gehosteten KI-Umgebungen zu verbinden. Es handelt sich um Beispiele für KI-Modelle, die unser Team evaluiert hat, und nicht um eine vollständige Liste unterstützter KI-Modelle.

                Kompatibilität und Performance können je nach Modell, Serving-Plattform, API-Implementierung und Hardwarekonfiguration variieren. Organisationen sollten ihr bevorzugtes KI-Modell anhand der vorgesehenen Enterprise Architect Workflows evaluieren.

                    Ist jedes OpenAI-kompatible LLM für Kernaro AI geeignet?

                    Nicht unbedingt. Eine OpenAI-kompatible API ermöglicht Kernaro AI die Kommunikation mit einem Modell, doch die Kompatibilität auf API-Ebene ist nur die erste Voraussetzung.

                    Aufgaben im Bereich Enterprise Architecture erfordern häufig, Repository-Strukturen zu verstehen, zusammenhängende Informationen abzurufen und mehrere Operationen auszuführen, um eine Anfrage vollständig zu bearbeiten.

                    Für ein optimales Nutzungserlebnis sollten Organisationen drei wichtige Fähigkeiten des Modells evaluieren.

                        1. Tool und Funktionen aufrufen

                        • Dies ist eine der wichtigsten Fähigkeiten für Kernaro AI.
                        • Tool Calling ermöglicht einem LLM, bestimmte Funktionen anzufordern, die eine Anwendung bereitstellt.
                        • Wenn ein Anwender Kernaro AI beispielsweise bittet, alle Anwendungen zu identifizieren, die mit einem bestimmten Business Service verbunden sind, muss das Modell möglicherweise Repository-Operationen aufrufen, um die relevanten Elemente und Beziehungen abzurufen.
                        • Ein Modell mit zuverlässigem Tool Calling kann Kernaro AI bei der Koordination dieser Operationen unterstützen.
                        • Ohne ausreichende Unterstützung für Tool Calling funktionieren viele Funktionen, die mit Repository-Informationen arbeiten, möglicherweise nicht wie vorgesehen.

                          2. Zusammenhänge erkennen

                          • Fragen zur Enterprise Architecture können mehr erfordern als die Generierung einer einfachen Textantwort.
                            Ein Beispiel ist die folgende Frage:
                          • „Wenn wir diese Anwendung außer Betrieb nehmen, welche anderen Systeme könnten betroffen sein und welche Abhängigkeiten sollten wir zuerst prüfen?“
                          • Die Beantwortung kann erfordern, mehrere miteinander verknüpfte Elemente zu analysieren, Beziehungen zu interpretieren und Schlussfolgerungen auf Basis der Repository-Informationen zu präsentieren.
                          • Modelle mit ausgeprägteren Reasoning-Fähigkeiten eignen sich im Allgemeinen besser für diese mehrstufigen Workflows.

                          3. Visuelles Verständnis

                            • Einige KI-Anwendungsfälle erfordern das Verständnis von Bildern, Diagrammen oder anderen visuellen Informationen.
                            • Für diese Szenarien sollte das ausgewählte LLM Vision unterstützen, um bildbasierte Eingaben verarbeiten zu können.
                            • Vision ist nicht für jede Kernaro AI Operation erforderlich, jedoch wichtig, wenn der vorgesehene Workflow auf visuellen Inhalten basiert.
                            • Die LLM-Serving-Plattform muss zudem die Weitergabe dieser Eingaben über die kompatible API unterstützen.

                              Ein wichtiger Hinweis: Auch wenn ein LLM eine OpenAI-kompatible API unterstützt, kann die Unterstützung für Tool Calling, fortgeschrittenes Reasoning und Vision unterschiedlich gut ausgeprägt sein.

                              Organisationen sollten das ausgewählte Modell anhand konkreter Enterprise Architect Anwendungsfälle evaluieren, bevor sie es im Regelbetrieb einsetzen.

                              Warum ein On-Premises-LLM wählen?

                              • Mehr Kontrolle über die KI-Infrastruktur
                              • Abstimmung auf Sicherheits- und Compliance-Anforderungen
                              • Mehr Kontrolle über die Datenverarbeitung
                              • Bestehende KI-Infrastruktur weiterverwenden
                              • Flexibilität bei der Modellauswahl

                              Wie gelingt der Einstieg?

                              Wenn Ihre Organisation bereits ein On-Premises-LLM betreibt, beginnt der Einstieg in Kernaro AI mit einigen einfachen Prüfungen.

                              Schritt 1: Prüfen Sie, ob Ihr LLM eine OpenAI-kompatible API bereitstellt

                              • Klären Sie mit Ihrem KI- oder Infrastrukturteam, ob die bestehende LLM-Plattform einen OpenAI-kompatiblen Chat-Completions-Endpunkt bereitstellt, üblicherweise unter einem Pfad wie /v1/chat/completions.
                              • Wenn Ihr Modell derzeit eine proprietäre API nutzt, kann ein geeignetes Gateway oder ein Proxy möglicherweise eine kompatible Schnittstelle bereitstellen.

                                Schritt 2: Überprüfen Sie die Fähigkeiten des Modells

                                • Stellen Sie sicher, dass das ausgewählte Modell Tool Calling oder Function Calling zuverlässig unterstützt.
                                • Bewerten Sie außerdem die Reasoning-Fähigkeiten und, wenn Ihre vorgesehenen Workflows Bilder einbeziehen, die Unterstützung für Vision.

                                  Schritt 3: Konfigurieren Sie den LLM-Endpunkt in Kernaro AI

                                  • Konfigurieren Sie Kernaro AI so, dass es mit dem LLM-Endpunkt Ihrer Organisation kommuniziert, entweder direkt oder über ein freigegebenes Gateway.
                                  • Ihr Infrastrukturteam sollte prüfen, ob der Endpunkt erreichbar ist und die erforderlichen Einstellungen für Authentifizierung und Netzwerksicherheit korrekt konfiguriert sind.

                                  Schritt 4: Testen Sie mit Ihrem Enterprise Architect Repository

                                  Beginnen Sie mit typischen Repository-Aufgaben, zum Beispiel:

                                  • Elemente aus einem ausgewählten Package abrufen.
                                  • Beziehungen zwischen Anwendungen identifizieren.
                                  • Abhängigkeiten zwischen Architekturkomponenten untersuchen.
                                  • Informationen zu einem bestimmten System zusammenfassen.
                                  • Mögliche Auswirkungen von Architekturänderungen analysieren.

                                  Diese Tests helfen festzustellen, ob das ausgewählte Modell Ihre vorgesehenen Kernaro AI Workflows zuverlässig unterstützen kann.

                                    Eine kurze Checkliste für Ihr IT-Team

                                    Prüfen Sie vor der Integration eines On-Premises-LLMs mit Kernaro AI die folgenden Punkte:

                                    1. API-Kompatibilität: Stellt unsere LLM-Umgebung eine OpenAI-kompatible API bereit?
                                    2. Aufruf von Tools und Funktionen: Unterstützt das Modell Tool Calling oder Function Calling zuverlässig?
                                    3. Zusammenhänge: Kann das Modell komplexe, mehrstufige Architekturfragen bearbeiten?
                                    4. Visuelles Verständnis: Unterstützt das Modell bei Bedarf bildbasierte Eingaben?
                                    5. Konnektivität: Kann Kernaro AI aus seiner Deployment-Umgebung sicher auf den LLM-Endpunkt zugreifen?

                                    Wenn diese Anforderungen erfüllt sind, kann Ihre Infrastruktur für die Integration eines On-Premises-LLMs mit Kernaro AI geeignet sein. 

                                    Cloud oder On-Premises: Sie haben die Wahl  

                                    • Jede Organisation hat unterschiedliche Anforderungen an KI-Infrastruktur und Governance.
                                    • Einige bevorzugen in der Cloud gehostete LLMs aufgrund ihrer Zugänglichkeit, Skalierbarkeit und Managed Services.
                                    • Andere bevorzugen lokal gehostete Modelle, um mehr Kontrolle über Infrastruktur, Modell-Deployment und Informationsverarbeitung zu behalten.

                                    Kernaro AI unterstützt beide Ansätze

                                    • Organisationen können weiterhin unterstützte, in der Cloud gehostete LLMs von Anbietern wie OpenAI, Microsoft Azure OpenAI und Anthropic Claude nutzen oder über eine OpenAI-kompatible API ihr eigenes On-Premises-LLM anbinden.
                                    • Diese Flexibilität ermöglicht es Organisationen, KI-gestützte Enterprise Architect Funktionen im Einklang mit ihrer bestehenden Technologiestrategie einzusetzen.

                                      Bereit, Ihr eigenes Modell mit Kernaro AI zu nutzen?

                                      • Die KI-Strategie Ihrer Organisation sollte mit Ihrer Infrastruktur funktionieren, ohne deren Austausch zu erfordern.
                                      • Durch die Unterstützung für On-Premises-LLMs gibt Kernaro AI Organisationen mehr Freiheit bei der Entscheidung, wie sie KI in ihre Enterprise Architect Workflows integrieren.
                                      • Ob Ihre Organisation bereits ein internes LLM betreibt oder eines evaluiert: Das Kernaro AI Team kann Ihnen helfen, die Integrationsanforderungen zu verstehen und einen geeigneten Ansatz zu finden.

                                          Anfrage Sales-Support

                                          Sie haben Fragen zu unserem neuen AI Hub Kernaro AI, zu unseren Tools Enterprise Architect, Pro Cloud Server, Prolaborate oder unserem Software as a Service Angebot? Unser Support-Team hilft Ihnen gerne jederzeit weiter.

                                          Jetzt anfragen