Ihre GPUs.
Ihre Modelle.
Eine Steuerungsebene.
Loadcore ist ein verteiltes System, das offene LLMs auf Ihren eigenen GPU-Servern startet, betreibt und steuert. Installieren Sie auf jedem Server einen Agent, stellen Sie Modelle aus einer Konsole bereit und bieten Sie sie Ihrem ganzen Team über eine OpenAI-kompatible API an.
Drei Komponenten. Ein verteiltes System.
Die Steuerungsebene entscheidet, was wo laufen soll. Die Agents setzen es auf Ihrer Hardware um. Ihre Tools sprechen direkt mit den Agents.
Ihr Team verwaltet die Flotte. Die API hält den Zustand und prüft Schlüssel.
Meldet Heartbeats und Status. Betreibt llama.cpp-Instanzen lokal.
Anfragen gehen direkt an den /v1-Endpunkt des Agents, nie über Loadcore.
Loadcore Console
Eine Web-App, um jeden Server zu sehen, Modelle zu laden, Instanzen zu starten, Personen zu verwalten und die Nutzung zu verfolgen.
- +Server, Modelle, Instanzen
- +Mitglieder, Abteilungen, Einladungen
- +persönliche API-Schlüssel
- +persönliche Nutzungsstatistiken
Loadcore API
Mandantenfähiges SaaS, das den Zustand der Flotte, Zugriffsregeln und Schlüssel verwaltet. Es orchestriert und leitet nie Inferenz weiter.
- +Organisationen und Rollen
- +Serververzeichnis über Heartbeats
- +Status von Instanzen und Downloads
- +Schlüsselprüfung pro Modell
Loadcore Agent
Ein einzelnes Go-Binary. Installiert llama.cpp, lädt Gewichte herunter, überwacht Prozesse und stellt /v1 direkt bereit.
- +installiert llama.cpp automatisch
- +GGUF-Downloads mit Fortschritt
- +Health-Checks alle 15 s
- +OpenAI-kompatibel auf :9090/v1
Vom nackten GPU-Server bis zu fließenden Tokens.
Alles, wofür Sie sich früher per SSH auf jeden Server einzeln eingeloggt haben, erledigen Sie jetzt an einem Ort, synchron über die ganze Flotte.
- 01
Registrieren
Fügen Sie in der Konsole einen Server hinzu und erhalten Sie einen einmaligen Serverschlüssel.
servers / new - 02
Verbinden
Starten Sie den Agent. Er installiert llama.cpp und sendet Heartbeats.
./loadcore-agent - 03
Laden
Durchsuchen Sie HuggingFace, wählen Sie eine Quantisierung und laden Sie sie auf den Zielserver.
Q4_K_M 18.6 GB - 04
Bereitstellen
Starten Sie eine Instanz mit Port, Kontextgröße und GPU-Layern.
:8081 ctx 32k ngl 99 - 05
Skalieren
Betreiben Sie dasselbe Modell auf mehr Servern für mehr Durchsatz oder kombinieren Sie Modelle frei.
3 Replikate
Größer als eine GPU.
Eine verteilte Instanz teilt ein Modell mit llama.cpp RPC auf mehrere GPU-Server auf. Betreiben Sie ein Modell mit 70B+ Parametern auf mehreren 24-GB-Karten, die Sie bereits besitzen.
Hält llama-70b-Q8_0.gguf (75 GB) und 24 GB VRAM.
Je 24 GB VRAM, keine Modelldatei nötig.
Eine Instanz, ein Endpunkt, in Ihrem lokalen Netzwerk.
Starten Sie eine Instanz auf einem Hauptserver und wählen Sie "Auf Server verteilen", um RPC-Server hinzuzufügen. Die Konsole zeigt den gemeinsamen GPU-Speicher im Verhältnis zur Modellgröße.
Nur der Hauptserver benötigt die Modelldatei. Die RPC-Server steuern ihren GPU-Speicher bei.
Ein Hauptserver und bis zu 7 RPC-Server pro verteilter Instanz.
Die Server müssen ein schnelles lokales Netzwerk teilen. Jeder RPC-Server nimmt nur Verbindungen vom Hauptserver an.
Das dient dazu, größere Modelle unterzubringen, nicht der Geschwindigkeit. Um Last zu verteilen, betreiben Sie separate Instanzen und wählen zwischen ihnen. Die Größen im Diagramm sind ein Beispiel.
Legen Sie fest, wer welches Modell nutzt.
Ordnen Sie Mitglieder Abteilungen zu und vergeben Sie Modellzugriff pro Abteilung. Jedes Mitglied erhält persönliche API-Schlüssel, und der Agent setzt die Regeln bei jeder Anfrage durch.
| Abteilung | qwen3-coder-next | gpt-oss-120b | gemma-4-31b | gemma-4-26b-a4b |
|---|---|---|---|---|
| Entwicklung | ||||
| Forschung | ||||
| Support | ||||
| Org-Admins |
Entwicklung, Forschung, Support oder was zu Ihrer Organisation passt. Eine Person kann in mehreren sein.
Zugriff wird pro Modell vergeben, sodass ein großes Reasoning-Modell beim Team bleibt, das es braucht.
Werden einmal angezeigt und sind jederzeit widerrufbar. Ein Schlüssel hat die Rechte seines Besitzers, mehr nicht.
Laden Sie Kollegen per E-Mail ein oder lassen Sie jeden selbst ein Konto anlegen.
Ihre Prompts berühren nie unsere Server.
Loadcore trennt Steuerungsverkehr von Inferenzverkehr. Die Steuerungsebene weiß, welche Server und Modelle es gibt und wer sie nutzen darf. Sie sieht nie einen Prompt, eine Antwort oder Modellgewichte.
- Prompts und Antworten
- Gestreamte Antworten
- Bleibt in Ihrem Netzwerk
- Heartbeats und Systeminfos
- Download-Fortschritt und Instanzstatus
- Prüfung der API-Schlüssel, 5 Minuten gecacht
Modellgewichte werden direkt von HuggingFace auf Ihren Server geladen.
Ein Befehl pro Server.
Starten Sie den Agent mit dem Schlüssel, den Sie bei der Registrierung des Servers erhalten haben. Richten Sie dann einen beliebigen OpenAI-Client mit Ihrem persönlichen Schlüssel darauf.
# auf Ihrem GPU-Server
$ ./loadcore-agent \
--api-key="lc_your-server-key" \
--backend-url="https://api.loadcore.io"
Loadcore Agent starting on port 9090
llama.cpp not found, installing latest version...
llama.cpp installed
Agent listening on :9090
OpenAI-compatible API at http://localhost:9090/v1curl http://gpu-ams-01:9090/v1/chat/completions \
-H "Authorization: Bearer $LOADCORE_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "qwen3-coder-next.gguf",
"messages": [{"role": "user", "content": "Hello"}]
}'Der Durchsatz gehört Ihnen.
Eine gemietete H200 mit Llama 4 Maverick unter Loadcore im Vergleich zur Bezahlung pro Token bei gehosteten Modellen. Mischpreis pro 1 Mio. Tokens.
Preise Stand April 2026. Der Mischpreis geht von einem Verhältnis von 50/50 zwischen Ein- und Ausgabe aus. Der Durchsatz beim Selbsthosting hängt von Quantisierung und Kontextlänge ab, und gehostete APIs bieten andere Modellfähigkeiten.
Was läuft von Loadcore auf meinen Servern?
Ein Go-Binary, der Loadcore Agent. Er installiert llama.cpp, lädt GGUF-Modelle nach ~/.loadcore/models und startet und überwacht llama.cpp-Prozesse auf den von Ihnen gewählten Ports.
Laufen meine Prompts über Loadcore?
Nein. Ihre Tools rufen den Agent direkt auf Ihrem Server auf. Die Steuerungsebene erhält nur Heartbeats, Download-Fortschritt, Instanzstatus und Prüfungen der API-Schlüssel.
Welche Hardware brauche ich?
Einen Linux-Server mit einer GPU, die llama.cpp unterstützt. Eigene Racks, ein Server im Rechenzentrum oder eine gemietete Cloud-GPU funktionieren alle gleich.
Welche Modelle kann ich betreiben?
Jedes GGUF-Modell auf HuggingFace, in jeder Quantisierung, die in Ihren VRAM passt. Betreiben Sie unterschiedliche Modelle auf verschiedenen Servern oder dasselbe Modell auf mehreren für mehr Durchsatz.
Wie wird der Zugriff geregelt?
Mitglieder gehören zu Abteilungen, und Abteilungen erhalten Zugriff auf bestimmte Modelle. Organisations-Admins können jedes Modell nutzen. Jede Anfrage enthält einen persönlichen sk-lc-Schlüssel, den der Agent prüft.
Gibt es eine selbst gehostete Steuerungsebene?
Nein. Die Loadcore API ist ein verwalteter, mandantenfähiger Dienst. Nur der Agent läuft in Ihrer Infrastruktur, und dort findet die gesamte Inferenz statt.
Bringen Sie Ihre GPUs zum Arbeiten.
Registrieren Sie Ihren ersten Server und stellen Sie Ihrem Team noch heute ein Modell bereit.