Ein Team aus sieben KI-Agenten – ein Türsteher, der deine Idee schärft, vier Fachleute (Marktforschung, Finanzen, Recht, Technik), dazu Kritiker und Gesamtbewertung – prüft deine Idee, hinterfragt sich gegenseitig und einigt sich auf ein klares Urteil: GO, Kein GO oder Eskalation. Du gibst jeden Schritt frei; wie das im Detail läuft, steht unter „So funktioniert's". Und wie ein fertiges Ergebnis aussieht, zeigt dir ein echtes Beispiel-Ergebnis — bevor du einen Schlüssel anlegst.
Consilium ist ein Team aus sieben KI-Agenten, das deine Geschäftsidee prüft – wie ein Investoren-Gremium: ein Türsteher, vier Fachleute (Markt, Finanzen, Recht, Technik), ein Kritiker und eine Gesamtbewertung, koordiniert von einem Orchestrator aus festem Programmcode. Die Fachleute analysieren unabhängig, kontrollieren sich gegenseitig und einigen sich auf ein Urteil: GO, Kein GO oder Eskalation. Ist sich das Team nicht sicher genug, sagt es das ehrlich – und übergibt die Entscheidung an dich. Der Unterschied zu einem Chat mit ChatGPT & Co.: Hier ist der Prüfprozess garantiert und nachprüfbar – jede Idee durchläuft dieselben Stationen, die Qualitätssicherung ist fest eingebaut, und jeder Schritt steht im Protokoll.
Dauer & Kosten zur Einordnung: Ein vollständiger Referenzlauf (Juli 2026, eine Bewertungsrunde) dauerte rund 14 Minuten und kostete etwa 1 US-Dollar (≈ 217.000 Tokens) über den eigenen Schlüssel. Wie ein fertiges Ergebnis aussieht, zeigt das echte Beispiel-Ergebnis – ganz ohne Schlüssel. Wichtig während eines Laufs: das Browserfenster offen lassen – bei Verbindungsabbruch bricht der Lauf ab (Ausnahme: Pausen mit Rückfrage warten geduldig).
Dies ist der MVP (= Minimal-Version zum Ausprobieren) „Geschäftsidee-Bewerter" der Solution Group Multiagentensysteme – ein echtes Multi-Agenten-System: Mehrere spezialisierte KI-Agenten bewerten eine Geschäftsidee aus verschiedenen Fachperspektiven und verdichten ihre Analysen zu einer nachvollziehbaren Gesamtempfehlung. Statt einer Theorie-Diskussion gibt es einen lauffähigen Prototyp, an dem Orchestrierung, Werkzeuge, Qualitätssicherung, Geschwindigkeit und Nachvollziehbarkeit konkret sichtbar werden.
Diese Anwendung ist die LangGraph-Umsetzung des Konzepts. LangGraph ist im Konzeptpapier der Solution Group die strategische Referenzarchitektur für kontrollierte, zustandsbehaftete Orchestrierung – also für genau das, was man für ein prüfbares, auditierbares Agenten-System braucht.
Chatbot, Workflow, Agent – die Begriffe verschwimmen oft. Das Konzeptpapier grenzt fünf Evolutionsstufen ab. Entscheidend ist jeweils: Wer steuert den Lösungsweg?
Erst wenn alle drei Fragen mit Ja beantwortet sind, ist es ein echtes Multi-Agenten-System – kein geteilter Chat, in dem ein Modell nacheinander Rollen spielt.
Multi-Agenten-Systeme treten in wiederkehrenden Mustern auf. Eine gute Plattform muss mehrere davon abbilden können – sonst ist sie auf ein einziges Demo-Format überangepasst.
Diese Anwendung realisiert das Expertenrat-Muster (De-Bono), orchestrator-vermittelt: Ein Orchestrator beauftragt vier Fach-Analysten (Markt, Finanzen, Recht, Technik), sammelt ihre Analysen, prüft Qualitäts-Gates und lässt einen Business-Agenten eine Gesamtempfehlung synthetisieren. Der Ausbau folgt den drei Runden des Konzepts:
Die „De-Bono-Falle": Ein System, das nur dieses eine Muster kann, wäre überangepasst. Die Architektur bleibt bewusst offen für Fließband-, Bienenstock- und Revisor-Muster.
Ein vorgelagerter Idee-Aufnahme-Agent schärft zunächst die Eingabe (bessere Idee → bessere Analysen) – mit Human-in-the-Loop wartet die Analyse an einer Prüf-Karte auf deine Freigabe. Dann koordiniert der Orchestrator die spezialisierten Fach-Agenten. Sie bewerten die Geschäftsidee nacheinander, wobei die Gesamtbewertung auf den Ergebnissen der vier Analysen (Markt, Finanzen, Recht, Technik) aufbaut – nachdem ein Kritiker deren Confidence (= wie sicher sich ein Agent seiner eigenen Analyse ist) unabhängig geprüft hat und die Fach-Agenten sich in einer anonymen Peer-Kreuzbewertung gegenseitig bewertet und schwach bewertete Analysen überarbeitet haben. Zum Schluss prüft der Orchestrator Quality Gates und stellt ein Urteil samt Audit-Trail zusammen:
Am Ende liefert der Orchestrator ein Verdict (GO / Kein GO / Eskalation), Quality Gates (Confidence-Schwellen inkl. Peer-Kopplung, Rechts-Ampel, techn. Machbarkeit) und einen nachvollziehbaren Audit-Trail.
Klar getrennte Verantwortungsbereiche – das macht die Architektur als Blaupause übertragbar. Die Schritte laufen bewusst nacheinander, nicht parallel: Spätere Analysen bauen auf früheren auf (die Finanzanalyse rechnet z. B. mit den Marktzahlen der Marktforschung weiter). An zwei Stellen (🧑) sitzt der Mensch in der Schleife.
Konfidenz- & Peer-Review-Schwelle (per ⚙️-Panel oder ENV einstellbar): Jeder Agent bewertet selbst, wie sicher er sich ist. Damit diese Zahl nicht reine Selbsteinschätzung bleibt, prüft ein unabhängiger Kritiker (Revisor-Muster) die Analysen auf Belegbarkeit und Konsistenz und validiert die Confidence. Anschließend bewerten die vier Fach-Agenten die anonymisierten fremden Analysen gegenseitig (Peer-Score, deterministisch aggregiert). Für das Confidence-Gate zählt am Ende immer der schlechtere der beiden Werte (min(eigene Confidence, Peer-Score)) – eine hohe Selbsteinschätzung, die die Peers nicht bestätigen, passiert das Gate also nicht. Liegt eine Analyse unter der Peer-Schwelle (Default 0,70) oder meldet ein Peer einen Kern-Widerspruch zwischen zwei Analysen (auch bei gutem Score), läuft eine Debatte + Nachbesserung (max. 3 Runden). Bleibt danach ein Wert unter der Konfidenzschwelle (Default 0,70), ist die Rechts-Ampel „Rot" oder die technische Machbarkeit „Kritisch", eskaliert das System an einen Menschen – ein bewusstes Sicherheitsnetz. Das gilt jedoch nur für ein bislang positives Urteil: Ist das Business-Urteil bereits „Kein GO", bleibt es „Kein GO" (das Quality-Gates-Panel führt den gerissenen Gate weiterhin als „Eskalation").
Drei Wertarten steuern den Ablauf – Confidence (0–1, Selbstsicherheit), Score (1–10, fachliche Bewertung) und Status (kategoriales Urteil). Alle Bänder und Rubriken stehen wörtlich in den System-Prompts; der Status muss zum Score passen. In der Ergebnis-Übersicht oben erscheinen die vier Fach-Dimensionen als Score bzw. Rechts-Ampel und die Confidence des Gesamturteils als Kachel „Urteils-Sicherheit" – gemeint ist, wie belastbar das Urteil ist (die geprüfte Gesamt-Confidence), nicht IT-/Datensicherheit.
| Confidence | Bedeutung |
|---|---|
0,80–1,00 | belegt, konsistent, vollständig |
0,60–0,79 | solide, einzelne unbelegte Zahlen |
0,30–0,59 | wesentliche Lücken |
< 0,30 | kaum belastbar |
| Score 1–10 | → Status |
|---|---|
| Finanzen 1–3 / 4–6 / 7–10 | Nicht tragfähig / Bedingt / Tragfähig |
| Technik 1–3 / 4–7 / 8–10 | Kritisch / Machbar mit Risiken / Machbar |
| Markt 1–3 / 4–5 / 6–7 / 8–10 | kein Markt … groß & differenzierbar |
| Recht (Ampel) | Rot / Gelb / Grün |
Eine Confidence unter 0,70 (Kritiker-geprüft, mit dem Peer-Score als min(eigene, Peer) gekoppelt) reißt das Gate → Eskalation (ein bereits entschiedenes „Kein GO" bleibt „Kein GO"; das Gate-Panel bleibt trotzdem „Eskalation"). Für ein GO müssen alle vier Dimensionen tragfähig sein (Markt ≥ 6/10, Finanzen nicht „Nicht tragfähig", Recht ≠ Rot, Technik ≠ Kritisch), jede geprüfte Confidence ≥ 0,70 liegen und es darf kein Konflikt aus dem Peer-Review offen sein (viertes Gate).
Statt dass ein einzelner Richter über die Qualität entscheidet, bewerten die vier Fach-Agenten sich gegenseitig – nach dem Vorbild von Andrej Karpathys „LLM Council", von uns an mehreren Stellen verschärft. Der Ablauf einer Runde:
Abschaltbar per ENABLE_PEER_REVIEW=false – dann greift die frühere Ein-Richter-Mechanik (Kritiker-Nachbewertung) als Fallback.
Diese Version ist das Ergebnis eines strukturierten Qualitätschecks. Wir legen offen, was der Auslöser war, was sich geändert hat und woher die Ideen stammen – Nachvollziehbarkeit ist Teil der Blaupause.
Eine vollständige Lesung aller Kerndateien (Lead + sechs unabhängige Analyse-Agenten) deckte ehrliche Schwächen auf: die Konvergenz hing an einem einzelnen Richter; die Analysen selbst wurden nie überarbeitet (die Diskussion änderte nur Zahlen, keine Berichte – „eingefrorene Analysen"); einige Fach-Tools lieferten Demo-Konstanten (inzwischen auf Live-Recherche umgestellt); und mehrere Quality Gates prüften nur negativ (fail-open-Form).
Das Peer-Review-Muster ist an Andrej Karpathys „LLM Council" angelehnt, aber gezielt verbessert: strukturell unmögliche Selbst-Bewertung (Anonymisierung + Selbst-Ausschluss), durchgängig Structured Outputs statt Regex-Parsing und ein konsequent fail-closed gerechneter Aggregat-Score. Alle Entscheidungen wurden gemeinsam am 06.07. getroffen.
Primärquellen im Repository: TECHDOKU_QUALITAETSCHECK_2026-07-06.md (Befunde des Qualitätschecks) und SPEC_PEER_REVIEW_KONVERGENZ_2026-07-06.md (Spezifikation der Peer-Review-Schleife).
Nach einem vollständigen Audit aller System-Prompts (AGENTEN_PROMPT_ANALYSE_2026-07-07.md) wurden die Anweisungen in acht Paketen präziser gemacht – der Ablauf blieb gleich:
SubmitCriticReview/SubmitRescore) statt Text-JSON – kein Regex-Parsen mehr.Die Recherche-Agenten arbeiten nicht bei null: Marktforschung (immer als erster Analyse-Schritt) und Technik (bei Bedarf) konsultieren einen wachsenden Markdown-Wissensspeicher – frühere Erkenntnisse, SaaS-Benchmarks und Compliance-Wissen liegen als Notizen bereit und fließen über das Werkzeug search_memory in die Bewertung ein. Nach jedem abgeschlossenen Lauf schreibt das System eine kurze Learning-Notiz zurück, sodass der Speicher mit jeder Bewertung reicher wird.
Bewusst datei-basiert statt RAG: einfache Markdown-Dateien wie in einem Zettelkasten – transparent, versionierbar und ohne Embedding-Infrastruktur. Der Marktforschungs-Agent ergänzt seinen Bericht bei Treffern um den Abschnitt „Aus dem Wissensspeicher".
Verhalten und Betrieb steuert man über Umgebungsvariablen (z. B. in Coolify hinterlegbar) – ganz ohne Code-Änderung. Wichtig: Keys (Anthropic, Perplexity), Modell/Effort je Agent und LangSmith-Tracing setzt du stattdessen pro Sitzung im ⚙️-Panel; diese übersteuern die gleichnamigen Variablen. In Coolify brauchst du daher nur die Verhaltens-/Sicherheits-Variablen. Die vollständige Referenz:
| Variable | Default | Zweck |
|---|---|---|
USE_LLM | true | Läufe aktivieren (ohne Key bzw. false → kein Lauf, es gibt keinen Demo-/Mock-Modus) |
REQUIRE_BYOK | true | Nur der in den Einstellungen hinterlegte Key wird genutzt (kein ENV-Fallback) |
ANTHROPIC_MODEL | claude-sonnet-4-6 | Standard-Modell (pro Agent in den Einstellungen übersteuerbar) |
RESEARCH_MODEL … BUSINESS_MODEL | = Standard | Modell je Agent (auch in der UI wählbar) |
ANTHROPIC_EFFORT · <AGENT>_EFFORT | medium | Reasoning-Effort (low/medium/high/xhigh/max) je Agent, in der UI „Standard (Medium)"; Haiku ohne Effort, Sonnet ohne xhigh |
CONFIDENCE_THRESHOLD | 0.70 | Mindest-Confidence je Agent; darunter → Eskalation |
ENABLE_PEER_REVIEW | true | Anonyme Peer-Kreuzbewertung + Konvergenzschleife (Default); false → alte Ein-Richter-Mechanik |
PEER_SCORE_THRESHOLD | 0.70 | Peer-Score-Schwelle für Konvergenz; darunter → Debatte + Nachbesserung |
PEER_MIN_VALID | 2 | Mindestzahl valider Peer-Bewertungen je Analyse, sonst fail-closed (Score 0,0) |
PEER_GATE_ENABLED | true | Confidence-Gate koppelt min(eigene Confidence, Peer-Score) |
ENABLE_REASSESS | true | Schwach bewertete Analysten überarbeiten Analyse + Confidence wirklich |
MAX_DISCUSSION_ROUNDS | 3 | Max. Runden der Konvergenzschleife, danach Abbruch → Eskalation |
DISCUSSION_THRESHOLD | 0.70 | Nur Fallback-Modus (ENABLE_PEER_REVIEW=false): löst weitere Diskussionsrunden aus |
INTAKE_QUESTION_THRESHOLD | 0.75 | Readiness darunter (+ HITL) → Idee-Aufnahme stellt Rückfragen |
ENABLE_CRITIC | true | Kritiker-Agent aktiv (validiert die Confidence unabhängig) |
CRITIC_MAX_DOWNGRADE | 0.30 | Maximale Confidence-Abwertung durch den Kritiker (Aufwertung gesperrt) |
PERPLEXITY_API_KEY / PERPLEXITY_MODEL | — / sonar | Echte Recherche für den Marktforschungs-Agenten |
MEMORY_DIR / MEMORY_WRITE | memory_store / true | Wissensspeicher-Pfad & Learning-Notizen schreiben |
ANTHROPIC_MAX_TOKENS | 4000 | Token-Limit pro Aufruf (Bericht + strukturierte Ausgabe) |
APP_PASSWORD | — | Passwortschutz der gesamten Oberfläche |
APP_AUTH_ENABLED | true | Master-Schalter für den Passwortschutz: false schaltet ihn AUS (Seite frei zugänglich), ohne APP_PASSWORD löschen zu müssen; wieder true/entfernen → Schutz an |
LANGCHAIN_TRACING_V2 / LANGCHAIN_API_KEY | — | Optionales LangSmith-Tracing |
SubmitAnalysis, SubmitPeerReview, SubmitCriticReview, SubmitRescore) – kein fragiles Text-/Regex-Parsen.APP_PASSWORD) mit ablaufendem, signiertem Session-Token; Eingriffs-Ziele beim Fortsetzen gegen eine Whitelist geprüft.MEMORY_WRITE=false.CONFIDENCE_THRESHOLD, PEER_SCORE_THRESHOLD, MAX_DISCUSSION_ROUNDS).CRITIC_MAX_DOWNGRADE, ENABLE_PEER_REVIEW) und Betrieb/Sicherheit (APP_PASSWORD, REQUIRE_BYOK, USE_LLM, MEMORY_WRITE …).APP_PASSWORD; alles andere kommt aus der UI. ANTHROPIC_API_KEY/PERPLEXITY_API_KEY in Coolify sind unter REQUIRE_BYOK=true für Web-Läufe wirkungslos.Die vollständige Liste aller Variablen samt Vorrangs-Tabelle steht in der README des Repositories („Einstellungen: Web-UI vs. Coolify").
Die Finance-Werkzeuge rechnen deterministisch aus den Annahmen des Agenten und legen die Herleitung offen; die Markt-/Wettbewerbs-/Pricing-/Rechts-Tools recherchieren live (Perplexity, wenn ein Perplexity-Key hinterlegt ist; sonst Anthropic-Modellwissen, gekennzeichnet; sonst n/a). In den Tests wird die LLM-Grenze gestubbt (deterministisch) – geprüft wird die Orchestrierung.
Alle Frameworks werden mit demselben Beispiel geprüft, damit die Ergebnisse vergleichbar sind:
Die Solution Group Multiagentensysteme baut diesen MVP als Blaupause: Jedes Mitglied soll danach ein eigenes Multi-Agenten-System nach demselben Muster aufsetzen können. Nach einer strukturierten Bewertung von zwölf Frameworks fiel die Entscheidung bewusst auf LangGraph – ausschlaggebend war die Nachvollziehbarkeit: Jeder Schritt, jede Zwischenentscheidung und jeder Werkzeug-Aufruf der Agenten ist einsehbar, ohne dass man das selbst nachbauen müsste. Das Claude Agent SDK war einer der geprüften Finalisten. Diese Anwendung ist die LangGraph-Referenzumsetzung. Ziel ist eine Live-Demo für die Solution Group.
Quelle: Konzeptpapier „Auswahl einer Multi-Agenten-Plattform", Solution Group (A. Friedrich). Technische Rohdaten jedes Laufs über den „Technik"-Schalter, die rohe API unter /docs.
Kurze Antworten in Alltagssprache – ganz ohne Technik-Vorwissen. Klicke auf eine Frage, um die Antwort aufzuklappen.
ChatGPT ist ein einzelner Gesprächspartner, der dir in einem Rutsch antwortet. Hier analysieren vier Fachleute getrennt (Markt, Finanzen, Recht, Technik), benoten sich gegenseitig anonym und müssen schwache Analysen wirklich überarbeiten; ein Kritiker darf Bewertungen nur senken, nie schönen. Am Ende prüfen feste Regeln das Urteil – und wenn das Team unsicher ist, bekommst du kein geschöntes Ergebnis, sondern eine ehrliche Übergabe an dich.
Ja – KI-Analysen können Fehler enthalten, auch hier. Deshalb ist jedes Urteil begründet und im Protokoll nachprüfbar, bei Unsicherheit sagt das System ehrlich „Eskalation" statt ein GO vorzutäuschen, und du kannst jederzeit eingreifen. Es ist eine Entscheidungshilfe, kein Ersatz für die eigene Prüfung.
Die Agenten arbeiten nacheinander, recherchieren live im Web und benoten sich anschließend gegenseitig; schwach bewertete Analysen werden überarbeitet und neu benotet – standardmäßig bis zu drei Runden. Jede zusätzliche Runde verlängert die Laufzeit direkt. Gründlichkeit geht hier vor Tempo; wenn es schneller gehen soll (z. B. für eine Vorführung), kannst du in den Einstellungen die maximale Rundenzahl auf 1 begrenzen – das verkürzt den Lauf deutlich. Zur Einordnung: Ein vollständiger Referenzlauf (Juli 2026, eine Bewertungsrunde) dauerte rund 14 Minuten. Zum Vergleich: Ein menschliches Expertenpanel braucht dafür Wochen.
Die Anwendung selbst kostet nichts – du zahlst nur die KI-Nutzung über deinen eigenen Schlüssel. Nach jedem Lauf zeigt die Ergebnis-Übersicht die geschätzten Kosten und verbrauchten Tokens (= Abrechnungseinheiten der KI). Konkretes Beispiel: Ein vollständiger Referenzlauf (Juli 2026) kostete rund 1 US-Dollar bei etwa 217.000 Tokens. Je nach Rundenzahl und Modellwahl liegt ein Lauf typischerweise zwischen unter einem und wenigen US-Dollar.
Nein – jeder Lauf ist echt, mit echten KI-Aufrufen über deinen eigenen Schlüssel. Einen Demo- oder Mock-Modus gibt es bewusst nicht: Vorgetäuschte Ergebnisse wären genau die Blackbox, die dieses Projekt vermeiden will. Wer erst einmal nur schauen möchte, findet unter einem echten Beispiel-Ergebnis einen vollständigen, unveränderten Lauf – ganz ohne Schlüssel.
Ein persönlicher Zugangscode für die Claude-KI von Anthropic – du erstellst ihn auf console.anthropic.com (dort hinterlegst du auch Guthaben). Der Schlüssel bleibt in deiner Browser-Sitzung und wird von dieser Anwendung weder gespeichert noch protokolliert.
Deine Idee wird zur Analyse an den KI-Dienst von Anthropic geschickt – über deinen eigenen Schlüssel. Hast du zusätzlich einen Perplexity-Schlüssel hinterlegt, gehen auch Recherche-Anfragen mit Kernbegriffen deiner Idee an diesen Suchdienst. Der laufende Bewertungsvorgang selbst liegt nur im Arbeitsspeicher des Servers und ist nach einem Neustart weg. Dauerhaft speichert der Server nur eine kurze Lern-Notiz pro Lauf: die auf rund 150 Zeichen gekürzte Idee, das Urteil, die Sicherheit und die Rechts-Ampel. Wichtig zu wissen: Diese Notiz liegt im gemeinsamen Wissensspeicher der Installation – spätere Bewertungen (auch anderer Nutzer derselben Instanz) können auf sie stoßen. Für vertrauliche Ideen kann der Betreiber das Mitschreiben abschalten. Anthropic verwendet Eingaben über die API standardmäßig nicht zum Training seiner Modelle. Dein Schlüssel wird weder gespeichert noch protokolliert.
GO: Alle vier Fachbereiche (Markt, Finanzen, Recht, Technik) tragen und alle Beteiligten sind sicher genug. Kein GO: Mindestens ein Fachbereich trägt nicht – fachlich begründet. Eskalation: Das System ist sich nicht sicher genug und gibt die Entscheidung bewusst an einen Menschen ab, statt zu raten – das ist kein Fehler, sondern ein Qualitätsmerkmal. Beispiel aus einem echten Testlauf: Markt- und Finanzanalyse lagen mit 63 % bzw. 57 % unter der 70-%-Schwelle und vier Widersprüche blieben offen – also Eskalation statt eines geratenen Urteils.
Jeder Agent gibt an, wie belastbar seine eigene Analyse ist (0–100 %) – nach festen Kriterien: Sind die Zahlen belegt oder geschätzt? Ist die Analyse in sich stimmig? Für ein GO müssen alle Agenten über 70 % liegen, und es zählt immer der schlechtere von zwei Werten: die Selbsteinschätzung oder die Note der anderen Agenten. Liegt einer darunter, wird eskaliert. 70 % ist dabei die Mindestschwelle – ein Urteil mit genau 70 % hat gerade so bestanden; je höher, desto belastbarer.
Nein – und genau davon geht das System aus. Zunächst zur Entstehung der Zahl: Sie ist kein „Gefühl" des Modells, sondern eine Selbst-Benotung nach fester Rubrik – wie ein Schüler, der seine Arbeit gegen einen Bewertungsbogen hält: Wie viele Kernzahlen sind mit Quelle belegt, wie viele nur geschätzt? Sind Annahmen offengelegt? Ist die Analyse in sich stimmig? Das Ergebnis muss in feste Bänder einsortiert werden (z. B. „belegt und konsistent" = 80–100 %, „solide mit Lücken" = 60–79 %).
Trotzdem könnte die KI sich zu wohlwollend benoten – deshalb steht die Zahl nie allein: Ein Kritiker prüft sie nach denselben Kriterien und darf sie ausschließlich senken, nie anheben. Drei anonyme Kollegen-Agenten benoten die Analyse unabhängig dagegen. Und am Ende zählt immer der schlechteste Wert aus Selbst- und Fremdeinschätzung – Schönreden kann das Ergebnis also nur verschlechtern, nie verbessern. Dass das funktioniert, zeigt unser Referenzlauf: Das System ließ sich selbst durchfallen (Finanzanalyse 57 %, Marktanalyse 63 %) und eskalierte ehrlich an den Menschen. Vertrauen entsteht hier nicht durch die Zahl, sondern durch die Kontrollen um sie herum.
Richtig, es sind zwei verschiedene Wachen, die zufällig denselben Standardwert haben (beide vom Betreiber einstellbar). Die Peer-Score-Schwelle wirkt mitten im Lauf: Bekommt eine Analyse von den drei anonymen Kollegen-Bewertungen im Schnitt weniger als 70 % – oder meldet ein Bewerter einen echten Widerspruch zwischen zwei Analysen –, gibt es eine Aussprache, der betroffene Agent bessert nach, und es wird neu benotet. Sie entscheidet also, ob nachgearbeitet wird.
Die Konfidenzschwelle wirkt ganz am Ende als erstes Quality Gate: Für jeden Agenten muss der schlechtere Wert aus Selbsteinschätzung und Kollegen-Note mindestens 70 % erreichen, sonst gibt es kein GO, sondern die Übergabe an den Menschen. Sie entscheidet, ob dem Urteil zu trauen ist. Im Bild: Die eine ist die Nachprüfung während der Klausur („zu schwach – nochmal!"), die andere die Bestehensgrenze am Ende. In unserem Referenzlauf haben beide unabhängig angeschlagen: Die Kollegen-Noten lagen zwar alle über 70 %, aber vier Widersprüche blieben offen und zwei Selbsteinschätzungen (57 % und 63 %) rissen die Bestehensgrenze – also Eskalation.
Dagegen gibt es drei Sicherungen: Die Benotung ist anonym (niemand kann sich selbst loben, niemand schont einen Kollegen), ein eigener Kritiker darf Bewertungen ausschließlich senken, und am Ende zählt stets der schlechtere Wert aus Selbst- und Fremdeinschätzung. Bleibt der Streit bestehen, entscheidet ohnehin ein Mensch.
Mit hinterlegtem Perplexity-Schlüssel recherchieren die Agenten live im Web und nennen ihre Quellen. Ohne Schlüssel greift das Modellwissen der KI – dann wird das ausdrücklich gekennzeichnet. Zahlen ohne Quelle müssen die Agenten als eigene Schätzung markieren.
Ja, an zwei Stellen: Vor dem Start zeigt dir die Prüf-Karte, wie das System deine Idee verstanden hat – du korrigierst und gibst frei. Und mitten im Lauf kannst du Wissen einspeisen („In meiner Branche kostet ein Kunde 120 €, nicht 50 €") – das System wiederholt dann wirklich alle betroffenen Analysen.
Nein. Jeder Agent ist eine eigene, getrennte Anfrage an die KI mit eigenem Wissenskontext und eigenen Werkzeugen – der Marktforscher sieht die Finanzanalyse beim Schreiben gar nicht, sondern erst später, anonymisiert, als Gutachter. In der Technik-Ansicht lässt sich das nachprüfen: getrennte Anfragen, getrennte Werkzeuge, getrennte Abrechnungen.
Nein. Du brauchst nur deinen Anthropic-Schlüssel (und optional einen Perplexity-Schlüssel für die Live-Recherche). LangGraph ist die Technik im Hintergrund – dafür registriert man sich nicht. Das optionale LangSmith-Feld im Einstellungs-Panel ist nur für Nutzer, die die Abläufe in ihrem eigenen LangSmith-Konto auswerten wollen.
Nein – die Agenten laufen auf Claude-Modellen von Anthropic. Du kannst in den Einstellungen pro Agent ein anderes Claude-Modell und den Denk-Aufwand wählen, aber keinen anderen Anbieter. Perplexity ist kein Sprachmodell des Systems, sondern nur die Quelle der Live-Websuche. Andere Anbieter wären eine denkbare Erweiterung.
Nein, bewusst nicht. Die Agenten analysieren frei nach ihrer Fachrolle – mit echten Werkzeugen: Die Finanz-Kennzahlen (Kundenkosten, Kundenwert, Break-even) werden mit richtigen Formeln gerechnet, nicht von der KI geschätzt. Der Anwendungsfall „Geschäftsidee" ist absichtlich austauschbar – gezeigt wird das Muster „Expertenrat mit Qualitätssicherung". Das Ergebnis kann als Vorarbeit in eine professionelle Methoden-Bewertung einfließen.
Teilweise: Modell und Denk-Aufwand pro Agent stellst du in den Einstellungen um. Die Rollen, Aufgaben und Werkzeug-Listen der Agenten sind dagegen fest eingebaut – wer andere Agenten will, baut nach der Blaupause ein eigenes System.
Wir haben zwölf Werkzeuge gesichtet und vier Finalisten nach acht Kriterien bewertet – darunter Transparenz, Eingriffsmöglichkeiten für Menschen, Datenschutz/Betrieb in der EU und Lernkurve. Die Entscheidung fiel bewusst auf LangGraph, weil dort die Nachvollziehbarkeit von Haus aus mitkommt: Man kann jeden Schritt, jede Zwischenentscheidung und jeden Werkzeug-Aufruf der Agenten einsehen, ohne das selbst nachbauen zu müssen. Andere Werkzeuge liefern beeindruckende Ergebnisse, legen aber den Weg dahin nicht offen. Für ein System, dessen Urteil man prüfen können soll, war das der Ausschlag – Transparenz schlägt Magie.
Stimmt – die großen Chat-Produkte orchestrieren intern längst auch: Bei Deep-Research-Anfragen starten sie Unterprozesse, nutzen Werkzeuge, parallelisieren Suchen. Der Mehrwert liegt also nicht darin, DASS mehrere Agenten arbeiten, sondern WIE: sichtbar, verbindlich und mit Kontrolle. Fünf Unterschiede:
1. Der Prozess ist garantiert, nicht gnädig. Ein Chat-Modell entscheidet selbst, ob es gründlich arbeitet – mal recherchiert es tief, mal antwortet es aus dem Bauch, und nach dem nächsten Update wieder anders. Hier ist der Prüfprozess fest verdrahtet: Jede Idee durchläuft garantiert dieselben Stationen. Das ist der Unterschied zwischen „ein kluger Kollege schaut mal drauf" und „ein definiertes Prüfverfahren wird durchlaufen" – entscheidend, sobald viele Ideen vergleichbar bewertet werden sollen.
2. Qualitätssicherung ist Architektur, nicht Hoffnung. Ein Chat-System hat keinen eingebauten Widerspruch: Es produziert eine plausible Antwort, und niemand benotet sie. Hier ist die Kontrolle institutionalisiert – ein Kritiker, der nur abwerten darf; anonymes Peer-Review, dessen Noten fester Programmcode verrechnet; am Ende zählt das Minimum aus Selbst- und Fremdeinschätzung.
3. Das System darf „Ich weiß es nicht" sagen. Chat-Produkte liefern praktisch immer ein Urteil, auch bei dünner Datenlage. Hier ist Eskalation ein gleichwertiges Ergebnis: Unser Referenzlauf endete genau so – zwei Analysen unter der Sicherheits-Schwelle, also ehrliche Übergabe an den Menschen statt eines geratenen GO.
4. Kontrolle und Nachprüfbarkeit gehören dem Betreiber. Die interne Orchestrierung der großen Produkte ist eine Blackbox – man sieht weder die Zwischenschritte noch kann man Schwellen setzen. Hier: lückenloses Protokoll (jeder Schritt, jedes Werkzeug, jedes Token, die Kosten), einstellbare Schwellen, Werkzeug-Whitelist pro Agent, eigener Schlüssel, eigenes Hosting.
5. Der Mensch ist Prozessschritt, nicht Zuschauer. Im Chat kann man nachträglich widersprechen – dann formuliert das Modell um. Hier ist der Eingriff ein definierter Punkt im Ablauf: Du speist Wissen ein, und die betroffenen Analysen laufen wirklich neu, inklusive neuer Benotung.
Die ehrliche Grenze: Für eine schnelle Einmal-Einschätzung ist ChatGPT besser – schneller, billiger, flexibler. Der Mehrwert entsteht dort, wo ein Urteil wiederholbar, vergleichbar, prüfbar und delegierbar sein muss und Fehler teuer sind. Kurz: Chat-Produkte optimieren auf die beste Antwort – dieses System auf das vertrauenswürdigste Verfahren.
Die Denkhüte waren unser Vorbild – aber sie sind eine Denkmethode: ein Kopf wechselt nacheinander die Perspektive. Hier sind es sieben getrennte Akteure mit eigenem Wissen, eigenen Werkzeugen und echten Daten, die sich gegenseitig benoten und zur Nacharbeit zwingen können. Ein Hut kritisiert keinen anderen Hut – unsere Agenten schon. Und am Ende entscheidet nicht die Moderation, sondern feste Prüfregeln.
Nach jeder Analyserunde bekommt jeder der vier Fachagenten die drei fremden Analysen anonymisiert vorgelegt – nur als „Analyse A, B, C", jede Runde neu gemischt – und vergibt je eine Bewertung zwischen 0 und 100 % nach festen Kriterien: Sind die Zahlen belegt? Sind Annahmen offengelegt? Ist die Analyse in sich stimmig? Die Endnote einer Analyse ist der Durchschnitt der drei Fremdbewertungen – berechnet von festem Programmcode, nicht von einer KI; ab 70 % gilt sie als bestanden. Fällt eine Analyse durch oder widersprechen sich zwei, gibt es eine Aussprache. Der betroffene Agent überarbeitet seine Analyse wirklich, danach wird neu benotet – maximal drei Runden, dann entscheidet ein Mensch.
Bitte nicht – lass das Fenster offen. Die Analyse läuft nur, solange die Verbindung zum Browser steht: Schließt du das Fenster oder lädst die Seite neu, bricht der Lauf ab und der Fortschritt geht verloren. (Einzige Ausnahme: Während einer Pause mit Rückfrage wartet das System geduldig.) Eine Speicherung laufender Bewertungen ist als Ausbaustufe vorgesehen.
Ja. Unter dem Ergebnis gibt es den Knopf „Gesamtes Ergebnis (Markdown)" – eine Textdatei mit Urteil, allen Analysen, offenen Konflikten und Kennzahlen zum Herunterladen. Daraus lässt sich mit jedem Textprogramm auch ein PDF machen. Wer tiefer schauen will, blendet zusätzlich die Technik-Ansicht mit dem vollständigen Ablaufprotokoll ein.
Vier Tore, und alle müssen halten: Jede Analyse muss sicher genug sein (mindestens 70 %), die Rechts-Ampel darf nicht auf Rot stehen, die technische Machbarkeit darf nicht „kritisch" sein, und es darf kein Streit zwischen den Agenten offen geblieben sein. Diese Tore sind die letzte, feste Kontrolle durch den Orchestrator. Davor schlägt die Gesamtbewertung das Urteil nach fachlichen Regeln vor – etwa ob der Markt attraktiv genug ist und die Finanzen tragfähig sind. Die Schwelle von 70 % legt übrigens der Betreiber fest, nicht die KI – sie ist einstellbar. Reißt ein Tor, gibt es nie ein GO, sondern die ehrliche Übergabe an den Menschen.
Stell dir eine Kochshow mit sieben Starköchen vor – das sind die KI-Agenten: jeder ein Genie in seinem Bereich. Der Orchestrator ist der Küchenchef-Plan an der Wand: keine Person, kein Genie, sondern ein fest aufgeschriebener Ablauf. Er kocht nie selbst und trifft keine kreativen Entscheidungen – er macht nur drei Dinge: Er sagt, wer als Nächstes dran ist; er prüft am Ende feste Regeln (simple Vergleiche wie „ist 62 % kleiner als 70 %? Ja → Mensch holen"); und er schreibt alles mit, damit man jeden Schritt nachlesen kann. Warum das gut ist: Ein Plan an der Wand entscheidet heute genauso wie morgen – eine KI an dieser Stelle wäre ein launischer Küchenchef. Merksatz: Die KI denkt, aber sie lenkt nicht.
Nacheinander – wie eine Gruppenarbeit, bei der sich vier Leute ein Laptop teilen. Das dauert länger, hat aber einen Grund: Der Finanz-Agent braucht die Marktzahlen des Marktforschers – gleichzeitig gestartet, müsste er sie sich ausdenken. Und „nacheinander" heißt nicht, dass die Agenten nicht miteinander reden: Erst schreibt jeder seinen Teil allein (ohne beim Nachbarn abzugucken, damit unabhängige Meinungen entstehen), dann benoten sie sich gegenseitig anonym, und nur bei Durchfallern oder Widersprüchen wird diskutiert und nachgebessert. Also keine Chatgruppe, in der alle durcheinanderreden, sondern ein Gremium mit Redeordnung. Merksatz: Getrennt heißt nicht gleichzeitig – erst denkt jeder für sich, dann wird geordnet gestritten.
LANGCHAIN_TRACING_V2 etc.). Die Werte bleiben nur in dieser Browser-Sitzung, der Key wird nur pro Abfrage gesendet und nie gespeichert.