MESSAI Kooperation · Datenbankarbeit · gemessen am 2026-11-16

Wie eine Zahl aus einer Publikation in eine Vorhersage gelangt, und wie weit man ihr trauen kann

Jeder Wert auf einer Partnerseite wurde von einem Modell aus einer Publikation gelesen, bekam einen kanonischen Namen und eine SI-Einheit, wurde gegen physikalische Grenzen geprüft und entweder in den Modellpool aufgenommen oder mit Begründung zurückgehalten. Diese Seite zeigt jeden dieser Schritte, die Zahlen an jedem Schritt mit ihrem Messdatum, was die Produktion erreicht hat und die drei Evaluationen, die das Ergebnis bewerten. Nichts hier ist ein Resultat; es ist der Zustand der Maschinerie.

Bittet um PrüfungDie Zahlen stammen aus der Staging-Datenbank, nur lesend gemessen am 2026-11-16T14:15Z UTC. Produktionszahlen sind aus den Übernahme-Protokollen zitiert, nicht hier gemessen.

Worum wir bitten

Sagen Sie uns, an welchem Schritt eine falsche Zahl durchkäme, oder welche Zahl Sie an der Zahl auf Ihrer Arbeitsbereichsseite zweifeln lässt.

  1. Kommentieren Sie die gemeinte Zeile: Klicken Sie auf eine Zahl oder einen Satz auf dieser Seite, schreiben Sie und senden Sie ab. Kommentare brauchen ein kostenloses Konto.
  2. Eine datierte Zahl ist eine Messung, keine Behauptung: Die Abfrage, die sie erzeugt hat, steht mit ihrem Hash unter der Tabelle, und ein erneuter Lauf weicht ab, weil der Korpus wächst.
  3. „Zurückgehalten“ heißt nie gelöscht. Eine Zeile, die an einem Schritt scheitert, behält Wert, Zitat und Seite; sie wird mit Begründung markiert und aus dem Pool ausgelassen.

Was mit einer Zeile passiert

Acht Schritte laufen in derselben Transaktion, die eine Zeile einfügt, sodass ein Wert nie halb verarbeitet sichtbar wird. Die Wiederholungsskripte wenden dieselben Regeln korpusweit an, wenn sich eine Regel ändert.

  1. Kanonischer Slug. Der Parametername, wie ihn die Publikation schreibt (Faradaic efficiency (FE) for Kolbe products), wird von einem einzigen Mapper, den auch die Wiederholung nutzt, auf einen snake_case-Namen abgebildet (faradaic_efficiency). Ein dem Mapper unbekannter Name behält seinen Rohtext und bekommt keinen Slug.
  2. Katalogverknüpfung. Der Slug verknüpft die Zeile mit ihrer Parameterdefinition, dem Eintrag, den die Katalogseiten und die Priors lesen.
  3. SI-Wert. Der berichtete Wert und seine Einheit werden in die eine Einheit umgerechnet, die für diese Größe gespeichert wird (mW/m², mol/L, …). Eine Einheit, die der Normalisierer nicht kennt, wird mit der Begründung unit_not_convertible zurückgehalten.
  4. Modellierbarkeits-Flag. Eine einzige Entscheidungsfunktion, identisch in TypeScript und Python, sagt, ob die Zeile ein Modell speisen darf.
  5. Grenzen-Prüfung. Ein Wert außerhalb des physikalischen Bereichs seiner Größe (ein pH von 40) verliert das Flag und bekommt eine bounds:-Markierung.
  6. Verifizierer. Eine heuristische Prüfung, dass der Wert in seinem eigenen Zitat vorkommt und innerhalb der Grenzen des Slugs liegt. Zeilen, die der Verifizierer ablehnt, bleiben sichtbar.
  7. Korpusfremd-Prüfung (3. November 2026). Bei einer Publikation, die laut Kopfdaten oder Datensatz kein bioelektrochemisches System behandelt, wird jede Zeile mit off_corpus_paper zurückgehalten. Slug und SI-Wert bleiben erhalten, sodass eine Kolbe-Stromdichte auf der Kolbe-Seite vergleichbar bleibt und nie einen BES-Prior speist.
  8. Modellierungs-Prüfung (16. November 2026). Eine Modellierungs- oder Simulationsarbeit nennt Modelleingaben und simulierte Ergebnisse, keine Messungen; deshalb wird jede Zeile mit modeling_paper zurückgehalten. Die Zeilen bleiben sichtbar und vergleichbar; die Parameterseiten blenden sie aus, bis Leserinnen und Leser sie einblenden.

Der Pool, den die Fitter lesen, ist noch enger: Er lässt zusätzlich doppelte Fakten, Zeilen aus verborgenen Publikationen, Übersichtsartikeln oder Modellierungsarbeiten, physikalische Widersprüche und Patente weg. Am 2026-11-16 enthielt er 27.474 Zeilen zu 233 Parametern aus 1.765 Publikationen.

Der Trichter

Lebende extrahierte Zeilen an jedem Schritt, zu drei Zeitpunkten. „Lebend“ heißt nicht archiviert; gelöscht wird nie.

Schritt24. Okt.26. Okt.am 2026-11-16Änderung seit 26. Okt.Warum es sich bewegt hat
Lebende Zeilen204.076219.023214.201-4.8224.918 Zeilen, deren Einheit keine Einheit war, wurden am 28. Oktober archiviert; der Kolbe-Testlauf fügte 77 hinzu.
Mit kanonischem Slug92.141112.009112.022+13Vom Archivieren unberührt: Diese Zeilen hatten nie einen Slug.
Mit Katalogverknüpfung85.650110.295110.308+13
Mit SI-Wert52.42977.12671.572-5.5542.403 des Rückgangs sind die archivierten Zeilen; 3.162 sind noch nicht erklärt.
Modellierbar31.47547.69744.488-3.2092.814 Zeilen aus korpusfremden Publikationen wurden am 3. November zurückgehalten.
Modellierbar und verifiziert6.40311.69411.518-176Die zurückgehaltenen Zeilen, die den Verifizierer bestanden hatten.
Als korpusfremd zurückgehalten—82.838+2.830Neuer Schritt; 8 im Kolbe-Testlauf, danach der ganze Korpus.
Ausgelieferter Pool——27.474 / 233—Vor und nach dem Zurückhalten gleich: Jede zurückgehaltene Zeile war bereits durch eine andere Regel draußen. Eine am 26. Oktober zitierte Zahl von 45.095 lässt sich mit dieser Abfrage nicht reproduzieren.

15.424 lebende Publikationen; 4.256 davon als korpusfremd markiert; 1.765 mit mindestens einer ausgelieferten Zeile.

Abfrage scripts/collab/measure-pipeline-funnel.sql (sha256 8281dccf8840), nur lesend auf Staging ausgeführt am 2026-11-16T14:15Z UTC.

Modellierungs- und Simulationsarbeiten

Eine Arbeit, die einen Reaktor simuliert, berichtet, was ihr Modell berechnet hat, nicht, was ein Experiment gemessen hat. Seit dem 16. November 2026 hält die Datenbank beides auseinander. Dieser Abschnitt sagt, was geschehen ist, beginnend mit zehn Arbeiten der COMSOL Conference, und wie man mit dem Ergebnis arbeitet.

Was geschehen ist

  1. 7. Oktober 2026: die Prüfung. Die Bitte, die Publikationen der COMSOL Conference wieder aufzunehmen, ergab: Sie waren bereits in der Datenbank, als fehlerhafte Datensätze. 55 Zeilen für zehn Arbeiten, mit Dateinamen als Titeln, Platzhalter-Einträgen und DOIs, die aus Zitaten im PDF-Text geraten waren.
  2. 23. Oktober: die Reparatur, auf Staging. Jede der zehn Arbeiten wurde gegen die erste Seite ihres PDFs und ihre Tagungsseite auf comsol.com geprüft und wurde zu einem Eintrag mit echtem Titel, Autorinnen und Autoren, Tagungsort und Zusammenfassung. 43 Zeilen (Poster, Folien, Kurzfassungen und Kopien derselben Arbeit) wurden mit ihrem Eintrag zusammengeführt, zwei Platzhalter ohne Dokument wurden archiviert. Jede Zeile wurde zuvor in eine Archivtabelle kopiert; nichts wurde gelöscht. Die geratenen DOIs wurden entfernt.
  3. Was die zehn Arbeiten sind. Zwei behandeln mikrobielle elektrochemische Systeme und sind sichtbar: Torrents 2010 (pH und Carbonatpufferung in einer mikrobiellen Laktat-Brennstoffzelle) und Oyetunde 2013 (bioelektrochemische Systeme für die Abwasserbehandlung). Die anderen acht (enzymatische Biobrennstoffzellen, Elektroporation, ein Mikromischer, Durchfluss-Elektrolyseure und weitere) bleiben erhalten, sind als nicht bioelektrochemisch markiert und in der Publikationsliste ausgeblendet.
  4. 16. November: Die beiden Arbeiten wurden erneut gelesen, und daraus folgte eine Regel. Die zweite Lesung ergab 19 Werte für Torrents 2010, alle Ergebnisse des Modells. Einer, ein simulierter pH von 2,06, kam als für die Modellierung nutzbar markiert zurück, als wäre er gemessen worden. Deshalb gilt die Regel nun allgemein: Jeder Wert einer als Modellierung oder Simulation eingestuften Arbeit wird mit der Begründung modeling_paper zurückgehalten. Auf Staging hielt das 395 Zeilen zurück, und der Pool, den die Fitter lesen, ging von 27.726 auf 27.474 Zeilen.
  5. 16. November: Modelle gegen Messungen. Zurückgehaltene Werte verschwinden nicht aus dem Blick. Jede Parameterseite stellt nun die Werte, die Modellierungsarbeiten nennen, neben das, was Experimente gemessen haben, sodass sich ein Modell am gemessenen Bereich prüfen lässt.

Wo es steht

Gezählt auf Staging am 2026-11-18.

WasAnzahl
Publikationen der COMSOL Conference, je ein Eintrag10
Davon zu einem mikrobiellen elektrochemischen System und sichtbar2
Doppelte und unvollständige Datensätze, mit ihrem Eintrag zusammengeführt43
Lebende Publikationen, als Modellierung oder Simulation eingestuft569
Werte, mit modeling_paper zurückgehalten396
Modellwerte, die jede andere Prüfung bestehen253 aus 27 Publikationen, zu 54 Parametern
Beispiel Spannung: gemessen1.904 Werte aus 383 Publikationen; Median 0,36 V; 10. bis 90. Perzentil 0,0327 bis 0,9 V
Beispiel Spannung: von Modellen genannt27 Werte aus 8 Publikationen; Median 0,7 V; 5 unter, 15 in und 7 über dem gemessenen Bereich

Abfrage scripts/collab/measure-modelling-papers.sql (sha256 97c32ede6b47), nur lesend auf Staging ausgeführt am 2026-11-18T12:54Z UTC.

So arbeitet man damit

  1. Auf einer Parameterseite

    Öffnen Sie einen Parameter, zum Beispiel /de/parameters/voltage, und gehen Sie zu „Publikationen, die diesen Parameter berichten“. Werte aus Modellierungsarbeiten fehlen in der Liste, bis Sie „n Werte aus Modellierungsarbeiten anzeigen“ ankreuzen.

  2. Die Karte „Modelle im Vergleich mit Messungen“

    Im selben Abschnitt ordnet eine Karte jeden Modellwert unter, in oder über dem 10. bis 90. Perzentil der gemessenen Werte ein und nennt die Publikation und den Systemtyp, aus denen er stammt. Ein Parameter mit weniger als fünf Messungen bekommt keinen Bereich und keine Einordnung.

  3. Auf einer Publikationsseite

    Eine Modellierungsarbeit zeigt weiterhin jeden Wert, der aus ihr gelesen wurde. Jeder ist markiert mit „Ausgeschlossen: Modellierungs- oder Simulationsarbeit: Modellwerte, keine Messungen“.

  4. Über die API

    /api/parameters/voltage/model-comparison liefert beide Seiten und die Einordnung jedes Modellwerts. /api/parameters/voltage/sources?modeling=hide listet die Publikationen eines Parameters ohne die Modellierungsarbeiten.

  5. Wenn die Einstufung falsch wirkt

    Die Regel sieht auf die Publikation, nicht auf den einzelnen Wert. Bei einer als Modellierung eingestuften Arbeit, die auch eigene Messungen berichtet, werden auch diese zurückgehalten; eine experimentelle Arbeit, die auch eine Simulation berichtet, behält alle ihre Werte. Wenn Sie eines von beidem sehen, kommentieren Sie den Wert. Behoben wird das über die Einstufung der Publikation, nicht über eine Ausnahme im Pool.

Grenzen

  • Nur auf Staging. Die Reparatur, die zweite Lesung und die Zurückhaltung liefen auf Staging (messai.ai). Auf der Produktion (messai.io) sind die zehn Arbeiten noch die früheren fehlerhaften Datensätze, und die Zurückhaltung wurde dort nicht wiederholt; beides sind offene Zeilen in der Tabelle unten.
  • Ein gemessener Bereich für alle Systemtypen. Ein Modell eines Systemtyps wird mit Messungen aller Typen verglichen. Jeder Modellwert zeigt den Systemtyp seiner Publikation, sodass eine Abweichung sichtbar ist.
  • Manche als Modellierung eingestufte Arbeiten behandeln kein mikrobielles System. Unter Spannung erscheint eine Brennstoffzellen-Anlage im Megawattbereich. Ihre Einstufung oder ihr Urteil muss korrigiert werden; die Karte zeigt, was die Datenbank enthält.
  • Das Modell selbst wird nicht erfasst. Geometrie, Netz, Löser-Einstellungen und Randbedingungen werden nicht extrahiert, nur die Werte, die eine Arbeit nennt.

Was die Produktion erreicht hat

Die Produktion wird nie von Hand beschrieben: Eine Änderung ist ein eingechecktes, auf die Projektkennung geprüftes Skript, das zuerst auf Staging lief, dort geprüft wurde und dann nach einer Sicherung auf der Produktion wiederholt wurde. Die offenen Zeilen sind Wiederholungen, die kein Protokoll als ausgeführt verzeichnet.

WasStandWannUmfang
Pipeline-Überholung: Slugs, SI-Werte, Harmonisierung beim Einfügen, additive Kopie der Staging-ZeilenAuf der Produktion26. Okt.+19.053 Zeilen; modellierbar 32.004 → 47.895
Nachfüllen des Volltext-SuchvektorsAuf der Produktion26. Okt.23.598 Publikationen, 0 leer geblieben
Quarantäne „keine Einheit“Auf der Produktion31. Okt.4.918 Zeilen archiviert
Mikrobenkinetik: Wachstumskonstanten, Publikation–Organismus-Verknüpfungen, Elektronentransfer-ZeilenAuf der Produktion31. Okt. und 1. Nov.+1.522 Zeilen
UFZ-Kooperationskorpus (Kolbe- und MES-Kohorten)Auf der Produktion3. Nov.64 Publikationen, 434 Werte, Prüfsummen gleich
Verarbeitungsstand je PublikationOffennicht verzeichnet15.361 Zeilen auf Staging
Anzeigenamen der Parameter (Englisch und Deutsch)Offennicht verzeichnet0 leer auf Staging
Drei geprüfte BES-Urteile (Manifest vom 28. Okt.)Offennicht verzeichnet3 Publikationen
Korpusfremd-Zurückhaltung (Wiederholung der neuen Prüfung)Offennach der Prüfungetwa 2.800 Zeilen
Modellierungs-Zurückhaltung (Wiederholung der neuen Prüfung)Offennach der Prüfung395 Zeilen auf Staging
Publikationen der COMSOL Conference: Reparatur der Datensätze und zweite Lesung der beiden Arbeiten zu mikrobiellen SystemenOffennach der Prüfung55 Zeilen zu 10 Einträgen auf Staging

26. Oktober, 15:50. Nach einem Tag Schreiblast beantwortete die Produktionsdatenbank eine Prüfabfrage in 49,7 s gegenüber 0,59 s auf Staging; die Publikationsliste lief in einen Timeout. Die Rechenstufe wurde angehoben und eine Stichprobenabfrage von 9.972 ms auf 46 ms gekürzt. Regel seitdem: vor jedem Massenlauf die Prüfabfrage ausführen, eine Stufe nach der anderen, nie neben einem Deployment.

29. bis 31. Oktober. Eine Migration für die Anzeigenamen-Spalten wurde zusammengeführt, aber auf der Produktion nicht angewendet; die Parameterseiten antworteten etwa zwei Tage lang mit 500. Regel seitdem: Eine zusammengeführte Migration ist keine angewendete Migration; die Protokolle nennen den Checkout, aus dem sie laufen.

Evaluationen und Benchmarks

Drei eingecheckte Karten, jede offline aus dem Repository neu gebaut, bewerten die Maschinerie von drei Seiten: Steht der extrahierte Wert in der Publikation, trifft das Modell, was die Publikation berichtet, und sind die Vorhersageintervalle ehrlich. Die Zahlen unten wurden am 2026-11-03T15:43Z UTC aus den Karten kopiert.

Extraktion: Steht der Wert in der Publikation?

Präzision ist der Anteil der extrahierten Werte, die der Text der Publikation stützt; Trefferquote ist der Anteil der Goldwerte, die der Extraktor gefunden hat. Der Goldsatz umfasst 20 Publikationen, 6 Parameter, 290 Wahrheitszeilen; noch niemand hat ihn geprüft (0 von 290).

Variante oder AusschnittPräzisionTrefferquote
CMA-Agent v3 (Goldsatz)97 %78,4 %
v2-Ext-Familien, Variante B (Goldsatz)100 %47,3 %
v2 flache Werte, alte Variante A (Goldsatz)60,3 %56,2 %
v1.2-Orchestrator, stillgelegt (Goldsatz)78,3 %7,2 %
Lebende Zeilen, Primärpublikationen95,8 %88,3 %
Lebende Zeilen, v2-Extraktor99,3 %54,7 %
Lebende Zeilen im Modellpool100 %40,6 %

Der Pool ist präzise (nichts Ausgeliefertes ist in diesen 20 Publikationen ungestützt) und verfehlt mehr als die Hälfte dessen, was die Publikationen berichten. Übersichtsartikel erhalten null Punkte, weil jeder Übersichtswert absichtlich als zitiert zurückgehalten wird.

Veröffentlichte Anker: Trifft das Modell die Publikation?

Eine Voreinstellung oder ein API-Aufruf wird gegen den Wert bewertet, den ihre Publikation veröffentlicht hat. Grün liegt innerhalb von 25 %, Gelb innerhalb von 50 %, Rot darüber. Nur die Hauptzeilen wurden nicht zum Abstimmen benutzt; die Übereinstimmung mit den 51 Kalibrierungsvoreinstellungen ist eine Prüfung innerhalb der Stichprobe.

SatzZeilenGrünGelbRotAbgelehnt oder ohne AusgabeMedianfehler
Hauptzeilen, Labor-Sweep (13 Publikationen)17728—27,4 %
Hauptzeilen, API und Chat17405851,6 %
Alle Zeilen, Labor-Sweep84611013—12,4 %

Von den 9 API-Antworten auf die Hauptzeilen lagen 6 berichtete Werte innerhalb des angegebenen Intervalls. Die 7 Ablehnungen sind der Vorhersager, der mangels Eingaben ablehnt, das vorgesehene Verhalten.

Priors: Sind die Intervalle ehrlich?

Abdeckung ist der Anteil der zurückgehaltenen Werte, die ins 95-%-Vorhersageintervall der hierarchischen Priors fallen (v2-holdout-validation-2026-10-28). 95 % ist ehrlich; mehr ist zu weit, weniger ist verzerrt.

MaßWert
Zurückgehaltene Publikationen339
Zurückgehaltene Werte5.269
Beobachtete Abdeckung bei nominal 95 %96,1 %
95-%-Intervall der Abdeckung95,5 % – 96,6 %
Verfehlt nach unten / oben122 / 85
Urteilcalibrated

Etwas zu weit, nicht verzerrt: 122 Werte lagen unter ihrem Intervall und 85 darüber, von 5.269. Die Wissenschafts-Sperre, die einen Push bei einem neuen Fehler blockiert, führt 111 bekannte und 0 neue seit dem 26. Oktober.

Was noch schwach ist

Bekannt, benannt und am 2026-11-16 nicht behoben. Jeder Punkt ist eine Stelle, an der eine Wissenschaftlerin eine falsche oder fehlende Zahl finden könnte.

  1. Eine am 26. Oktober zitierte Poolzahl lässt sich nicht reproduzieren

    Dieselbe Abfrage ergab am 3. November 27.726 Zeilen und ergibt heute 27.474, seit Modellierungsarbeiten ausgenommen sind; die damals zitierten 45.095 wurden anders gemessen. Vor dem Zitieren jeder Poolzahl neu messen.

  2. 3.162 SI-Werte über die Quarantäne hinaus verloren

    Das Archiv erklärt 2.403 des Rückgangs zwischen 26. Oktober und 3. November; der Rest braucht einen Abgleich mit der Sicherung vom 26. Oktober.

  3. 12 Publikationen tragen eine BES-Klasse, sind aber als nicht-BES markiert, ohne geprüftes Urteil

    Sie sind aus dem Pool, bis ein Urteil eingetragen ist. Eine davon, eine biophotovoltaische Arbeit mit 82 Zeilen, wirkt falsch markiert.

  4. Sechs Wiederholungen auf der Produktion nicht verzeichnet

    Verarbeitungsstand, Anzeigenamen, drei BES-Urteile, die Korpusfremd-Zurückhaltung, die Modellierungs-Zurückhaltung und die Reparatur der COMSOL-Conference-Datensätze. Die offenen Zeilen oben.

  5. Neun von elf Kolbe-PDFs noch nicht gelesen

    Der Parametersatz ist ein Vorschlag, den Max Pohl zuerst prüft; die übrigen zu lesen kostet etwa einen US-Dollar.

  6. Fünf Kolbe-Größen haben keine Katalogdefinition

    Säurekonzentration, Kettenlängenzusammensetzung, geflossene Ladung, Produktmenge und Restsäure landen mit Rohnamen und ohne Verknüpfung.

  7. Der Publikationsklassifizierer ist keine Pipeline-Stufe

    Eine über den Wrapper extrahierte Publikation hat keine Klasse, bis jemand die Taxonomie-Synchronisation ausführt. Die Prüfung beim Einfügen deckt den ersten Eintrag ab; die korpusweite Wiederholung braucht weiterhin die Klasse.

  8. Der Pool verfehlt mehr als die Hälfte dessen, was Publikationen berichten

    Trefferquote 40,6 % auf dem Goldsatz bei 100 % Präzision. Der Extraktor liest absichtlich konservativ; der Preis ist Abdeckung.

  9. Der Goldsatz wurde von keinem Menschen geprüft

    290 Wahrheitszeilen wurden maschinell bewertet. Ein Personentag würde aus der Extraktionskarte einen Benchmark machen.

  10. 2.924 Publikationen haben keine Fit- oder Holdout-Rolle

    Eine korpusweite Aufteilung und ein Neufit auf beiden Umgebungen ist eine Entscheidung des Betreibers.

  11. Die Publikationsseite zeigt den Weg nicht

    Rohname, SI-Umrechnung, Extraktor, Lauf und Verifizierer-Begründung einer Zeile sind gespeichert, aber auf /research/paper/… nicht sichtbar; die Ausschlussbegründung ist ein Tooltip. Sie zu zeigen ist die nächste Seitenänderung.

Wo man nachprüft

Alles auf dieser Seite lässt sich aus dem Repository neu ausführen.

  1. Trichter: scripts/collab/measure-pipeline-funnel.sh schreibt den Schnappschuss nur lesend aus Staging neu.
  2. Evaluationskarten: pnpm eval:extraction, pnpm eval:anchors und die Prior-Validierung unter apps/web/public/data/computed/research/; scripts/collab/build-data-evals.ts kopiert sie hierher.
  3. Modellierungsarbeiten: scripts/collab/measure-modelling-papers.sh schreibt diesen Schnappschuss nur lesend aus Staging neu; das Protokoll der Reparatur der COMSOL-Conference-Datensätze ist docs/handoffs/2026-10-07-comsol-conference-papers.md.
  4. Das Pool-Prädikat: libs/data-access/database/src/modelable-pool.ts und sein Python-Zwilling, durch einen Test gleich gehalten.
  5. Übernahme-Protokolle: docs/handoffs/2026-10-11-collab-corpus-prod-promotion.md, docs/handoffs/2026-10-30-microbe-kinetics-prod-promotion.md.
  6. Kolbe-Parametersatz: docs/extraction/2026-11-03-kolbe-extraction-spec.md, das Blatt, das Max Pohl prüft.

Staging gemessen am 2026-11-16T14:15Z UTC; Evaluationskarten kopiert am 2026-11-03T15:43Z UTC. Zahlen driften, während der Korpus wächst; vor dem Zitieren neu messen.