Programme
Vergangener Workshop

Maths for AI Safety Workshop

30. Okt. – 1. Nov. 2026 · Bonn

Unser erstes Workshop-Wochenende, an dem Mathematiker:innen mit Mathematik Probleme der AI Safety erkundet und Kooperationen geknüpft haben, für Promovierende, Postdocs und Lehrende.

Fotos

Gruppenfoto der Workshop-Teilnehmenden im Garten des Universitätsclubs BonnMartin Rusch präsentiert „Why AI safety needs mathematicians“Eine Teilnehmerin spricht während einer DiskussionLuiza Cristina Corpaci präsentiert zu Verifikation und ValidierungTeilnehmende arbeiten gemeinsam an einem LaptopJessica Wang im Gespräch mit Teilnehmenden in einer Pause

Sprecher:innen

  • Lionel LevineCornell University

    Lionel ist Mathematikprofessor an der Cornell University. Seine Forschung soll die Wahrscheinlichkeit erhöhen, dass künftige KI-Systeme der gesamten Menschheit und dem Planeten zugutekommen. Er hat unter anderem daran gearbeitet, wie sich Value Alignment und Charaktereigenschaften von Sprachmodellen messen lassen, an einer Definition von AGI, an einem Benchmark für mathematisches Schlussfolgern, an einer Metrik für die Kohärenz von Überzeugungen und an versteckten Anreizen beim Planen.

    Website
  • Martin RuschSaferAI

    Martin ist Chief Operating Officer bei SaferAI. Er forscht zu systemischen Risiken, die KI für das Finanzsystem mit sich bringt, und zum Risikomanagement für Frontier-Modelle. Zuvor leitete er große Produkt-, Engineering- und Datenteams in Tech-Unternehmen. Er hat in Oxford in theoretischer Physik promoviert (DPhil).

    Website
  • Kyler SiegelImperial College London

    Kyler ist Assistant Professor für Mathematik am Imperial College London und Associate Professor mit Tenure (beurlaubt) an der University of Southern California. Er kommt aus der symplektischen Geometrie, arbeitet aber auch an Projekten zu AI Safety und Interpretability.

    Website
  • Sergei SmirnovUniversity of Helsinki

    Sergei promoviert in Informatik an der University of Helsinki und beschäftigt sich mit empirischer AI Safety und der Evaluation von LLMs. Er hat mehr als 5 Jahre Erfahrung im ML Engineering, hat die öffentliche AI-Values-Demo von CivAI gebaut und Forschungs-Fellowships bei MARS und SPAR absolviert.

    LinkedIn
  • Luiza Cristina CorpaciTU Wien

    Luiza studiert im Master an der TU Wien. Ihr Hintergrund umfasst Chipdesign (Marvell), kombinatorisches Testen (SBA Research, Wien) sowie Interpretierbarkeit und Erklärbarkeit (Universität Wien). Bei AMD arbeitete sie an KI-gestützter Hardwareverifikation und half, Pipelines zu entwickeln, die Spezifikationen in natürlicher Sprache in Code-Artefakte übersetzen, mit formaler Verifikation im Prozess. In ihrer aktuellen Forschung untersucht sie, wie verlässlich KI-generierte formale Spezifikationen sind, insbesondere wie sich Abweichungen zwischen beabsichtigter und formalisierter Bedeutung erkennen und beschreiben lassen.

    Google Scholar
  • Leonardo Costa LesageIliad

    Leonardo ist derzeit Fellow bei Iliad und arbeitet an synthetischen Graphmodellen von Debatten. Er hat an der Juni-Runde des Iliad Intensive teilgenommen. Zuvor verbrachte er ein Jahr in Oxford, wo er die chaotische Dynamik des Dreikörperproblems untersuchte und mit symplektischer Geometrie verknüpfte. Das war Teil des letzten Jahres seines Doppel-Bachelors in Mathematik und Engineering Physics am CFIS (UPC) in Barcelona. Mathematik begeistert ihn seit jeher; in der Schule nahm er an Mathematik-Olympiaden teil.

    LinkedIn
  • Léo DanaInria Paris

    Léo ist ein französischer Mathematik-Doktorand bei Loucas Pillaud-Vivien und Francis Bach im Team Sierra an der Inria Paris. Er möchte Deep-Learning-Systeme mit mathematischen und theoretischen Werkzeugen verstehen, insbesondere während Training und Deployment. Er war Fellow bei MATS 4.0 und Mentor bei ML4Good und unterrichtet das Turing-Seminar im Master MVA.

    Website
  • David PrinzIliad, London Initiative for Safe AI

    David ist mathematischer Physiker und Iliad Fellow an der London Initiative for Safe AI. Er ist in Quantenfeldtheorie ausgebildet, mit Schwerpunkt auf Hopf-algebraischer Renormierung und der BV-BRST-Quantisierung von Eichtheorien. Heute arbeitet er an den mathematischen Grundlagen des maschinellen Lernens, insbesondere an Singular Learning Theory, mit Blick auf theoretische Aspekte von Alignment.

    Website
  • Renata PicciottoUniversity College London

    Renata ist Postdoc am University College London und forscht in enumerativer Geometrie. Außerdem ist sie Iliad Fellow und arbeitet an der Geometrie von ReLU-Netzwerken.

    Website

Ablauf

Fr., 30. Okt. · Abends
  • Lockeres Abendessen mit Teilnehmenden und Orga-Team
Sa., 31. Okt. · Ganztägig
  • Warum AI Safety, und wo Mathematik ins Spiel kommt
  • Mathematische Gebiete mit offenen Problemen verknüpfen
  • Nachmittags Arbeit in Kleingruppen
So., 1. Nov. · Bis mittags
  • Gruppen stellen Ideen und mögliche Projekte vor
  • Nächste Schritte
  • Abschluss, danach gemeinsames Mittagessen in der Stadt auf eigene Kosten

Organisationsteam

  • Jessica P. WangGründerin und GeschäftsführerinSafe AI Germany
  • André VidelaDirektorGlasgow Lab for AI Verification
  • Claudius ZibrowiusProfessor für niedrigdimensionale TopologieBochum University

Veranstaltet von

Safe AI Germany

Finanziell unterstützt von

BlueDot Impact

Künftige Workshops

Abonniere unseren Newsletter, um von künftigen Workshops zu erfahren.

Von künftigen Workshops erfahren
Fotos vom Maths for AI Safety Workshop
Gruppenfoto der Workshop-Teilnehmenden im Garten des Universitätsclubs BonnMartin Rusch präsentiert „Why AI safety needs mathematicians“Eine Teilnehmerin spricht während einer DiskussionLuiza Cristina Corpaci präsentiert zu Verifikation und ValidierungTeilnehmende arbeiten gemeinsam an einem LaptopJessica Wang im Gespräch mit Teilnehmenden in einer PauseEine Teilnehmerin spricht in einer KleingruppeKyler Siegel präsentiert ein Beispiel mit einem kleinen SprachmodellLeonardo Costa Lesage präsentiert „Modelling debate with factor graphs“Léo Dana präsentiert ein Spielzeugmodell für AktivierungsvektorenDrei Teilnehmende stellen die Arbeit ihrer Gruppe vorEin Teilnehmer stellt Arbeitsgruppen zum Mitmachen vorEin Vortrag zum State of AI ReportSergei Smirnov präsentiert zu Fieldbuilding in AI SafetyEin Teilnehmer leitet eine Session zu Kategorientheorie am WhiteboardSergei Smirnov präsentiert „Does thinking longer make LLMs worse?“Drei Teilnehmende im Gespräch an einem TischEin Teilnehmer stellt während eines Vortrags eine FrageJessica Wang, Gründerin von Safe AI Germany, spricht am RednerpultEin Teilnehmer stellt die Arbeitsgruppen und ihre Räume vor