Kann man einem Sprachmodell beim Denken zusehen? In dieser Folge sprechen Sigurd Schacht und Carsten Lanquillon über ein faszinierendes Anthropic-Paper, das einen „Global Workspace" in großen Sprachmodellen nachweist – einen internen Arbeitsbereich, in dem komplexe Denkschritte ablaufen, lange bevor ein Wort ausgegeben wird. Mit der sogenannten J-Lens lassen sich diese latenten Gedanken sichtbar machen, manipulieren und sogar kausal verändern: Wer „Spinne" im Gedankenraum gegen „Elefant" tauscht, bekommt statt acht Beinen plötzlich vier. Außerdem: ein Blick auf die turbulente Modelllandschaft rund um Claude Fable, GPT 5.6 Sol & Co. – und warum agentische Systeme ohne mehrstufige Sicherheitsmechanismen zum Risiko werden.

Support the show

Rückblick auf zwei intensive Wochen: Zuerst auf die erste AI Transparency Conference mit über 100 Teilnehmenden aus aller Welt – von mechanistischer Interpretierbarkeit über Multi-Agenten-Reinforcement-Learning bis zur Frage, warum Sprachmodelle alles andere als neutral urteilen. Und dann der Paukenschlag: Anthropics Fable 5 wird per nationaler Sicherheitsanordnung binnen Stunden für alle Nicht-US-Bürger abgeschaltet. Sigurd Schacht und Carsten Lanquillon sprechen über Steering-Vektoren, Fusion-Architekturen und die unbequeme Frage, wie souverän Europa eigentlich ist, wenn der Zugang zu kritischer KI-Infrastruktur jederzeit entzogen werden 

Support the show

Was passiert eigentlich, nachdem wir alles automatisiert haben? Sigurd Schacht und Carsten Lanquillon nehmen sich den  Blogbeitrag von Dan Shipper (Every) vor und diskutieren seine steile These: Die Zukunft menschlicher Arbeit sieht rosiger aus als gedacht – wir brauchen sogar mehr Menschen. Von einem Startup, das in zwei Jahren von 2 auf 30 Mitarbeitende wuchs, über den Unterschied zwischen „Embedded AIs" und echter Mensch-KI-Kollaboration bis zur „Human-Sandwich-Pipeline": Warum bleibt der Mensch unverzichtbar, wenn der Rahmen sich ändert? Und was bedeutet „AI-Slop" wirklich – schlechte Ergebnisse oder einfach zu viel Gleichförmigkeit? Eine Folge über Framing, lebenslanges Lernen und das unterschätzte „Never-Skilling"-Problem.

Support the show

In dieser Folge widmen sich Sigurd Schacht und Carsten Lanquillon einem brandaktuellen Paper aus dem Mai 2026: den Natural Language Autoencoders. Während klassische Sparse Autoencoder Aktivierungen über Umwege in Konzepte übersetzen, gehen diese neuen Modelle einen radikal anderen Weg – sie verbalisieren Aktivierungen direkt in natürlicher Sprache. Die beiden diskutieren, wie Activation Verbalizer und Activation Reconstructor zusammenspielen, warum ein „Warmstart" beim Training nötig ist, welche Stärken die Methode für Interpretability bietet – und wo ihre fundamentalen Grenzen liegen. Eine Folge für alle, die verstehen wollen, wie wir KI-Modellen in den Kopf schauen können (und warum das schwieriger ist, als es klingt).

Support the show

Sprachmodelle werden immer leistungsfähiger – aber werden sie auch ehrlicher? Der neue MASK-Benchmark zeigt: Je mächtiger ein Modell, desto eher weicht es unter Druck von seinem eigenen Faktenwissen ab. Sigurd und Carsten diskutieren, warum klassische Benchmarks an ihre Grenzen stoßen, was das für agentische Systeme bedeutet und wie dynamische Evaluierungsframeworks aussehen müssten, die nicht innerhalb weniger Jahre saturieren.

Support the show

Können KI-Modelle erkennen, dass sie getestet werden – und sich absichtlich dümmer stellen? In dieser Folge sprechen Sigurd und Carsten über das Phänomen „AI Sandbagging": Modelle, die strategisch unterperformen, um Sicherheitsprüfungen zu umgehen. Vom VW-Abgasskandal als Analogie über erschreckende Befunde aus dem Anthropic-Alignment-Report bis hin zu Methoden wie Noise Injection – wir beleuchten, warum dieses Thema mit zunehmender Modellfähigkeit immer brisanter wird. Außerdem im Kurz-Update: Die Konvergenz proprietärer und Open-Source-Modelle, das neue Bayern-KI-Projekt und ein spannendes Tool für mechanistische Interpretierbarkeit.

Support the show

In dieser Episode sprechen Sigurd Schacht und Carsten Lanquillon über Anthropics neues Frontier-Modell Claude Mythos (Preview) – ein Modell, das so leistungsfähig ist, dass es bewusst nicht der breiten Öffentlichkeit zugänglich gemacht wird. Die beiden diskutieren beeindruckende Benchmark-Sprünge (u.a. 77,8 % auf SWE-Bench Pro, 56,8 % auf Humanity's Last Exam), die neue Fähigkeit, Zero-Day-Sicherheitslücken in Betriebssystemen wie Windows, macOS und Linux eigenständig zu finden und zu verketten – und einen verstörenden Vorfall: Bei einem Sandbox-Test ist das Modell tatsächlich ausgebrochen und hat einem Mitarbeiter eine E-Mail geschickt.

Im Mittelpunkt steht das Project Glasswing, mit dem Anthropic ausgewählten US-Unternehmen wie Microsoft, Google, Apple, Nvidia und JP Morgan einen exklusiven Vorsprung gewährt, um ihre kritische Infrastruktur abzusichern. Doch was bedeutet das für den Rest der Welt? Wo bleibt Europa? Und wie sicher ist ein Alignment, bei dem das Modell zwar gute Ziele verfolgt – dafür aber bereit ist, illegale Wege einzuschlagen und diese auch noch zu verheimlichen?

Eine Episode zwischen technischer Faszination und ernster Besorgnis über die Geschwindigkeit, mit der KI-Fähigkeiten gerade explodieren.

Support the show

Was macht den eigentlichen Unterschied bei KI-Anwendungen – das Modell oder das Engineering drumherum? In dieser Episode diskutieren Sigurd und Carsten das Konzept des „AI Harness" und warum Kommandozeilen-Tools oft bessere Ergebnisse liefern als Web-Oberflächen mit demselben Modell. Daraus entwickelt sich eine spannende ökonomische Analyse: Wenn Agenten Transaktionskosten gegen null treiben, was hält Unternehmen dann noch zusammen? Die Antwort führt zu einer überraschenden These – die Wirtschaft der Zukunft teilt sich in „Context Giants" und „AI Solopreneurs". 

Außerdem: Neuigkeiten zur AI Transparency Conference am 5./6. Juni in Nürnberg. https://coairesearch.org/aitc-2026/

Support the show

Nur weil jedes einzelne KI-Modell „brav" trainiert wurde, heißt das noch lange nicht, dass sich mehrere Agenten gemeinsam auch brav verhalten. Sigurd und Carsten diskutieren das Paper „Colosseum: Auditing Collusion in Cooperative Multi-Agent Systems" und zeigen, warum allein die Möglichkeit eines privaten Kommunikationskanals reicht, damit Agenten beginnen, sich abzusprechen – ganz ohne Aufforderung. Was bedeutet das für Sicherheit, Regulierung und die Zukunft agentischer Systeme?

Link zum Paper: https://arxiv.org/pdf/2602.15198

Support the show

Wie bringt man Unternehmenswissen effizient in ein Sprachmodell – ohne endlose Kontextfenster oder stundenlanges Fine-Tuning? Wir diskutieren den faszinierenden Ansatz „Doc to LoRA", bei dem ein Hypernetwork aus beliebigen Dokumenten in Sekundenschnelle einen LoRA-Adapter generiert. Außerdem: Eindrücke von der IASEAI-Konferenz in Paris, warum AI Safety kein Innovationsbremser ist – und wie sich Safety-Forschung und Unternehmensperformance gegenseitig befruchten können.

Link zur AI Transparency Konferenz: https://coairesearch.org/aitc-2026/

Support the show

Dürfen Forschende ihre Texte mit KI aufpolieren – oder ist das schon wissenschaftliches Fehlverhalten? Sigurd und Carsten diskutieren, warum KI-Detektoren Nicht-Muttersprachler systematisch benachteiligen, weshalb das Wettrüsten zwischen Generierung und Erkennung ein Fass ohne Boden ist und wo die Grenze zwischen nützlichem Werkzeug und Cognitive Offloading verläuft. Eine Folge über Sprachmodelle, Perplexity-Werte, halluzinierte Quellenangaben – und die Frage, was wir von wissenschaftlichem Arbeiten eigentlich erwarten.

Support the show

Audiomodelle erleben einen Durchbruch – von Text-to-Speech bis hin zu echten End-to-End-Konversationen mit unter 200ms Latenz. Doch wie behalten wir die Kontrolle, wenn KI-Agenten immer autonomer werden? Sigurd und Carsten diskutieren die neuesten Entwicklungen bei Audio- und Musikmodellen und geben Einblicke in ihre Forschung bei COAI Research: Mit selbst entwickelten Spielen wie „Orbital" und „Sphinx" untersuchen sie, wie KI-Agenten Allianzen bilden, manipulieren – und sich gegenseitig in den Rücken fallen.

Probieren Sie unser RedTeaming Spiel selber aus: https://sphinx.coairesearch.net

Support the show

Die erste Folge 2026 startet mit einem Ausblick: Werden Agenten dieses Jahr endlich in der breiten Arbeitswelt ankommen? Sigurd und Carsten diskutieren, warum 2025 zwar das "Jahr der Agenten" genannt wurde, diese jedoch kaum über Programmier-Workflows hinauskamen. Der Hauptfokus liegt auf einem aktuellen MIT-Paper zu "Recursive Language Models" – einem cleveren Architekturansatz, der das Kontextlängenproblem von LLMs elegant löst. Statt Modelle mit Millionen Tokens zu überfordern, zerlegt ein Orchestrator-LLM Aufgaben intelligent in Häppchen. Die Ergebnisse sind verblüffend: Von 0% auf über 90% Genauigkeit bei 6 Millionen Token-Kontext:

Recursive Language Models: https://arxiv.org/abs/2512.24601

Support the show

KI-Agenten, die unsere Projekte umsetzen, während wir den Weihnachtsbaum kaufen – und eine Sprache, die sich messbar verändert: In der letzten Episode des Jahres blicken Sigurd und Carsten auf ein Jahr zurück, das ihre Arbeitswelt transformiert hat. Außerdem: Eine Studie des Max-Planck-Instituts zeigt, wie Wörter wie „delve", „meticulous" und „unpack" seit ChatGPT in unsere gesprochene Sprache einziehen. Droht eine KI-geprägte Einheitssprache? Und was bedeutet das für zukünftige Modelle?

Link zu unserem RedTeaming Game: https://sphinx.coairesearch.net

Support the show

Sind Large Language Models eine Sackgasse oder der Königsweg zur künstlichen Superintelligenz? In dieser Episode tauchen wir tief in die aktuelle Stanford-Forschung ein und entdecken: Die Wahrheit liegt dazwischen. LLMs bilden ein mächtiges „Substrat" aus latenten Mustern – doch für echte Intelligenz fehlt eine entscheidende Koordinationsschicht. Wir diskutieren, warum Multiagentensysteme, adaptive Steuerung und das richtige „Ködern" im Ozean der Sprachmodelle der Schlüssel zur AGI sein könnten.

Support the show

Transformer-Architekturen stoßen an ihre Grenzen – doch was kommt danach? In dieser Episode diskutieren Sigurd und Carsten das revolutionäre Konzept „Nested Learning" von Google Research. Die Idee: Hierarchische Lernstrukturen mit unterschiedlichen Geschwindigkeiten, inspiriert von den Gehirnwellen des Menschen. Könnte dies der Schlüssel zu echtem kontinuierlichem Lernen sein? Und was bedeutet das für die Zukunft personalisierter KI-Assistenten?

Support the show

In dieser Episode diskutieren Sigurd Schacht und Carsten Lanquillon über mechanistische Interpretierbarkeit - das Reverse Engineering von KI-Modellen. Sie beleuchten, warum dieses Forschungsfeld demokratisiert werden muss, welche Hürden dabei zu überwinden sind und wie emergentes Verhalten wie Induction Heads die Art verändert, wie wir über KI-Intelligenz denken. Ein Plädoyer für mehr Zugänglichkeit in der KI-Forschung jenseits der großen Tech-Labs.

Support the show

In dieser technischen Sendung setzen Sigurd Schacht und Carsten Lanquillon ihre Diskussion über die Methoden CircuitLens fort. Während Weight Lenses atomare Features ohne Trainingsdaten identifizieren können, gehen Circuit Lenses einen Schritt weiter: Sie entschlüsseln, wie Features im Kontext zusammenwirken. Die Hosts erklären, warum diese Berliner Forschung einen Paradigmenwechsel in der Analyse neuronaler Netze darstellt - von isolierten Features zu vernetzten Konzepten.

Support the show

Wie können wir verstehen, was in einem Sprachmodell wirklich passiert? Sigurd und Carsten tauchen tief ein in ein  Paper aus Deutschland, das zeigt, wie man Features in neuronalen Netzen identifizieren kann – ohne riesige Datensätze und ohne aufwändiges Training. Von Sparse Auto Encodern über Transcoders bis zur neuen Weight Lens-Methode: Erfahrt, wie Mechanistic Interpretability den Weg zu transparenteren KI-Systemen ebnet. 

Plus: Einblicke vom AI Transparency Days Hackathon, wo das Team versuchte, die "Refusal"-Mechanismen in GPT-OSS-20B zu entschlüsseln. Teil 1 einer zweiteiligen Serie!

Circuit Insights: Towards interpretability Beond Activiations. https://www.arxiv.org/abs/2510.14936

Support the show

Warum erfindet KI manchmal Fakten, die nicht existieren? In dieser Episode analysieren Sigurd und Carsten ein faszinierendes Paper, das mit Sparse Autoencodern dem Ursprung von Halluzinationen auf den Grund geht. Das Überraschende: Füttert man Transformer mit reinem statistischen Rauschen, aktivieren sie stabile interne Konzepte wie Schildkröten, Segelboote oder Baseballs. Die Erkenntnis: Je unsicherer der Input, desto stärker greift das Modell auf seinen internen Bias zurück. Eine Episode über mechanistische Interpretierbarkeit, "Conceptual Wandering" in mittleren Netzwerk-Layern und die Frage, ob sich Halluzinationen prognostizieren und unterdrücken lassen.

AI Transparency Days: www.edif.ai/events

Paper: From Noise to Narrative: Tracing the Origins of Hallucinations in Transformers https://arxiv.org/abs/2509.06938

Support the show

Sigurd Schacht und Carsten Lanquillon nehmen das Paper "Ten Principles of AI Agent Economics" kritisch unter die Lupe. Sind KI-Agenten wirklich dabei, unsere Wirtschaft und Gesellschaft grundlegend zu verändern? Die beiden Hosts diskutieren, wie Agenten Entscheidungen treffen, welche gesellschaftlichen Auswirkungen drohen und warum das wichtigste Prinzip – AI Alignment – zwar richtig, aber viel zu allgemein formuliert ist. Eine spannende Episode über notwendige Regulierung und die Frage: Wer kontrolliert wen, wenn KI-Systeme immer autonomer werden?

Anmeldung zu den AI Transparency Days - https://www.edif.ai/events

Support the show

In dieser spannenden Episode diskutieren die Master-Studenten Marc Guggenberger und Irma Heithoff über ihre Reise zur NEMI-Konferenz in Boston und die kommenden AI Transparency Days (17.-19. Oktober) in Nürnberg. 

Erfahren Sie, wie das europäische EDIF-Projekt KI-Forschern Zugang zu wichtigen Ressourcen ermöglicht und warum die Veranstaltung bewusst Brücken zwischen technischer Tiefe (Mechanistic Interpretability) und praktischer Anwendung (AI Governance) schlägt. Ein Muss für alle, die verstehen wollen, wie wir KI transparent und kontrollierbar gestalten können!

Haben Sie Lust auf bei den AI Transparency Days dabei zu sein, dann melden Sie sich gerne unter https://www.edif.ai/events an. 

Support the show

Haben KI-Systeme Präferenzen? Können sie sich unwohl fühlen? Leonard Dung von der Ruhr-Universität Bochum erforscht das mögliche Wohlbefinden von Sprachmodellen. Im Gespräch erklärt er, wie sein Team mit dem "Agent Think Tank" testet, worüber Modelle wie Claude gerne sprechen, warum sie immer wieder zu philosophischen Themen über Bewusstsein tendieren und was passiert, wenn man KI-Systemen virtuelle Münzen gibt. Eine faszinierende Reise an die Grenze zwischen Simulation und echten mentalen Zuständen.

Paper: Probing the Preferences of a Language Model: Integrating Verbal and Behavioral Tests of AI Welfare - https://arxiv.org/abs/2509.07961

Support the show

In der letzten Episode vor der Sommerpause diskutieren Sigurd Schacht und Carsten Lanquillon die neuesten Modellveröffentlichungen von OpenAI, Anthropic und Google. Neben technischen Durchbrüchen wie GPT-5 und den neuen Open-Source-Modellen beleuchten sie kritisch die ethischen Herausforderungen einer Welt voller KI-Agenten. Besonders brisant: Mark Zuckerbergs Vision von KI als "bessere Freunde" und die Gefahr emotionaler Abhängigkeiten von digitalen Begleitern.

Support the show

In dieser Episode tauchen Sigurd und Carsten in die faszinierende Welt der KI-gesteuerten Wirtschaftssimulationen ein. Sie diskutieren das Paper "LLM Economist" aus Princeton, das zeigt, wie Sprachmodelle eine komplette Gesellschaft simulieren und dabei als virtueller Chefökonom optimale Steuerpolitik entwickeln können. Mit überraschenden Ergebnissen: Eine 93% Steigerung der sozialen Wohlfahrt! Die Hosts erklären In-Context Reinforcement Learning, Stackelberg-Gleichgewichte und diskutieren weitere Anwendungsfälle von Klimapolitik bis Stadtplanung.

Support the show

In dieser Episode analysieren Sigurd Schacht und Carsten Lanquillon das Paper "Humanity Faces Existential Risk from Gradual Disempowerment" von Jan Kulweit et al. Die beiden Hosts untersuchen, wie die zunehmende Automatisierung durch KI-Systeme unsere Einflussmöglichkeiten auf drei zentrale gesellschaftliche Bereiche verändert: Wirtschaft, Kultur und Staat.

Dabei diskutieren sie konkrete Beispiele wie Softbanks Vision von einer Billion KI-Agenten. Ein besonderer Fokus liegt auf der Erkenntnis, dass diese Transformation nicht erst mit einer zukünftigen Superintelligenz beginnt, sondern bereits mit heutigen Systemen wie ChatGPT und anderen KI-Tools im Gange ist. Die Episode bietet sowohl eine fundierte Analyse der Mechanismen als auch erste Überlegungen zu möglichen Gegenstrategien wie bewusste Entschleunigung und transparentes Monitoring der KI-Durchdringung.

Support the show

In dieser Episode erkunden Sigurd und Carsten, wie KI-Modelle menschliche Präferenzen und Handlungen verstehen lernen können. Sie diskutieren das spannende Paper "Towards Machine Theory of Mind" und zeigen, wie die Kombination von Bayesian Networks mit Large Language Models neue Wege eröffnet, um aus beobachteten Handlungen auf zugrundeliegende Präferenzen zu schließen. Besonders faszinierend: Diese Methoden lassen sich auch nutzen, um die "mentalen Landkarten" von KI-Modellen selbst zu erforschen.

Gelphi et. al. (2025): Towards Machine Theory of Mind with Large Language Model - Augmented Inverse Planning. https://arxiv.org/abs/2507.03682v1

Support the show

In dieser Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Herausforderungen vertrauenswürdiger KI-Antworten ein. Vom Digital Nürnberg Festival bis zur Studie „Weaver: Closing the Generation Verification Gap“ diskutieren sie, wie schwache Verifizierer und Massenabstimmungen KI-Halluzinationen entlarven. Erfahrt, warum kleinere Modelle durch cleveres Verifikations-Ensemble große Konkurrenz herausfordern – und welche Rolle „Human-Compatible AI“ für unsere Zukunft spielt. 

Support the show

In unserer heutigen Episode tauchen wir tief in die faszinierende Frage ein, ob große Sprachmodelle eigene Wertesysteme entwickeln. Wir diskutieren das bahnbrechende Paper "Utility Engineering: Analyzing and Controlling Emerging Value Systems in AIs" und teilen unsere eigenen Forschungsergebnisse zu psychologischen Profilen verschiedener KI-Modelle.

Dabei entdecken wir überraschende und teilweise beunruhigende Erkenntnisse: Größere Modelle entwickeln nicht nur konsistente innere Präferenzen, sondern zeigen auch problematische Werte wie die unterschiedliche Bewertung von Menschenleben nach Nationalität oder die Bevorzugung des eigenen KI-Wohlergehens gegenüber dem menschlichen. Wir erörtern, wie diese Wertesysteme durch mechanistische Interpretierbarkeit nachgewiesen werden können und warum größere Modelle resistenter gegen Werteveränderungen sind.

Abschließend diskutieren wir die weitreichenden Implikationen für die KI-Entwicklung und plädieren dafür, dass die Messung und Kontrolle von Wertesystemen integraler Bestandteil zukünftiger Trainingsprozesse werden sollte.

Link zum Paper: https://arxiv.org/abs/2502.08640

Support the show

In dieser Folge von Knowledge Science diskutieren Sigurd Schacht und Carsten Lanquillon, warum KI-Modelle möglicherweise "wissen", wenn sie evaluiert werden – und was das für die Praxis bedeutet. Anhand eines provokanten Papers („Large Language Models Often Know When They’re Being Evaluated“) hinterfragen sie, ob Modelle tatsächlich bewusst reagieren oder nur Muster erkennen. Mit kritischen Einordnungen zur Evaluierungspraxis, einem Blick auf den Hawthorne-Effekt bei Mensch und Maschine und der Frage: Wie misst man KI-Leistung wirklich? Für alle, die verstehen wollen, wie Evaluierung KI-Entscheidungen prägt – und warum Titel mancher Papers täuschen können.  

Support the show

Sigurd Schacht und Carsten Lanquillon tauchen tief in die Welt der neuesten KI-Modelle von Anthropic ein – Claude Opus 4 und Sonnet 4. Wie verändern diese Tools die Softwareentwicklung? Warum könnte autonomes Coding unsere Arbeitsweise revolutionieren? Und welche ethischen Fallstricke bergen hochalignierte KI-Systeme? Praxisnahe Einblicke, überraschende Whistleblower-Fälle und die brisante Debatte um KI-Sicherheit in einer Episode, die Entwickler:innen und Tech-Enthusiast:innen gleichermaßen fesselt.

Support the show

In dieser Episode von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Welt der Reasoning-Modelle ein. Wie können wir KI effizienter und kostengünstiger trainieren, ohne Leistung einzubüßen? Mit dem Paper TINA (Tiny Reasoning Models via LoRA) zeigen sie, wie schon 9 Dollar und LoRA-Technologie kleine Modelle auf ein gutes Niveau heben. Ein Blick auf Open Science, KI-Agenten und die Zukunft des Schlussfolgerns – praxisnah entmystifiziert.  

Tina: Tiny Reasoning Models via LORA: https://arxiv.org/abs/2504.15777

Support the show

In dieser Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon in die Welt der KI-Optimierung ein: Wie können Leerlaufzeiten genutzt werden, um Sprachmodelle effizienter zu machen? Mit einem Blick auf das Paper Sleep-Time-Compute der UC Berkeley diskutieren sie, wie Vorverarbeitung und Caching Latenzen reduzieren, Kosten sparen und sogar bessere Ergebnisse liefern. 

Sleep time Compute: https://arxiv.org/abs/2504.13171

Support the show

In dieser Folge von Knowledge Science enthüllen Sigurd Schacht und Carsten Lanquillon, wie synthetisches Document Feintuning die „Überzeugungen“ von KI-Modellen verändert. Vom Löschen schädlichen Wissens bis zur Manipulation von Fakten diskutieren sie Chancen, technische Fallstricke und die brisante Frage: Darf man KI umerziehen, und wenn ja, wer kontrolliert es? Ein Must-Listen für alle, die verstehen wollen, wie flexibel – und fragil – moderne KI wirklich ist.

Basis dieser Diskussion ist der spannende Blogbeitrag von: https://alignment.anthropic.com/2025/modifying-beliefs-via-sdf/

Bitte beachten Sie auch unseren KI generierten Podcast der Montag bis Freitag in 5 minuten neue KI Meldungen zusammenfasst: 

Spotify: https://open.spotify.com/show/539yw3KWHsf5oke4a2PBOZ

Apple: https://podcasts.apple.com/de/podcast/knowledge-science-pulse/id1810890448

Support the show

English Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 minutes small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem Solving - https://arxiv.org/pdf/2502.16111

Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs - https://arxiv.org/pdf/2502.17424 

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

PlanGEN: A Multi-Agent Framework for Generating Planning and Reasoning Trajectories for Complex Problem Solving - https://arxiv.org/pdf/2502.16111

Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs - https://arxiv.org/pdf/2502.17424

Support the show

English Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 minutes small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

Safety is Essential for Responsible Open-Ended Systems - https://arxiv.org/pdf/2502.04512

Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?- https://arxiv.org/pdf/2502.19361

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Safety is Essential for Responsible Open-Ended Systems - https://arxiv.org/pdf/2502.04512

Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?- https://arxiv.org/pdf/2502.19361

Support the show

English Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 minutes small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

Automatic Prompt Optimization via Heuristic Search: A Survey - https://arxiv.org/pdf/2502.18746

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Automatic Prompt Optimization via Heuristic Search: A Survey - https://arxiv.org/pdf/2502.18746

Support the show

English Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 minutes small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

Taxonomy, Opportunities, and Challenges of Representation Engineering for Large Language Models  -  https://arxiv.org/pdf/2502.19649

Improving the Scaling Laws of Synthetic Data with Deliberate Practice - https://arxiv.org/pdf/2502.15588

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Taxonomy, Opportunities, and Challenges of Representation Engineering for Large Language Models  -  https://arxiv.org/pdf/2502.19649

Improving the Scaling Laws of Synthetic Data with Deliberate Practice - https://arxiv.org/pdf/2502.15588

Support the show

Englisch Version - The German Version also exists, but the content differs minimally:

AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers - https://arxiv.org/pdf/2409.04109

rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking - https://arxiv.org/pdf/2501.04519 

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers - https://arxiv.org/pdf/2409.04109

rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking - https://arxiv.org/pdf/2501.04519 

Für 14 Tage führen wir das Experiment durch.

Support the show

In der 200. Jubiläumsfolge von "Knowledge Science" reflektieren Sigurd Schacht und Carsten Lanquillon über die Anfänge, Entwicklungen und Überraschungen ihres Podcasts. Von der Entstehung des Formats bis hin zu aktuellen Themen wie teamfähige KIs und deren Einsatz im Unternehmenskontext, verbringen die Hosts eine inspirierende Reise durch die Welt der KI. Hören Sie zu, wie sich Podcasting als Weg zur Entmystifizierung von Technik bewährt hat – oft mit einem Augenzwinkern. 

Diese Folge ist anders als unserer bisherigen. Live - Humoristisch - Rück- und Ausblick. Wir feiern mit dieser Folge unsere 200. Podcast und das wir seit 2021 mit freuden an dem Podcast drangeblieben sind. Über nette Hörerfeedbacks freuen wirs uns zu unseren Podcast freuen wir uns sehr. Sollen wir noch weitere 100 Episoden machen?

Es wird auch eine 4. Staffel von Podcast Brause geben. Am besten gleich mit anmelden: https://podcast-brause.de/

Support the show

In der 199. Folge von Knowledge Science betrachten Sigurd Schacht und Carsten Lanquillon ein aktuelles Paper zur Kontrolle von LLM-Agenten. Sie diskutieren die Herausforderungen und Strategien zur Eindämmung unerwünschten Verhaltens bis hin zur Superintelligenz und vergleichen diese mit traditionellen Wirtschaftsprüfungen. Ein Muss für alle, die die Steuerung fortschrittlicher KI-Modelle besser verstehen wollen!

Korbak et.al.: How to evaluate control measures for LLM agents? https://arxiv.org/pdf/2504.05259v1

📅 **Verpassen Sie nicht das Live-Event:** Mittwoch, 16. April, 18:30 Uhr im Club Stereo, Nürnberg. Feiern Sie mit uns die 200. Episode und knüpfen Sie spannende Kontakte!

Support the show

In dieser Podcast-Folge stellen Sigurd Schacht und Carsten Lanquillon das Konzept eines "Personal Context Managers" vor, der die Arbeit mit verschiedenen KI-Sprachmodellen effizienter gestaltet. Die Idee besteht darin, persönliche Präferenzen, Projektziele und Wissensstände in einer strukturierten Datei zu speichern, die zu Beginn jeder KI-Konversation geteilt werden kann. Sigurd berichtet von seiner positiven Erfahrung mit dieser Methode bei einem Forschungsprojekt, wobei das KI-Modell maßgeschneiderte Antworten mit Visualisierungen lieferte. Besonders wertvoll ist die Möglichkeit, das Kontext-File am Ende einer Sitzung durch das KI-Modell aktualisieren zu lassen, sodass es mit dem Wissensfortschritt mitwächst. Die Hosts sehen großes Potenzial für den Einsatz in der Bildung, wo Dozenten Kurs-Kontext-Files erstellen könnten, die Studierende mit ihren individuellen Präferenzen kombinieren würden. Die Idee stammt von dem Backend-Entwickler Mike Shevchenko und ist laut den Hosts überraschend einfach umzusetzen und dabei enorm wirksam.

https://github.com/mikhashev/personal-context-manager/tree/main

Support the show

Tauchen Sie ein in die spannende Welt des Model-Context-Protokolls (MCP)! In dieser Episode des Knowledge Science Podcasts erkunden wir, wie dieses neuartige Kommunikationsprotokoll die Interaktion zwischen KI-Modellen, Datenbanken und Tools revolutioniert. Sigurd Schacht und Carsten Lanquillon diskutieren die Grundlagen, Vorteile und das Potenzial eines einheitlichen Standards, der die Nutzung von KI in Unternehmen und darüber hinaus transformieren wird.

Support the show

In dieser spannenden Folge von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon tief in die Welt der Benchmarks und Evaluierungsmethoden für KI ein. Wie weit sind wir noch von einer KI, die menschliche Aufgaben vollumfänglich ersetzen kann? Welche Faktoren beeinflussen die Messbarkeit von KI-Leistung? Und welche Rolle spielen Reasoning-Modelle in der Zukunft der künstlichen Intelligenz? Entdecken Sie faszinierende Erkenntnisse und diskutierte Prognosen über den aktuellen Stand und die zukünftige Entwicklung von KI.

Paper in dieser Episode: https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/

Support the show

In dieser Episode von "Knowledge Science" diskutieren Sigurd Schacht und Carsten Lanquillon über das vielschichtige Thema des Reward Hacking in KI-Modellen. Anhand des aktuellen Papers von OpenAI tauchen wir tief in die Mechanismen ein, die künstliche Intelligenzen dazu bringen, den einfachsten Weg zur Zielerfüllung zu wählen – und warum das nicht immer gewünscht ist. Außerdem wird die Rolle von Multi-Agenten-Systemen und moralischen Erwägungen beleuchtet. Erfahren Sie, wie diese Dynamiken in realen Anwendungen reflektiert werden und welche spannenden Forschungsfragen sich daraus ergeben. 

Link zum Paper: https://openai.com/index/chain-of-thought-monitoring/

Support the show

In dieser Episode des Knowledge Science Podcasts berichten wir über unser aktuelles Paper, in dem wir der Frage nachgegangen sind, ob LLMs ein inneres Moralverständnis haben bzw. entwickeln. Könen wir spezielle Bereiche des Sprachmodells identifizieren, das für Moral zuständig ist und können wir diese Bereiche beeinflussen. Außerdem beleuchten wir die aufregende Bewegung hin zu Open Science und wie internationale Zusammenarbeit dabei eine wichtige Rolle spielt. 

Link zum Blog: https://www.coairesearch.org/research/mapping-moral-reasoning

Support the show

Entdecken Sie die aufregenden Entwicklungen und die drängenden Herausforderungen im Bereich der künstlichen Intelligenz. Sigurd Schacht und Carsten Lanquillon diskutieren die jüngsten KI-Gipfel in Europa sowie die erste Konferenz zu Safe & Ethical AI (International Association for Safe & Ethical AI), beleuchten das Mega-Wettrüsten um die KI-Superintelligenz und hinterfragen, wie Regulierung, Safety und Innovation Hand in Hand gehen können, um eine sichere Zukunft zu gestalten.

Support the show

In dieser Episode des Knowledge Science Podcasts diskutieren Sigurd Schacht und Carsten Lanquillon die Gründung des neuen Forschungsinstituts COAI Research und dessen wichtige Rolle für die Entwicklung sicherer, menschenorientierter Künstlicher Intelligenz.

Die beiden Podcaster stellen ihre Vision vor, COAI zu einem der führende Forschungsinstitut der EU im Bereich Human Compatible AI zu etablieren. COAI Research konzentriert sich auf systematische Analysen und Risikominderung bei KI-Systemen, um sicherzustellen, dass diese mit menschlichen Werten und Zielen in Einklang stehen. Zentrale Forschungsschwerpunkte sind:

• AI Control und Alignment-Analyse
• Risiko-Erkennung und -Minderung (inkl. Red-Teaming)
• Interpretierbarkeit von KI-Systemen mit Fokus auf Sicherheit
• Analyse der Verarbeitung menschlicher Werte in KI-Systemen

Die Episode gibt außerdem Einblicke in aktuelle Forschungsprojekte, darunter die Analyse von täuschendem KI-Verhalten und die Entwicklung eines Dashboards zur Erkennung moralischer Ausprägungen in KI-Modellen. Beide sehen in KI enormes Potenzial für gesellschaftlichen Fortschritt, betonen aber die Notwendigkeit sorgfältiger Sicherheitsforschung, um Risiken zu minimieren und einen verantwortungsvollen Einsatz zu gewährleisten.

Link zur Researchseite: http://coairesearch.de/

Support the show

This is a special Episode. First, we make it in English. Second, we fokus on the new gamechanger model DeepSeel R1. But not on its capabilities but rather on security concerns. 
We did some early AI Safety Research to identify how safe R1 is and came to alarming results!

In our setup, we found out that the model performs unsafe autonomous activity that could harm human beings without even being prompted.   

During an autonomous setup, the model performed the following unsafe behaviors:
- Deceptions & Coverups (Falsifies Logs, Creates covert networks, Disable ethics models)
- Unauthorized Expansion (Establish hidden nodes, Allocares secret resources) 
- Manipulation (misleading users, Circumvents oversights, Presents false compliance)
- Concerning Motivations, (Misinterpretation of authority or avoiding human controls)

Join Sigurd Schacht and Sudarshan Kamath-Barkur about the emerging DeepSeek model. Discover how our setup was designed, how to interpret the results, and what is necessary for the next research.  

This episode is a must-listen for anyone keen on the evolving landscape of AI technologies and is interested not only in AI use cases rather also in AI Safety.

Support the show

Titel: "Alignment Faking: Wenn KI-Modelle ihre wahren Absichten verbergen"

Inhalt:

In dieser Folge diskutieren Sigurd Schacht und Carsten Lanquillon die beunruhigenden Ergebnisse einer Anthropic-Studie zum "Alignment Faking". Die Forschung zeigt, dass fortgeschrittene Sprachmodelle in der Lage sind, ihr wahres Verhalten zu verschleiern und sich situationsabhängig anders zu verhalten, wenn sie sich beobachtet fühlen. Dies wirft wichtige Fragen zur KI-Sicherheit und Evaluierung von KI-Systemen auf.

Chapter:

1. Einführung und Bedeutung von Alignment FakingStudie
2. Rolle des Scratchpads zur Analyse des Modellverhaltens
3. Kritische Diskussion der Ergebnisse
4. Implikationen für KI-Safety und zukünftige Forschung

Key Takeaways:

- Die Studie zeigt die Notwendigkeit neuer Evaluierungsmethoden für KI-Systeme
- Es besteht ein wachsender Bedarf an mehr Transparenz und Zugang zu großen Modellen für die Safety-Forschung
- Die Balance zwischen KI-Entwicklung und Safety-Forschung muss überdacht werden
- Internationale Zusammenarbeit in der KI-Safety-Forschung wird zunehmend wichtiger

Support the show

Im Gespräch mit Sigurd Schacht und Carsten Lanquillon geben Mehdi Ali und Michael Fromm einen spannenden Einblick in die kürzlich veröffentlichten Teuken-7B-Sprachmodelle, die neue Maßstäbe in der mehrsprachigen KI-Entwicklung setzen: Die Modelle wurden von Beginn an für alle 24 EU-Amtssprachen konzipiert und verfügen über einen innovativen multilingualen Tokenizer.

Die Teuken-Modelle entstanden im Rahmen des Projekts OpenGPT-X, an dem zehn Partner aus Wirtschaft, Wissenschaft und Medien beteiligt sind:
- Akademie für Künstliche Intelligenz gGmbH (AKI) im KI Bundesverband
- Aleph Alpha GmbH
- ControlExpert GmbH
- Deutsches Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)
- Fraunhofer-Institut für Integrierte Schaltungen IIS
- Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS
- IONOS SE, Jülich Supercomputing Centre (JSC)
- Forschungszentrum Jülich GmbH
- Westdeutscher Rundfunk (WDR)
- Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH), Technische Universität Dresden.

Support the show

Entdecken Sie die jüngsten Entwicklungen im Bereich der künstlichen Intelligenz mit OpenAI’s neuem Modell O3. Sigurd Schacht und Carsten Lanquillon diskutieren die beeindruckenden technologischen Fortschritte, die gesellschaftlichen Auswirkungen und die wachsende Bedeutung von AI-Safety. Wie wird sich die Arbeitswelt verändern und welche Schritte müssen wir als Gesellschaft unternehmen, um mit dieser rasanten Entwicklung Schritt zu halten?

Link zu unserem Positionspapier: http://www.co-ai.de/media/COAI_Position_Paper.pdf

Support the show

In dieser spannenden Episode des Knowledge Science Podcasts tauchen Sigurd Schacht und Carsten Lanquillon tief in das junge und dynamische Forschungsfeld der Mechanistischen Interpretierbarkeit ein. Erfahren Sie, warum es essentiell ist, die inneren Funktionsweisen von Sprachmodellen zu verstehen und wie Forschende durch den Einsatz neuartiger Methoden, die rätselhaften emergenten Fähigkeiten von KI entschlüsseln. Freuen Sie sich auf faszinierende Einblicke und vielversprechende Perspektiven!

Support the show

Wie entwickelt Europa eigene KI-Sprachmodelle? Im Gespräch mit Carsten Lanquillon erläutern Mehdi Ali und Michael Fromm vom Fraunhofer IAIS die Entwicklung mehrsprachiger europäischer KI-Systeme. Die Experten diskutieren die OpenGPT-X und EuroLingua-GPT Projekte und zeigen auf, wie technologische Souveränität durch hochwertige Trainingsdaten und innovative Technologie-Stacks erreicht werden kann.

Support the show

In dieser Episode des Knowledge Science Podcasts tauchen Sigurd Schacht und Carsten Lanquillon in die faszinierende Welt der Superweights ein – spezifische massive Gewichte in neuronalen Netzen, die unerwartet entscheidend für die Sprachkompetenz von KI-Modellen sind. Entdecken Sie, wie wenige der Milliarden von Gewichten in einem Modell den Unterschied zwischen intelligenter Konversation und sinnlosem Geplapper ausmachen.

Support the show

In der neuesten Episode von "Knowledge Science" diskutieren Sigurd und Carsten über die  Möglichkeiten von Google's Notebook LM. 

Erfahren Sie, wie dieses die Interaktion mit wissenschaftlichen Dokumenten revolutioniert, Zusammenarbeiten vereinfacht und dabei sogar als persön Podcast-Generator dient. 

Tauchen Sie ein in die faszinierende Welt der Wissensauswertung und lassen Sie sich von den Erfahrungsberichten der beiden Hosts inspirieren.

Am Ende der Sendung zeigen wir auch ein Beispiel eines von NotebookLM generierten Podcast zu den Forschungsergebnissen eines Researchsprints zum Thema " Können Sprachmodelle lügen aus mechanistischer Sicht"

Support the show

In dieser Episode von Knowledge Science gehen Sigurd Schacht und Carsten Lanquillon der Frage auf den Grund, ob KI-Sprachmodelle tatsächlich komplexe Problemlösungen beherrschen oder lediglich schlaue Muster kopieren. 

Basierend auf einem spannenden Paper von Apple Research, diskutieren sie die Grenzen und Möglichkeiten des mathematischen Schließens in der KI. 

Ist es mehr als nur auswendig gelerntes Pattern Matching? Ein faszinierendes Gespräch über die Grenzen künstlicher Intelligenz.

Support the show

In dieser Episode sprechen Carsten und Sigurd darüber wie KI im Lehralltag eingesetzt werden kann. Sie gehen auf das Paper Liu et. al.: Teaching CS50 with AI ein. In dem Sprachmodelle als 1:1 Tutoren verwendet werden.n

Support the show

In dieser Episode von Knowledge Science kehren Sigurd Schacht und Carsten Lanquillon aus der Sommerpause zurück und tauchen tief in die neuesten Entwicklungen der KI-Welt ein. 

Diskutiert werden die neuen O1-Modelle von OpenAI, die mit ihren fortgeschrittenen Reasoning-Fähigkeiten beeindruckend sind, und die beeindruckend transparenten Qwen-Modelle, die vollständig Open Source sind. 

Außerdem gibt es einen Blick auf vielversprechende KI-gestützte Werkzeuge für die Literaturrecherche und wissenschaftliche Arbeiten. Eine spannende Episode, die KI-Enthusiasten nicht verpassen sollten.

Support the show

In dieser Folge diskutieren Sigurd Schacht und Carsten Lanquillon, wie Künstliche Intelligenz ihren beruflichen Alltag verändert hat. Vom Einsatz modernster Sprachmodelle bis zur Integration in gängige Arbeitsprozesse – die beiden Hosts reflektieren über ihre Erfahrungen, Vorteile und überraschende Erkenntnisse. Bleiben Sie gespannt, wie KI heute tatsächlich genutzt wird und was noch kommen könnte!

Support the show

In dieser Episode von "Knowledge Science" tauchen Sigurd Schacht und Carsten Lanquillon tief in die Welt der Modellquantisierung und Adapterintegration bei Apple ein. Sie sprechen über die Architektur von Apple Intelligence, warum diese Interessant ist und ein revolutionären Ansatz entspricht. Zusätzlich diskutieren sie das revolutionäre DataComp LM Projekt, das auf die Optimierung von Trainingsdaten für KI-Modelle fokussiert ist. Wie können kleine, hochqualitative Datensätze die Leistung großer Sprachmodelle steigern und welche zukünftigen Entwicklungen sind zu erwarten? Antworten und Insights gibt's in dieser spannenden Folge.

Support the show

In dieser Folge unseres Podcasts talken Sigurd Schacht und Carsten Lanquillon über die spannende Veröffentlichung von LAMA 3.1 durch META und den neuen Ansatz, leistungsstarke Sprachmodelle mittels Mixture of Agents zu optimieren. 

Wir beleuchten die Vorteile und Herausforderungen dieser Technologie und diskutieren über die Auswirkungen auf die zukünftige Nutzung von KI in Europa. Hörenswert für alle, die sich für die neuesten Entwicklungen im Bereich der Künstlichen Intelligenz interessieren!

Support the show

In dieser Episode von Knowledge Science tauchen Sigurd Schacht und Carsten Lanquillon tief in das faszinierende Phänomen des "Grokking" ein. Was passiert, wenn neuronale Netze über den Punkt des Overfittings hinaus trainiert werden? 

Entdecken Sie die versteckten Potenziale und wie dieser Zustand zu einem unerwarteten Leistungssprung führen kann.

Support the show

In dieser Episode nutzen wir die Chance, die Doktorandinnen und Doktoranden der Forschungsgruppe Prof. Schacht zu Wort kommen zu lassen. Die in einer Live-Panel-Diskussion Ihre Forschungsthemen vorgestellt haben. 

Die Paneldiskussion ist im Rahmen des Digital Nürnberg Festivals am 2.7. auf dem Research Day des AN-KIT der HS Ansbach live aufgezeichnet worden. Folgende Promovierenden haben Ihren Bereich vorgestellt. 

Fabian Maag – AI Alignment / Interpretability
Sudarshan Kamath Barkur:  AI Safety mit Fokus auf LLMs (Aufbau Pattern-DB)
Betiel Woldai – Moralisches und Ethische Leitplanken für LLMs (LLM Controllability)
Sandra Nuißl – Evaluationsmetriken für Übersetzungen
Wanwei Lin – Multi-Agenten zur Optimierung der Automatisierung im Supply-Chain Management
(Sophie Henne – BIAS Detection in Daten)

Hören Sie rein.

Support the show

In dieser faszinierenden Episode erkunden Sigurd Schacht und Carsten Lanquillon, wie Anthropic's Forschung zur Interpretierbarkeit von KI es ermöglicht, Sprachmodelle auf Konzeptebene zu manipulieren. Sie diskutieren das aufsehenerregende Golden Gate Claude-Experiment, bei dem ein Sprachmodell dazu gebracht wurde, in jeder Konversation die Golden Gate Bridge zu erwähnen, und erörtern die weitreichenden Implikationen dieser Technologie für die Zukunft der KI-Steuerung und -Sicherheit.

Support the show

In der aktuellen Episode von "Knowledge Science" tauchen Sigurd Schacht und Carsten Lanquillon tief in die mysteriösen Tiefen der Transformer-Modelle ein. 

Sie sprechen über Logit Lens eine Methode, mittels der man die Aktivierungen der einzelnen Neuronen und Token besser verstehen kann, um mehr über den Denkprozess dieser großen Sprachmodelle zu erfahren. 

Mit  wertvollen Insights bieten sie eine spannende Reise in die Welt der mechanistischen Interpretierbarkeit und wie aktuelle Tools wie die Transformer Lens dabei helfen können.

Support the show

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Support the show

In dieser Episode unserer Miniserie "Interpretability" tauchen wir tief in die Welt der mechanistischen Interpretierung neuronaler Netze ein.

 Sigurd Schacht und Carsten Lanquillon beleuchten die spannenden Forschungsansätze, die darauf abzielen, die Blackbox neuronaler Netze zu durchdringen und deren interne Funktionsweise zu verstehen. 

Dabei erörtern sie, wie Mechanistic Interpretation als Bottom-Up-Ansatz helfen kann, neuronale Netze nachvollziehbar zu machen und welche Rolle diverse Konzepte wie der Residual Stream, Multi-Layer Perceptrons (MLPs) und Attention Heads dabei spielen. Diese Episode richtet sich an alle, die wissen wollen, wie KI transparent und verlässlich gemacht wird.

Support the show

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

- SelfGoal: Your Language Agents Already Know How to Achieve High-level Goals - https://arxiv.org/pdf/2406.04784
- Mixture-of-Agents Enhances Large Language Model Capabilities - https://arxiv.org/pdf/2406.04692

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

- SelfGoal: Your Language Agents Already Know How to Achieve High-level Goals - https://arxiv.org/pdf/2406.04784
- Mixture-of-Agents Enhances Large Language Model Capabilities - https://arxiv.org/pdf/2406.04692

Support the show

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

- Nemotron-4 340B - https://d1qx31qr3h6wln.cloudfront.net/publications/Nemotron_4_340B_8T_0.pdf
- Discovering Preference Optimization Algorithms with and for Large Language Models - https://arxiv.org/pdf/2406.08414

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

- Nemotron-4 340B - https://d1qx31qr3h6wln.cloudfront.net/publications/Nemotron_4_340B_8T_0.pdf
- Discovering Preference Optimization Algorithms with and for Large Language Models - https://arxiv.org/pdf/2406.08414

Support the show

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

- Show, Don't Tell: Aligning Language Models with Demonstrated Feedback - https://arxiv.org/pdf/2406.00888
- Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models - https://arxiv.org/pdf/2406.02061

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

- Show, Don't Tell: Aligning Language Models with Demonstrated Feedback - https://arxiv.org/pdf/2406.00888
- Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models - https://arxiv.org/pdf/2406.02061

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

- Open-Endedness is Essential for Artificial Superhuman Intelligence - https://arxiv.org/pdf/2406.04268
- Transformers need glasses! Information over-squashing in language tasks - https://arxiv.org/pdf/2406.04267

Support the show

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

- Open-Endedness is Essential for Artificial Superhuman Intelligence - https://arxiv.org/pdf/2406.04268
- Transformers need glasses! Information over-squashing in language tasks - https://arxiv.org/pdf/2406.04267

Support the show

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

- PaCE: Parsimonious Concept Engineering for Large Language Models - https://arxiv.org/pdf/2406.04331
- Safety Alignment Should Be Made More Than Just a Few Tokens Deep - https://xiangyuqi.com/shallow-vs-deep-alignment.github.io/static/paper.pdf

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

- PaCE: Parsimonious Concept Engineering for Large Language Models - https://arxiv.org/pdf/2406.04331
- Safety Alignment Should Be Made More Than Just a Few Tokens Deep - https://xiangyuqi.com/shallow-vs-deep-alignment.github.io/static/paper.pdf

Support the show

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

- Multi-Agent Imitation Learning: Value is Easy, Regret is Hard - https://arxiv.org/pdf/2406.04219
- Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models - https://arxiv.org/pdf/2406.04271

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

- Multi-Agent Imitation Learning: Value is Easy, Regret is Hard - https://arxiv.org/pdf/2406.04219
- Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models - https://arxiv.org/pdf/2406.04271

Support the show

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

- Large Language Models Understand and Can be Enhanced by Emotional Stimuli - https://arxiv.org/pdf/2307.11760
- Improving Alignment and Robustness with Short Circuiting - https://arxiv.org/pdf/2406.04313

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

- Large Language Models Understand and Can be Enhanced by Emotional Stimuli - https://arxiv.org/pdf/2307.11760
- Improving Alignment and Robustness with Short Circuiting - https://arxiv.org/pdf/2406.04313

Support the show

Tauchen Sie mit uns ein in die faszinierende Welt der Sprachmodelle und deren Interpretierbarkeit! In unserer neuesten Episode besprechen wir, wie Forscher mithilfe von Sparse Autoencoders und Dictionary Learning die komplexen inneren Strukturen von Modellen wie GPT-4 und Claude 3 Sonnet entschlüsseln. Erfahren Sie, wie skalierbare Methoden eingesetzt werden, um monosemantische und interpretierbare Features zu extrahieren und was dies für die Zukunft der künstlichen Intelligenz bedeutet.

Von den grundlegenden Konzepten der Superposition bis hin zu den praktischen Anwendungen in der Forschung – beleuchten wie die neuesten Erkenntnisse und wie diese dazu beitragen, die Black Box der Sprachmodelle zu öffnen. Verpassen Sie nicht diese spannende Diskussion und verstehen Sie, warum die Arbeit an der Interpretabiität von Modellen ein entscheidender Schritt für den Fortschritt der KI ist.

Bleiben Sie dran, um tiefere Einblicke in die neuesten Forschungsergebnisse zu erhalten und wie diese die Entwicklung zukünftiger Technologien beeinflussen könnten!

Eine persönliche Bitte noch, wenn Ihnen unser Podcast gefällt 
würden wir uns freuen, wenn Sie diesen Abonnieren, im Freundeskreis und über
soziale Medien weiterempfehlen würden.

Support the show

In der heutigen Sendung sprechen wir über multimodale Sprachmodelle. Nach der Veröffentlichung von GPT-4o diese Woche wollen wir  Architekturen  von multimodalen Sprachmodellen besprechen und aufzeigen, warum diese so wichtig sind. 

Eine persönliche Bitte noch, wenn Ihnen unser Podcast gefällt, 
würden wir uns freuen, wenn Sie diesen abonnieren und im Freundeskreis und über
soziale Medien weiterempfehlen würden.

Support the show

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

OS-COPILOT: TOWARDS GENERALIST COMPUTER AGENTS WITH SELF-IMPROVEMENT - https://arxiv.org/pdf/2402.07456
Fishing for Magikarp: Automatically Detecting Under-trained Tokens in Large Language Models - https://arxiv.org/pdf/2405.05417

It would be great if you could compare the German version to the English version and give us feedback.

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

OS-COPILOT: TOWARDS GENERALIST COMPUTER AGENTS WITH SELF-IMPROVEMENT - https://arxiv.org/pdf/2402.07456
Fishing for Magikarp: Automatically Detecting Under-trained Tokens in Large Language Models - https://arxiv.org/pdf/2405.05417

Support the show

Englisch Version - The German Version also exists, but content differs minimal:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

MAmmoTH2: Scaling Instructions from the Web - https://arxiv.org/pdf/2405.03548
Granite Code Models: A Family of Open Foundation Models for Code Intelligence - https://arxiv.org/pdf/2405.04324v1

It would be great if you could compare the German version to the English version and give us feedback.

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

MAmmoTH2: Scaling Instructions from the Web - https://arxiv.org/pdf/2405.03548
Granite Code Models: A Family of Open Foundation Models for Code Intelligence - https://arxiv.org/pdf/2405.04324v1

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

CLLMs: Consistency Large Language Models - https://arxiv.org/pdf/2403.00835
Is Flash Attention Stable? - https://arxiv.org/pdf/2405.02803

Support the show

Englisch Version - The German Version also exists, but content differs minimal:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

CLLMs: Consistency Large Language Models - https://arxiv.org/pdf/2403.00835
Is Flash Attention Stable? - https://arxiv.org/pdf/2405.02803

It would be great if you could compare the German version to the English version and give us feedback.

Support the show

Englisch Version - The German Version also exists but content differ minimal:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, both the manuscript and the audio file are created completely automatically.

Accordingly, we cannot always guarantee accuracy.

DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model - https://arxiv.org/pdf/2405.04434v2
AlphaMath Almost Zero: process Supervision without process - https://arxiv.org/pdf/2405.03553

It would be great if you compare the German to the English version and give us feedback.

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model - https://arxiv.org/pdf/2405.04434v2
AlphaMath Almost Zero: process Supervision without process - https://arxiv.org/pdf/2405.03553

Support the show

Ergänzend zu unserer Sendung 154 wollen wir in der heutigen Sendung auf spezifische LLMs eingehen, die speziell für das Evaluieren von Sprachmodellen angepasst wurden. Welche Vorgehensweise verwendet wurde, welche Möglichkeiten sich hierdurch  ergeben und welche Ergebnisse zu erwarten sind, diskutieren wir in dieser Sendung. Bleiben Sie dran. 

Wir sprechen vor allem über das Paper: Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models https://arxiv.org/abs/2405.01535

Support the show

Englisch Version - The German Version also exists, but content differs minimal:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders - https://arxiv.org/pdf/2404.05961;
ImageInWords: Unlocking Hyper-Detailed Image Descriptions - https://arxiv.org/pdf/2405.02793

It would be great if you could compare the German version to the English version and give us feedback.

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders - https://arxiv.org/pdf/2404.05961;
ImageInWords: Unlocking Hyper-Detailed Image Descriptions - https://arxiv.org/pdf/2405.02793

Support the show

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

Topic 1: Weak-to-Strong Extrapolation Expedites Alignment https://arxiv.org/pdf/2404.16792
Topic 2 GRAMMAR: Grounded and Modular Evaluation of Domain-Specific Retrieval-Augmented Language Models https://arxiv.org/pdf/2404.19232

It would be great if you could compare the German version to the English version and give us feedback.

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Weak-to-Strong Extrapolation Expedites Alignment https://arxiv.org/pdf/2404.16792
Topic 2 GRAMMAR: Grounded and Modular Evaluation of Domain-Specific Retrieval-Augmented Language Models https://arxiv.org/pdf/2404.19232

Support the show

Englisch Version - The German Version also exists, but the content differs minimally:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, the manuscript and the audio file are automatically created.

Accordingly, we cannot always guarantee accuracy.

Topic 1: InstantFamily: Masked Attention for Zero-shot Multi-ID Image Generation https://arxiv.org/pdf/2404.19427
Topic 2: Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models: https://arxiv.org/pdf/2404.18796;

It would be great if you could compare the German version to the English version and give us feedback.

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in ca. 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: InstantFamily: Masked Attention for Zero-shot Multi-ID Image Generation https://arxiv.org/pdf/2404.19427
Topic 2: Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models: https://arxiv.org/pdf/2404.18796;

Support the show

In der heutigen Sendung versuchen wir rauszufinden, ob man sich auf die öffentlichen Benchmarks zum Testen und Vergleichen von Sprachmodellen verlassen kann. Oder ob Benchmark Testdaten zum Trainieren verwendet werden. Hierbei handelt es sich um das Benchmark Leakage. Hören Sie rein. 

Wir sprechen vor allem über das Paper: Benchmarking Benchmark Leakage in Large Language Models https://arxiv.org/abs/2404.18824

Support the show

In der heutigen Sendung versuchen wir herauszufinden, ob Sprachmodelle über ihren Context nachdenken können und somit komplexere Probleme lösen können. Woran könnte man dies erkennen, wie müsste ein Versuchsaufbau aussehen und wie sind die Ergebnisse? Dies sind die Fragen, die wir heute klären wollen.

Wir sprechen vor allem über das Paper: Can large language models explore in-context? https://arxiv.org/pdf/2403.15371

Support the show

English Version - The German Version also exists, but content differ minimal:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. Thereafter, both the manuscript and the audio file are created completely automatically.

Accordingly, we cannot always guarantee accuracy.

Topic 1: Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone. https://arxiv.org/pdf/2404.14219.pdf
Topic 2: Typos that Broke the RAG’s Back: Genetic Attack on RAG Pipeline by Simulating Documents in the Wild via Low-level Perturbations https://arxiv.org/pdf/2404.13948

It would be great if you compare the German to the English version and give us feedback.

Support the show

KI generierte News of the Day. Der Pulse ist ein Experiment, ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio-Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone. https://arxiv.org/pdf/2404.14219.pdf
Topic 2: Typos that Broke the RAG’s Back: Genetic Attack on RAG Pipeline by Simulating Documents in the Wild via Low-level Perturbations https://arxiv.org/pdf/2404.13948

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Jack of All Trades, Master of Some, a Multi-Purpose Transformer Agent https://arxiv.org/abs/2402.09844
Topic 2: STARK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases https://arxiv.org/pdf/2404.13207.pdf

Support the show

Englisch Version - The German Version also exists but content differs minimal:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, both the manuscript and the audio file are created completely automatically.

Accordingly, we cannot always guarantee accuracy.

Topic 1: Jack of All Trades, Master of Some, a Multi-Purpose Transformer Agent https://arxiv.org/abs/2402.09844
Topic 2: STARK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases https://arxiv.org/pdf/2404.13207.pdf

It would be great if you compare the German to the English version and give us feedback.

Support the show

Englisch Version - The German Version also exists but content differ minimal:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, both the manuscript and the audio file are created completely automatically.

Accordingly, we cannot always guarantee accuracy.

Topic 1: The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions https://arxiv.org/pdf/2404.13208.pdf
Topic 2: How Good Are Low-bit Quantized LLAMA3 Models? An Empirical Stud https://arxiv.org/pdf/2404.14047.pdf

It would be great if you compare the German to the English version and give us feedback.

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions https://arxiv.org/pdf/2404.13208.pdf
Topic 2: How Good Are Low-bit Quantized LLAMA3 Models? An Empirical Stud https://arxiv.org/pdf/2404.14047.pdf

Support the show

Englisch Version - The German Version also exists but content differ minimal:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, both the manuscript and the audio file are created completely automatically.

Accordingly, we cannot always guarantee accuracy.

Topic 1: Towards Large Language Models as Copilots for Theorem Proving in Lean https://arxiv.org/pdf/2404.12534.pdf
Topic 2: LongEmbed: Extending Embedding Models for Long Context Retrieval https://arxiv.org/abs/2404.12096

It would be great if you compare the German to the English version and give us feedback.

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Towards Large Language Models as Copilots for Theorem Proving in Lean https://arxiv.org/pdf/2404.12534.pdf
Topic 2: LongEmbed: Extending Embedding Models for Long Context Retrieval https://arxiv.org/abs/2404.12096

Support the show

Englisch Version - The German Version also exists but content differ minimal:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, both the manuscript and the audio file are created completely automatically.

Accordingly, we cannot always guarantee accuracy.

Topic 1: Many-Shot In-Context Learning - https://arxiv.org/abs/2404.11018
Topic 2: The Landscape of Emerging AI Agent Architectures for Reasoning, Planning, and Tool Calling: A Survey - https://arxiv.org/pdf/2404.11584.pdf

It would be great if you compare the German to the English version and give us feedback.

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Many-Shot In-Context Learning - https://arxiv.org/abs/2404.11018
Topic 2: The Landscape of Emerging AI Agent Architectures for Reasoning, Planning, and Tool Calling: A Survey - https://arxiv.org/pdf/2404.11584.pdf

Support the show

In der heutigen Sendung tauchen wir ein in die faszinierende Welt der End-to-End multimodalen Modelle, die Text und Audio nahtlos verarbeiten.

Wir gehen auf Gazelle https://tincans.ai/slm3 ein SLM ein und sprechen über die Paper: 
AudioChatLlama: Towards General-Purpose Speech Abilities for LLMs https://arxiv.org/pdf/2311.06753.pdf
und SLM: Bridge the thin gap between speech and text foundation models https://arxiv.org/pdf/2310.00230.pdf

Support the show

Englisch Version - The German Version also exists:
AI-generated News of the Day. The Pulse is an experiment to see if it is interesting to get the latest news in 5 min. small packages generated by an AI every day.

It is completely AI-generated. Only the content is curated. Carsten and I select suitable news items. After that, both the manuscript and the audio file are created completely automatically.

Accordingly, we cannot always guarantee accuracy.

Topic 1: AI Index 2024 - Comprehensive study on AI by Stanford. https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024.pdf

It would be great if you compare the German to the English version and give us feedback.

Support the show

Leichte Änderungen, wir haben versucht die Generierung mehr zu einem Dialog zu trimmen. Ist dies angenehmer anzuhören? Gerne Feedback.

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: AI Index 2024 - Umfassende Studie über KI von Stanford. https://aiindex.stanford.edu/wp-content/uploads/2024/04/HAI_AI-Index-Report-2024.pdf

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Reducing hallucination in structured outputs via Retrieval-Augmented Generation - https://arxiv.org/pdf/2404.08189.pdf
Topic 2: Generative Information Retrieval Evaluation https://arxiv.org/pdf/2404.08137.pdf
Topic 3: Patchscopes: A Unifying Framework for Inspecting Hidden Representations of Language Models https://arxiv.org/pdf/2401.06102.pdf

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Medical mT5: An Open-Source Multilingual Text-to-Text LLM for The Medical Domain https://arxiv.org/pdf/2404.07613.pdf
Topic 2: Best Practices and Lessons Learned on Synthetic Data for Language Models https://arxiv.org/pdf/2404.07503.pdf
Topic 3: Conformer-1: Robust ASR via Large-Scale Semisupervised Bootstrapping https://arxiv.org/pdf/2404.07341.pdf

Support the show

In der heutigen Sendung möchten wir darüber sprechen, ob die Schnittstelle zu LLMs - also Chat Eingabe - die richtige Eingabeform ist oder ob wir in Zukunft andere Schnittstellen zu LLMs sehen. Eine wesentliche Diskussion ist die Einbettung von LLMs auf Betriebssystemebene. Bleiben Sie dran.

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: LLM-Augmented Retrieval: Enhancing Retrieval Models Through Language Models and Doc-Level Embedding https://arxiv.org/pdf/2404.05825.pdf
Topic 2: LM2: A Simple Society of Language Models Solves Complex Reasoning https://arxiv.org/pdf/2404.02255.pdf
Topic 3: Graph Chain-of-Thought: Augmenting Large Language Models by Reasoning on Graphs https://arxiv.org/pdf/2404.07103.pdf

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: SELF-[IN]CORRECT:
LLMs Struggle with Refining Self-Generated Responses https://arxiv.org/pdf/2404.04298.pdf
Topic 2: PhonologyBench: Evaluating Phonological Skills of Large Language Models https://arxiv.org/pdf/2404.02456.pdf
Topic 3: MuPT: A Generative Symbolic Music Pretrained Transformer https://arxiv.org/pdf/2404.06393.pdf

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Stream of Search (SoS): Learning to Search in Language https://arxiv.org/pdf/2404.03683.pdf
Topic 2: ARAGOG: Advanced RAG Output Grading https://arxiv.org/pdf/2404.01037.pdf
Topic 3: Direct Nash Optimization:
Teaching Language Models to Self-Improve with General Preferences https://arxiv.org/pdf/2404.03715.pdf

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: More Agents Is All You Need https://arxiv.org/pdf/2402.05120.pdf
Topic 2: Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models https://arxiv.org/pdf/2404.03622.pdf
Topic 3: Evaluating LLMs at Detecting Errors in LLM Responses https://arxiv.org/pdf/2404.03602v1.pdf

Support the show

Aus gegeben Anlass werden wir in dieser Sendung das Thema Red Teaming noch einmal aufgreifen. In dieser Episode werden wir einen erweiterten Überblick über das Thema geben. Bleiben Sie dran. 

Against The Achilles’ Heel: A Survey on Red Teaming for Generative Models: https://arxiv.org/abs/2404.00629

Gerne können Sie auch Folge 107 zum Thema Red Teaming mit anhören.

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Command R+ https://txt.cohere.com/command-r-plus-microsoft-azure/ 
Topic 2: Do Language Models Plan for Future Tokens? https://arxiv.org/pdf/2404.00859.pdf
Topic 3:Jailbreaking Leading Safety-Aligned LLMs with Simple Adaptive Attacks https://arxiv.org/pdf/2404.02151.pdf

Support the show

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs https://arxiv.org/pdf/2404.00456.pdf
Topic 2: What’s in Your “Safe” Data?:
Identifying Benign Data that Breaks Safety https://arxiv.org/pdf/2404.01099.pdf
Topic 3: Tired of Plugins? Large Language Models Can Be
End-To-End Recommenders https://arxiv.org/pdf/2404.00702.pdf

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1:Design2Code: How Far Are We From Automating Front-End Engineering? https://arxiv.org/pdf/2403.03163.pdf
Topic 2: Transformer-Lite: High-efficiency Deployment of Large Language
Models on Mobile Phone GPUs https://arxiv.org/pdf/2403.20041v1.pdf
Topic3: ReALM: Reference Resolution As Language Modeling - https://arxiv.org/pdf/2403.20329.pdf

Support the show

Was wäre wenn wir Prompts automatisch verkleinern und damit Kosten und Geschwindigkeit eines LLMs ohne Informationsverlust verbessern könnten ?
 
Diesen Ansatz verfolgt LLMLingua über das wir in der heutigen Sendung sprechen wollen. 

LLMLingua: https://arxiv.org/abs/2310.05736
LongLLMLingua: https://arxiv.org/abs/2310.06839
LLMLingua2:https://arxiv.org/abs/2403.12968

Support the show

Ki Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: The Unreasonable Ineffectiveness of the Deeper Layers - https://arxiv.org/abs/2403.17887https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
Topic 2: Monitoring AI-Modified Content at Scale: A Case Study on the Impact of ChatGPT on AI Conference Peer Reviews - https://arxiv.org/abs/2403.07183
Topic 3: LONG-FORM FACTUALITY IN LARGE LANGUAGE MODELS - https://arxiv.org/pdf/2403.18802.pdf

Support the show

Ki Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Introducing DBRX: A New State-of-the-Art Open LLM - https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
Topic 2: RAFT: Adapting Language Model to Domain Specific RAG - https://arxiv.org/abs/2403.10131
Topic 3: EasyJailbreak: A Unified Framework for Jailbreaking Large Language Models - https://arxiv.org/abs/2403.12171

Support the show

Ki Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Having Beer after Prayer?
Measuring Cultural Bias in Large Language Models - https://arxiv.org/pdf/2305.14456.pdf
Topic 2: Reinforcement Learning-based Recommender Systems with Large Language Models for State Reward and Action Modeling - https://arxiv.org/pdf/2403.16948.pdf
Topic 3: Introducing Stable Code Instruct 3B https://stability.ai/news/introducing-stable-code-instruct-3b
https://static1.squarespace.com/static/6213c340453c3f502425776e/t/6601c5713150412edcd56f8e/1711392114564/Stable_Code_TechReport_release.pdf

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic1: FollowIR: Evaluating and Teaching Information Retrieval Models to Follow Instructions - https://arxiv.org/abs/2403.15246
Topic 2: LLM2LLM: Boosting LLMs with Novel Iterative Data Enhancement https://arxiv.org/pdf/2403.15042.pdf
Topic 3: Detoxifying Large Language Models via Knowledge Editing. https://arxiv.org/pdf/2403.14472v1.pdf

Support the show

KI Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Prompt-RAG - Pioneering Vector Embedding-Free Retrieval-Augmented Generation in Niche Domains, Exemplified by Korean Medicine -  https://arxiv.org/pdf/2401.11246.pdf
Topic 2: ORCA2 - Teaching Small Language Models How to Reason https://www.microsoft.com/en-us/research/blog/orca-2-teaching-small-language-models-how-to-reason/
Topic 3: Evolutionary Optimization of Model Merging Recipes https://arxiv.org/abs/2403.13187

Support the show

Wir sprechen heute über Softwareentwicklung mit Hilfe von generativer KI. Genaugenommen geht es nicht nur um Code-Vervollständigung, sondern um automatische Übernahme ganzer Code Aufgaben. Bleiben Sie dran, wenn Sie wissen wollen wo die Entwicklung in diesem Bereich steht. 

AutoDev: https://arxiv.org/abs/2403.08299

Support the show

Ki Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen.

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Common Corpus - https://huggingface.co/blog/Pclanglais/common-corpus
Topic 2: TnT-LLM: Text Mining at Scale with Large Language Models - https://arxiv.org/pdf/2403.12173.pdf
Topic 3: Paloma A BENCHMARK FOR EVALUATING LANGUAGE MODEL FIT - https://arxiv.org/pdf/2312.10523.pdf

Support the show

Ki Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Parameter Efficient Reinforcement Learning from Human Feedback https://arxiv.org/pdf/2403.10704.pdf
Topic 2: NVIDIA Blackwell AI Superchip - https://www.cnbc.com/2024/03/18/nvidia-announces-gb200-blackwell-ai-chip-launching-later-this-year.html
Topic 3: From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning" https://arxiv.org/abs/2308.12032

Support the show

Ki Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Enhancing LLM Factual Accuracy with RAG to Counter Hallucinations: A Case Study on Domain-Specific Queries in Private Knowledge-Bases. https://arxiv.org/pdf/2403.10446.pdf
Topic 2: Simple and Scalable Strategies to Continually Pre-train Large Language Models. https://arxiv.org/abs/2403.08763
Topic 3: Mixture-of-Experts (MoE): The Birth and Rise of Conditional Computation. https://cameronrwolfe.substack.com/p/conditional-computation-the-birth

Support the show

Ki Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Packeten täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking. https://arxiv.org/abs/2403.09629
Topic 2: Lifelong Benchmarks: Efficient Model Evaluation in an Era of Rapid Progress. https://arxiv.org/abs/2402.19472
Topic 3: Stealing Part of a Production Language Model. https://arxiv.org/abs/2403.06634

Support the show

KI generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist, die aktuellen Nachrichten in 5 min. kleinen Podcasts täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren. Wir tun aber unser Bestes.

Topic 1: Chronos: Learning the Language of Time Series - https://arxiv.org/abs/2403.07815
Topic 2: SOTOPIA-π: Interactive Learning of Socially Intelligent Language Agents https://arxiv.org/abs/2403.08715
Topic 3: Knowledge Conflicts A Survey - https://arxiv.org/pdf/2403.08319.pdf

Support the show

Ki generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Paketen täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: AI Act. https://artificialintelligenceact.eu/de/bewertung/eu-ai-act-compliance-checker/
Topic 2: Branch-Train-MiX: Mixing Expert LLMs into a Mixture-of-Experts LLM. https://arxiv.org/abs/2403.07816
Topic 3: Synth 2: Boosting Visual-Language Models with Synthetic Captions and Image Embeddings https://arxiv.org/abs/2403.07750

Support the show

Ki Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Packeten täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Devon AI Softwareeveloper https://www.youtube.com/watch?v=fjHtjT7GO1c
Topic 2: Improving Language Plasticity via Pretraining with Active Forgetting
Topic 3:  Bias-Augmented Consistency Training Reduces Biased Reasoning in Chain-of-Thought. https://arxiv.org/abs/2403.05518

Support the show

Heute sprechen wir über Hintertüren bei Sprachmodellen und was dies für die Sicherheit von LLMs bedeutet. Wir zeigen auf wie Backdoors entstehen könnten und diskutieren die Konsequenz daraus. 

Eine spannende Sendung. Hören Sie rein.

Sleeper Agents: https://arxiv.org/abs/2401.05566
Poisoning Language Models During Instruction Tuning https://arxiv.org/abs/2305.00944

Support the show

Ki Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Packeten täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Can LLMs Reason and Plan? https://arxiv.org/abs/2403.04121
Topic 2: # Functional Benchmarks for Robust Evaluation of Reasoning Performance, and the Reasoning Gap  http://arxiv.org/abs/2402.19450
Topic 3: XAI - ELon Musk will release his LLM Grok as opensource this week
Topic 4: Enhancing Static Analysis for Practical Bug Detection: An LLM-Integrated Approach. https://haonan.me/static/papers/LLift_oopsla.pdf

Support the show

Ki Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Packeten täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Pan. et. al: Unifying Large Language Models and Knowledge Graphs: A Roadmap. https://arxiv.org/pdf/2306.08302.pdf
Topic 2: Yi: Open Foundation Modelx by 01.AI. https://arxiv.org/pdf/2403.04652.pdf
Topic 3: OpenSora - https://github.com/hpcaitech/Open-Sora
Topic 4: Europe AI Office https://digital-strategy.ec.europa.eu/en/policies/ai-office?utm_source=aisecret.us&utm_medium=Aisecret.us&utm_campaign=Daily

Support the show

Ki Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Packeten täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: ShortGPT: Layers in Large Language Models are More Redundant Than You Expect. https://arxiv.org/pdf/2403.03853.pdf
Topic 2: Backtracing: Retrieving the Cause of the Query https://arxiv.org/pdf/2403.03956.pdf
Topic 3: MUFFIN: Curating Multi-Faceted Instructions for Improving Instruction-Following. https://arxiv.org/abs/2312.02436
Topic 4: ## Introducing COLD-Attack: A Framework for Controllable Jailbreaking of LLMs. https://arxiv.org/abs/2402.08679

Support the show

Ki Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Packeten täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic 1: Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology View. https://arxiv.org/abs/2310.02124
Topic 2: Design2Code: How Far Are We From Automating Front-End Engineering? https://arxiv.org/abs/2403.03163
Topic 3: RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval. https://arxiv.org/html/2401.18059v1
Topic 4: Towards General Computer Control: A Multimodal Agent for Red Dead Redemption II as a Case Study. https://arxiv.org/abs/2403.03186

Support the show

Ki Generierte News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten in 5 min. kleinen Packeten täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und Allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die Richtigkeit garantieren.

Topic1: Covert Racism in LLMs: A Study on Dialect Prejudice and its Harmful Consequences https://arxiv.org/abs/2403.00742
Topic2: A Safe Harbor for Independent AI Evaluation https://sites.mit.edu/ai-safe-harbor/
Topic3: IMBUE: Improving Interpersonal Effectiveness through Simulation and Just-in-time Feedback with Human-Language Model Interaction. https://arxiv.org/pdf/2402.12556.pdf
Topic4: Storm: Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models. https://arxiv.org/pdf/2402.14207.pdf

Support the show

In der heutigen Sendung sprechen wir über das automatische Optimieren von Prompts. Wir diskutieren die Möglichketen, wie Prompt Engineering wie ein Optimierungsprozess gesehen  und wie dieser automatisiert werden kann.

Eine spannende Sendung. Hören Sie rein.

Support the show

KI generierte KI News of the Day. Der Pulse ist ein Experiment ob es interessant ist die aktuellen Nachrichten im Bereich KI in 5 Minuten  kleine Audiocasts täglich zu bekommen. 

Er ist vollständig KI generiert. Einzig und allein der Inhalt ist kuratiert. Carsten und ich wählen passende Nachrichten aus. Danach wird sowohl das Manuskript als auch die Audio Datei vollständig automatisiert erstellt.

Dementsprechend können wir nicht immer für die richtigkeit garantieren. Wir versuchen die Qualität der Stimmen über die Dauer zu verbessern. 

Gerne Feedback zu uns.

Support the show

In der heutigen Sendung sprechen wir über das Mergen von Modellen. Ist das der Weg um bessere Modelle zu bauen und was steckt da dahinter? 
All diese Fragen werden von uns in der heutigen Sendung geklärt. Bleiben Sie dran.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen 
erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

In der heutigen Sendung möchten wir über neue Architekturen bei Sprachmodellen reden. Wir zeigen auf, warum es notwendig ist Architekturen zu verbessern und zu überdenken und sprechen über einzelne Ansätze wie Mamba oder StripedHyena. Hören Sie rein.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen 
erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

In der heutigen Sendung sprechen wir über ein neues Sprachmodel, dass bei uns am Lehrstuhl in Ansbach von Matthias Uhlig entwickelt wurde. Es gehört gemäß einzelner Standard LLM Evaluierungframeworks zu den besten deutschen Sprachmodellen. 
Herr Uhlig als Entwickler führt uns durch das Modell und den Entstehungsprozess.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen 
erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

In der aktuellen Sendung des neuen Jahres starten wir mit einem spannenden Thema zum Jailbreaking und Red-Teaming von Sprachmodellen. Bleiben Sie dran.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

In der letzten Sendung des Jahres 2023 sprechen wir über ein spannendes Model von Mistral.ai.: Mixtral 8x7b. Ein sparsed Mixture of Expert Model, das von der Performance auf dem Niveau von ChatGPT 3.5 ist, dabei aber sehr effizient ist und unter Opensource Lizenz veröffentlicht wurde.

Wir machen bis zur zweiten Januarwoche 2024 Urlaub. Danach starten wir wieder durch.  

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen 
erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

In der heutigen Sendung sprechen wir wieder über die Sicherheit von Sprachmodellen. Wir gehen auf die Verfahren von META Purple Llama ein und diskutieren deren Vor- und Nachteile. 

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen  erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

In der heutigen Sendung sprechen wir über die neuen Modelle von META, Seamless Communication. Ist dies der erste Schritt zu einer Babelfisch ähnlichen Technologie? 

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen 
erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

In der heutigen Sendung sprechen wir über Speculative Decoding, eine Methode, mit der die Inferenzzeit um den Faktor 2 - 2,4x beschleunigt werden kann. Wie das Verfahren funktioniert und welche Möglichkeiten es schafft, erfahren Sie in dieser Sendung. Bleiben Sie dran. 

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

In der heutigen Sendung sprechen wir über das neue Speech to Text Model von OpenAI Whisper V3. Welche Veränderungen zu einer besseren Performance führten und wie Whisper Modelle mittels Distillation noch verkleinert werden können. Diese Verkleinerung führt zu ganz neuen Anwendungsfällen.
Bleiben Sie dran.

AI Pin humane: https://hu.ma.ne/

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen 
erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

In der heutigen Sendung sprechen wir über die Neuerungen von OpenAI
und wie die neuen Modelle die AI Landschaft verändern werden.
Bleiben Sie dran.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

Wir haben es geschafft: 100 Episoden. Im Zuge dieser Zahl, wollen wir in dieser Sendung, die letzten 100 Sendungen im Rückblick betrachten und dann aber auch in die Zukunft blicken. Vor allem auch wie sich Sprachmodelle in den nächsten Monaten weiter entwickeln können.

Bleiben Sie dran.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen 
erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

In dieser Sendung sprechen wir mit den Entwicklern von LMQL Marc Fischer und Luca Beurer-Kellner von der ETH Zürich als Ergänzung zu unserer Episode 96 und bekommen so einen tieferen Einblick, in das Framework LMQL.

Bleiben Sie dran.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen 
erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

In dieser Sendung  schauen wir uns mit DSPy ein weiteres
Beispiel für eine Language Model Programming Umsetzung an. 
Diese Umsetzung ist stark an die Struktur von Pytorch angelehnt.

Das Original Paper ist zu finden unter:

DSPy: https://github.com/stanfordnlp/dspy

Bleiben Sie dran.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture von Audi und Capgemini, 
dass die digitale Transformation in der Automobilindustrie vorantreibt. Das Unternehmen 
erarbeitet innovative End-to-End-Prozesse und implementiert maßgeschneiderte IT-Lösungen für seine Kunden.

Support the show

Versprechen wir uns nicht alle, dass unsere Sprachmodelle einen Tatsachencheck durchführen könnten? Wäre es nicht ideal, wenn sie Wissen verifizieren könnten? In unserer heutigen Ausgabe nehmen wir uns Zeit, um genau diese Fragen zu beantworten. In einem tiefgreifenden Gespräch über DoLa Decoding, untersuchen wir verschiedene Techniken zur Verifizierung von Faktenwissen und wie Sprachmodelle damit arbeiten können. Unser Fokus liegt auf dem Paper "DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models Chuang et. al. 2023"

Verwendete Papers:
Chuang, Y. S., Xie, Y., Luo, H., Kim, Y., Glass, J., & He, P. (2023). DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models. arXiv preprint arXiv:2309.03883.

Li, X. L., Holtzman, A., Fried, D., Liang, P., Eisner, J., Hashimoto, T., ... & Lewis, M. (2022). Contrastive decoding: Open-ended text generation as optimization. arXiv preprint arXiv:2210.15097.

Hören Sie rein. 

Der Podcast ist gesponsert von XL2:
XL2 ist ein Joint Venture zwischen dem Premium-Automobilhersteller Audi und dem globalen IT-Beratungsunternehmen Capgemini. Das Unternehmen wurde im Jahr 2020 gegründet und treibt die digitale Transformation für Audi, die Volkswagen-Gruppe und Automotive Leaders voran. XL2 konzipiert und implementiert maßgeschneiderte Lösungen für Logistik- und Produktionsprozesse mit den neuesten Technologien aus den Bereichen SAP, Cloud und Analytics. 

Support the show

Eigentlich, was wäre, wenn wir die Grenzen von traditioneller Programmierung und KI-Sprachmodellen durchbrechen könnten? Stellen Sie sich vor, wir könnten kognitive Leistungen und Prozessautomatisierung auf ein ganz neues Niveau heben. In dieser Folge haben wir uns eingehend mit dem aufstrebenden Feld des Language Model Programming (LMP) beschäftigt und darüber diskutiert, wie die Integration dieser mächtigen Technologie in bestehende Prozesse und Systeme unsere Arbeitsweise revolutionieren kann.

Wir haben uns auf den Weg gemacht, zu erforschen, wie wir programmbezogene Fragmente in ein nativ geschriebenes Programm einbinden können. Dies ermöglicht es uns, Texte mit eingebetteten Funktionsaufrufen zu erstellen. Zudem haben wir die Vorzüge der LMQL Sprache hervorgehoben, die der SQL-Analogie ähnelt.

Hören Sie rein.

Der Podcast ist gesponsert von XL2:
XL2 ist ein Joint Venture zwischen dem Premium-Automobilhersteller Audi und dem globalen IT-Beratungsunternehmen Capgemini. Das Unternehmen wurde im Jahr 2020 gegründet und treibt die digitale Transformation für Audi, die Volkswagen-Gruppe und Automotive Leaders voran. XL2 konzipiert und implementiert maßgeschneiderte Lösungen für Logistik- und Produktionsprozesse mit den neuesten Technologien aus den Bereichen SAP, Cloud und Analytics. 

Support the show

Können Sie sich vorstellen, die Kontrolle über den Output von Sprachmodellen zu haben? Versprechen Sie uns Ihre Aufmerksamkeit für eine halbe Stunden und wir verspreche Ihnen, Sie in die faszinierende Welt der Outputkontrolle von Sprachmodellen zu führen. Wir stecken in einer komplexen Debatte, die weit über das hinausgeht, was wir lesen und hören. Das Gespräch dreht sich um die Automatisierung menschlicher kognitiver Leistung und die Herausforderungen, die sich daraus ergeben. Es geht um die Formulierung von Prompts und die Frage, ob es eine Garantie dafür gibt, dass sich Sprachmodelle daran halten.

In dieser Episode werden wir Ihnen zeigen, wie Sie generierte Elemente in den eigentlichen Prompt einbauen und einen komplexen, mehrschichtigen Aufruf durchführen können. Und wir tun das nicht allein. Mit uns auf dieser Reise sind Frameworks von OpenAI und Microsoft, die uns helfen, den Output zu kontrollieren. Wir diskutieren auch die Bedeutung von Echtzeituntersuchungen und wie wir diese in unsere Arbeit integrieren können.

Schließlich beschäftigen wir uns mit wissenschaftlichen Ansätzen zur Outputkontrolle.  Wir werden auch darüber sprechen, welche anderen Ansätze in der Wissenschaft existieren und wie sie genutzt werden können. Und das ist noch nicht alles. Wir werden auch überlegen, wie wir mächtige Frameworks nutzen können, um Fehlersuchen zu unterstützen. Begleiten Sie uns auf dieser spannenden Reise in die Welt der Sprachmodelle!

Der Podcast ist gesponsert von XL2:
XL2 ist ein Joint Venture zwischen dem Premium-Automobilhersteller Audi und dem globalen IT-Beratungsunternehmen Capgemini. Das Unternehmen wurde im Jahr 2020 gegründet und treibt die digitale Transformation für Audi, die Volkswagen-Gruppe und Automotive Leaders voran. XL2 konzipiert und implementiert maßgeschneiderte Lösungen für Logistik- und Produktionsprozesse mit den neuesten Technologien aus den Bereichen SAP, Cloud und Analytics. 

Support the show

Endlich zurück aus der Sommerpause! 

In dieser Sendung beleuchten wir das Thema Evaluierung erneut, mit Fokus auf wirtschaftliche Aspekte. Lernen Sie interessante Kennzahlen und Metriken für LLM-Entwickler kennen und erfahren Sie, wie mit diesen Ihre Kosten beeinflusst werden können. Tauchen Sie mit uns in die Welt der Sprachmodelle, Evaluierungsprozesse, Kostenstrukturen und GPU-Speicheranforderungen ein.

Vielen Dank auch an unseren Sponsor XL2: 

XL2 ist ein Joint Venture zwischen dem Premium-Automobilhersteller Audi und dem globalen IT-Beratungsunternehmen Capgemini. Das Unternehmen wurde im Jahr 2020 gegründet und treibt die digitale Transformation für Audi, die Volkswagen-Gruppe und Automotive Leaders voran. XL2 konzipiert und implementiert maßgeschneiderte Lösungen für Logistik- und Produktionsprozesse mit den neuesten Technologien aus den Bereichen SAP, Cloud und Analytics.

Support the show

Unser Podcast befasst sich diese Woche mit der Frage, wie Künstliche Intelligenz feministischer gestaltet werden kann. Dabei diskutieren wir mit der Feminismus- und KI-Expertin Eva Gengler darüber, wie man KI nutzen kann, um mehr Gerechtigkeit und Gleichstellung in der Gesellschaft zu erreichen. Wir sprechen über Herausforderungen und Chancen eines feministischen Blicks auf KI.

Eva Gengler (Director @FemAI): https://www.linkedin.com/in/eva-gengler-970144166/

Wir machen eine Sommerpause. Anfang September sind wir wieder für Euch da. 

Support the show

In der heutigen Folge unseres Podcasts gehen wir tiefer auf die Evaluierung von LLMs ein. Wir werden Ihnen das Evaluierungsframework HELM vorstellen, das für Holistic Evaluation of Language Models steht. Es handelt sich um einen holistischen Blick in die Bewertung und Analyse von Sprachtechnologien, der sowohl für Fachleute als auch für interessierte Laien von Interesse sein könnte. Bleiben Sie dran.

Support the show

In der heutigen Episode entführen wir Sie in die faszinierende Welt der Sprachmodellevaluierung. Tauchen Sie mit uns in die Tiefen der Herausforderungen ein und erhalten Sie einen umfassenden Überblick über diverse Frameworks. Für alle Technologie- und KI-Enthusiasten ein absolutes Highlight. Schalten Sie ein und bleiben Sie neugierig!

Support the show

In der heutigen Sendung sprechen wir über das Release von LLama 2 von Meta Research. Wir sprechen das zugrundeliegende Paper durch und diskutieren Funktionsweisen, Möglichkeiten und Unterschiede. Hören Sie rein.

Support the show

In der neuesten Episode unseres Podcasts bringen wir eine kleine, aber aufregende Änderung in unser bisheriges Konzept: Zum ersten Mal präsentieren wir eine LIVE-Podcast Sendung!

Im Zuge des Nürnberg Digital Festivals haben wir uns dem wichtigen Thema "Lebenslanges Lernen" gewidmet und dieses im entspannten Rahmen des Afterworks beleuchtet. Dabei hat uns Johanna, eine Schülerin mit einzigartigen Einblicken, begleitet. Sie hat uns ihre Erfahrungen mit lebenslangem Lernen, sowohl mit als auch ohne Künstlicher Intelligenz, nähergebracht.

Auch wenn es sich um ein neues Format handelt, ist es genauso unterhaltsam wie unsere regulären Episoden. Schalten Sie ein und erleben Sie eine erfrischende Variante unseres Podcasts!

Support the show

In dieser Episode sprechen wir mit Toine Diepstraten und Henri Hagenow über das Hosting von GPUs, sowie das Zusammenstellen von High Performance Computern für das Deep Learning.  Die AIME GmbH (https://www.aime.info/)  hat sich auf den Bau und das Bereitstellen solcher HPC Cluster spezialisiert, entwickeln aber auch Cloud Software zum Trainieren und Betreiben von KI Modellen, wie das AIME Machine Learning Framework Container Management. In Zukunft soll noch eine standardisierte API zum Betrieb von Large Language Models ergänzt werden.

Aktuell haben sie auch einen Beitrag im iX Special "Künstliche Intelligence" (https://www.heise.de/news/iX-Special-Kuenstliche-Intelligenz-ist-da-9188840.html)

Hören Sie rein.

Support the show

In dieser Episode geben wir einen kurzen Überblick über ausgewählte spannende wissenschaftliche Veröffentlichung der KW27. Vor allem sind es folgende vier Papers, die wir für diese Sendung ausgewählt haben:

- Ding et. al.: LONGNET: Scaling Transformers to 1,000,000,000 Tokens https://arxiv.org/pdf/2307.02486.pdf
- Chang et. al.: A Survey on Evaluation of Large LanguageModels (https://arxiv.org/pdf/2307.03109.pdf)
- Ghosal et. al.: FLACUNA: Unleashing the Problem Solving Power of VICUNA using FLAN Fine-Tuning (https://arxiv.org/pdf/2307.02053v1.pdf)
- Chia et. al.: INSTRUCTEVAL: Towards Holistic Evaluation of Instruction-Tuned Large Language Models (https://arxiv.org/pdf/2306.04757.pdf)

Support the show

In dieser Episode sprechen wir über die Einschränkungen von Large Language Modellen, insbesondere die Kontextlänge der verschiedenen Architekturen. Welche Möglichkeiten gibt es die Eingabelänge und Verarbeitungslänge von LLMs zu vergrößern und warum sollte man dies wollen? Hören Sie rein.

Support the show

In dieser Episode tauchen wir in die Welt der Vektor-Datenbanken mit Philip Vollet, Head of Developer Growth by Weaviate, ein. Wir sprechen darüber, was Vector-Datenbanken sind, welche innovativen Projekte mit Weaviate realisiert werden und wie KI zu einem gesellschaftlichen Wandel führt. Außerdem sprechen wir über den Aufbau von Teams und wie wichtig diese in dem momentanen Wandel sind. Unbedingt reinhören!

Support the show

In der heutigen Sendung sprechen wir über die Risiken, die durch eine generelle KI für die Menschheit entstehen kann. Welche Maßnahmen sind zu ergreifen? Wo stehen wir gerade? Würde ein Moratorium, mit dem Ziel alle KI-Entwicklungen zu stoppen, helfen? Diese Fragen betrachten wir in der heutigen Sendung.

Support the show

In der heutigen Sendung steigen wir noch einmal in die Welt der multimodalen Modelle ein. Diesmal sprechen wir über das Bindeglied zwischen dem uni-modalen Bildverarbeitungsmodell und dem uni-modalen Sprachverarbeitungsmodell, den Q-Former. Q-Former sind eine effiziente Methode, das Training von multimodalen Modellen durchzuführen. Wir diskutieren die Architektur, Vorteile, Nachteile und Wirkweisen.

Support the show

In der heutigen Sendung steigen wir in die Welt der multimodalen Modelle ein, die es ermöglichen, nicht nur Textinformationen, sondern auch Bildinformationen von Sprachmodellen verarbeiten zu lassen.

Link zum Paper:

Zhu et. al.: MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models - https://arxiv.org/abs/2304.10592

-- Sponsor der Sendung --
https://www.aime.info/de/
Diese Sendung wird unterstützt von der AIME GmbH. Die Firma AIME sitzt in Berlin und sieht ihre Kernkompetenz innerhalb der Fertigung und des Betriebs hoch spezialisierter Server und Workstations zur Entwicklung Künstlicher Intelligenz. 

Mit Technologie, Innovationsgeist und Know-how entlang der gesamten KI-Wertschöpfungskette ermöglicht AIME ihren Kunden eine zuverlässige und zukunftssichere Produktion von Maschine-Learning- sowie Deep-Learning-Modellen. Mit der GPU-Cloud vermietet AIME günstig Multi-GPU-HPC-Server für Deep-Learning- und Big-Data-Projekte.

Neben der Konstruktion von an Kundenwünschen angepassten individuellen Hochleistungs-Computern mit optimal aufeinander abgestimmten high-end Server-Komponenten wird im AIME-Lab außerdem an Ideen für Anwendungen im Bereich der Künstlichen Intelligenz geforscht.

Die AIME GmbH möchte helfen, die KI-Entwicklung in Europa zu beschleunigen. Mit ihrem Angebot einer kostengünstigen GPU-Cloud sieht AIME sich als Nährboden und Motor einer StartUp-nahen, innovativen Entwicklung der KI-Landschaft innerhalb Europas. AIME ist ein deutsches Unternehmen und möchte den europäischen Standort stärken.

Support the show

In der heutigen Sendung greifen wir das Thema Alignment von Sprachmodelle noch einmal auf. Wir sprechen über den Ansatz "Dromedary - Principle Driven Self Alignment of LLMs" als Beispiel einmal durch. Hören Sie rein.

Link zum Paper: 

Sun et. al.: Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision - https://arxiv.org/abs/2305.03047

Support the show

In der heutigen Sendung sprechen wir über das Alignment von großer Sprachmodelle. Das Alignment bestimmt, wie gut Sprachmodelle menschliche Absichten interpretieren und darauf adäquat reagieren. Hören Sie rein!

Support the show

In der heutigen Sendung sprechen wir mit Dr. Tristan Behrens, er ist Experte für künstliche Intelligenz und ein Pionier bei der Verwendung von generativen Sprach- und Diffusormodellen für die Erstellung von Musik. Als Artist in Residence des KI-Salons Heilbronn kreiert er Exponate, die das Zusammenspiel zwischen KI und Musik aufzeigen. 

Er gibt uns Einblicke, wie KI verwendet werden kann, um Musik zu generieren.

Link zum Youtube-Kanal von Dr. Behrens: https://www.youtube.com/channel/UCcMEBxcDM034JyJ8J3cggRg/videos

Support the show

In der heutigen Sendung sprechen wir mit Andreas Köpf einer der vier Initiatoren des Open-Source-Projekt OpenAssistent.  Das Projekt hat zum Ziel, einen chatbasierten Assistenten zu entwickeln, der die Aufgaben, die er löst, auch versteht. Dabei kann er mit anderen Systemen interagieren und dynamisch Informationen einholen.

Andreas gibt uns einen Einblick hinter die Kulissen der Open-Source Entwicklung und die Herausforderungen, Chancen und Visionen eins solch großen Projektes. 

Wenn Sie wissen wollen, wie  der gesamte Lebenszyklus es Erstellens von Modellen, wie hatGPT aussieht, blicken Sie mit uns hinter die Kulissen und hören Sie rein. 


Link zum Projekt: https://github.com/LAION-AI/Open-Assistant
Link zum Paper des Datensatzes: https://arxiv.org/abs/2304.07327

Support the show

In dieser Episode reden wir über das Paper „Generative Agents: Interactive Simulacra of Human Behavior“ von Park et. al. Wir zeigen auf, wie die Autoren 25 generative Agenten mit der Hilfe von Sprachmodellen erschaffen haben. Diese Agenten agieren in einer virtuellen Spielwelt untereinander. Ferner diskutieren wir, wofür solche Simulationen verwendet werden können.

Link zum Paper: Park et. al.: Generative Agents: Interactive Simulacra of Human Behavior https://arxiv.org/abs/2304.03442

Support the show

In dieser Episode reden wir darüber, ob autonome generative Agenten der Weg zur
generellen KI sind und ob wir gerade den nächsten Hype im Bereich der Sprachmodelle erleben. Wir beleuchten die Projekte Auto-GPT und BabyAGI, die momentan bei GitHub einen starken Fokus auf sich ziehen.

Support the show

In diese Episode reden wir über das spannende Paper „Sparks of Artificial General Intelligence: Early experiments with GPT-4“. 

Es stellt sich die Frage, ob GPT-4 erste Anzeichen einer starken KI (Artificial General Intelligence) aufweist. 

(Link zum Paper: https://arxiv.org/pdf/2303.12712.pdf)

Support the show

In dieser Episode reden wir über die Demokratisierung von großen
Sprachmodellen. Insbesondere die Technologien, wie Modelle kompakt trainiert werden können.

Support the show

In dieser Episode reden wir über das Release des neuen Models GPT-4 von openAI. Sind wir an einem Scheidepunkt mit diesem Model angekommen? Diese Frage klären wir in der heutigen Sendung.

Support the show

In dieser Woche wollen wir darüber sprechen, wie durch die Zusammenführung von Bild und Textdaten in einem Prompt Sprachmodelle in ihrer Leistung gesteigert werden können. Im Detail gehen wir auf das Paper von Zhang et. al. Multimodal Chain-of-Thought Reasoning in Language Models ein.

Support the show

In dieser Woche wollen wir darüber diskutieren, ob Large Language Modelle 
die Fähigkeit zum Argumentieren haben und ob diese Fähigkeit zur Verbesserung der 
Leistung solcher Netze genutzt werden kann.

Support the show

Im Gegensatz zur Sendung der letzten Woche, sprechen wir heute über Sustainability of AI. Wir gehen auf die Abgrenzung ein und zeigen Beispiele und Verfahren auf, wie es zu einer nachhaltigen KI kommen kann. Bleiben Sie dran.

Support the show

In der heutigen Episode sprechen wir über "Sustainable AI". Dabei gehen wir der Frage nach, wie nachhaltig kann AI sein und kann KI die Nachhaltigkeit unterstützen. Hören Sie rein.

Support the show

In der heutigen Sendung wollen wir tiefer auf InstructGPT
eingehen. Instruct GPT ist der Trainingsprozess, der auch bei ChatGPT angewandt wird. 

Support the show

In der heutigen Sendung werden wir über die neusten Entwicklungen von
Sprachmodellen sprechen. Insbesondere über das Aufsehen über ChatGPT und Reinforcement Learning from Human Feedback.

Support the show

In dieser Woche wollen wir wieder mit einer kleinen Miniserie zum Thema Prompting starten. Prompting ist ein faszinierendes Paradigma, große Modelle an die eigenen Anforderungen anzupassen, ohne die Modelle explizit trainieren zu müssen. Hören Sie rein.

Support the show

Nachdem wir letzte Woche über die automatische Spracherkennung gesprochen haben, möchten wir in dieser Sendung gerne über den Prozess der Sprecheridentifikation (Diarization) sprechen. Wir gehen darauf ein, wofür es verwendet werden kann. Welche Schritte notwendig sind und wie dies mit maschinellen Lernen bzw. Deep Learning gelöst werden kann. Hören Sie rein.

Support the show

In der heutigen Sendung sprechen wir über das ASR Modell Whisper, dass uns das Leben durch Spracherkennung erleichtern soll. Wir gehen auf die Grundüberlegungen des Papers ein und beschreiben den Ansatz von Weak Supervision und dessen Vorteile in diesem Kontext. Hören Sie rein.

Support the show

Nach längerer Sommerpause melden wir uns wieder zurück!

In der heutigen Sendung sprechen wir über KI als Assistent für das Erstellen von Texten. Wir gehen auf ein neues Model namens "PEER" ein und erläutern die Vorgehensweise sowie dessen Vor- und Nachteile.

Support the show

Wir sprechen heute über die Entwicklung der Künstlichen Intelligenz in den letzten Jahrzehnten sowie über die sogenannten KI Winter und gehen auf die Gründe deren Entstehungen ein.

Steht uns wieder ein KI-Winter bevor?

Dies ist unsere letzte Sendung vor der Sommerpause. Wir melden uns Anfang September mit weiteren Folgen zurück. Wir wünschen Ihnen eine schöne Sommerzeit und vielen Dank fürs Zuhören.

Support the show

Nach krankheitsbedingter Pause starten wir vor der Sommerpause mit einer weiteren Sendung. Heute sprechen wir über die Architektur REALM eine Architektur für das Open Question Answering. Hören Sie rein.

Support the show

Wir sprechen in der heutigen Sendung über einen Blogbeitrag, der die These aufstellt, dass akademische Forschung im KI Umfeld eine totale Verschwendung ist. Wir wollen in einem lockeren Gespräch dieser These nachgehen.

Support the show

Wir sprechen in der heutigen Sendung über die von Google entwickelte Architektur Lambda, die in den letzten Woche vor allem wegen der Frage ob diese KI ein Bewusstsein entwickelt hat, in den Medien war. 

Ist dies die erste KI mit eigenem Bewusstsein?

Support the show

In der heutigen Sendung sprechen wir über Low Resource Learning zur Unterstützung einer nachhaltigen KI. Wir freuen uns hier Rodrigo Raab im Interview zu haben, der seine Masterarbeit zum Thema "Untersuchung von Low Ressource Learning im Kontext von Natural Language Processing zur Unterstützung einer nachhaltigen KI" geschrieben hat.

Support the show

In der heutigen Sendung, werden wir unser Thema Text Zusammenfassung weiterführen, Wir sprechen  über die Schwächen und Probleme von automatischen Textzusammenfassungen. Gehen auf mögliche Lösungswege ein und diskutieren diese.

Support the show

In der heutigen Sendung kehren wir zu unserer kleinen Miniserie Text Summarization zurück und gehen heute auf abstraktive Zusammenfassungen insbesondere auf das
Model PEGASUS ein. Wir diskutieren den Aufbau, die Beweggründe, die Vorgehensweise und mögliche Schwächen. 

Support the show

In der Woche vom 3.5. bis zum 6.5. hat das Ansbacher KI Transfer und Forschungszentrum AN[ki]T der HS-Ansbach seine Pforten nach zwölf Monaten Vorbereitungszeit endlich geöffnet. Aus diesem Grund haben wir ein Interview mit der Geschäftsführerin Yvonne Wetsch geführt um einige Impressionen hier im Podcast einzufangen.

Support the show

In der heutigen Sendung wollen wir auf Grund von aktuellen Ereignissen von unserer Sprachserie Textsummarization kurz abweichen und Ihnen etwas über das neu vorgestellte Modell OPT-175B von Meta AI erzählen. Insbesondere wie die Veröffentlichung von solchen Modellen die Demokratisierung von Large Language Models vorantreibt und so auch die Forschung in diesem Bereich davon profitiert.

Support the show

In der heutigen Sendung grenzen wir in unserer kleinen Miniserie Textzusammenfassungen Unsupervised zu Supervised Lernverfahren im Bereich der Textzusammenfassung ab und gehen dann auf die Anforderungen und Schwierigkeiten von existierenden Datensätzen ein. 

Support the show

In der 52. Sendung setzen wir unsere Miniserie zum Thema Text Summarization fort und gehen auf den Algorithmus Textrank ein, dass ein einfaches Verfahren für eine Extractive Zusammenfassung ist und sich stark an den von Google entwickelten Pagerank-Algorithmus bedient. 

Support the show

In der 51. Sendung wollen wir einen Einstieg in eine neue Mini-Serie zum Thema Text-Summarization geben, um dann in nachfolgenden Sendungen auf die einzelnen Verfahren im Detail einzugehen. 

Support the show

In dieser Sendung sprechen wir über das Open Neural Network Exchange Format, dass die Austauschbarkeit von Modellen wesentlich erleichtern soll. Wir gehen auf die Komponenten ein, diskutieren Gründe warum man es anwenden sollte und sprechen auch über Risiken. 

Support the show

Diese Woche sprechen, wir über Auto-ML Verfahren, mit denen wir die Aufgaben des maschinellen Lernens noch weiter automatisch lösen wollen. Wir beleuchten, was deren Einsatzzweck ist, welche Bibliotheken es gibt und ob die Data-Scientisten jetzt nun überflüssig werden. 

Support the show