Damit der Stahl hält, was er verspricht, wird seine Mikrostruktur genau analysiert, um frühzeitig Schwachstellen aufzuspüren. Das geschieht heute weitgehend von Hand. Bauteilhersteller wünschen sich schon länger eine automatisierte Bildanalyse-Methode. In einem Kooperationsprojekt hat das Fraunhofer IWM jetzt ein solches Verfahren auf der Basis von neuronalen Netzen entwickelt. Es liefert sichere und reproduzierbare Ergebnisse und ist ein grundlegender Baustein für die durchgängige Digitalisierung der Stahlverarbeitung im Sinne von Industrie 4.0. Die Ergebnisse sind jetzt in den Fachjournalen Nature Communications und npj – computational materials erschienen.
Stahl für Autos, Züge oder Transporter muss viel aushalten können, etwa Vibrationen und Stöße durch Unebenheiten und Schlaglöcher während der Fahrt. Bei einem Unfall soll er die Wucht des Aufpralls abfedern und sich gezielt verformen. Deshalb wird der Stahl bei der Herstellung und vor der Verarbeitung stichprobenartig untersucht. Fachleute für Metalle schauen sich unter dem Mikroskop Stahlproben an, um eventuelle Schwachstellen zu entdecken, an denen später Mikrorisse entstehen könnten, die sich zu großen Schäden auswachsen. Diese Untersuchungen sind zeitraubend und ihre Qualität abhängig von der Erfahrung und der Aufmerksamkeit der Metallographinnen und Metallographen.
Die materialverarbeitende Industrie wünscht sich daher schon länger automatische Verfahren, bei denen künftig Computer den Stahl zügig mit Kennerblick und stets mit derselben Zuverlässigkeit überprüfen. Bislang aber stößt die automatische Bildauswertung an ihre Grenzen, weil die Mikrostruktur des Stahls so komplex ist: Unter dem Mikroskop erscheint die Oberfläche einer Stahlprobe als wildes Mosaik aus unterschiedlichen Strukturen. Hier die kritischen Schwachstellen herauszulesen, ist eine große Kunst.
Angelernte neuronale Netze erkennen Defektstrukturen in lichtmikroskopischen Aufnahmen
In einem gemeinsamen Projekt ist es jetzt einem Team des Fraunhofer-Instituts für Werkstoffmechanik IWM, der Universität des Saarlandes und der Carnegie Mellon University in Pittsburgh gelungen, künstliche neuronale Netze auf die Analyse von Stahloberflächen zu trainieren. Die Ergebnisse sind im Fachjournal Nature Communications erschienen. Die Forschenden haben dabei zwei bisherige Herausforderungen bei der Bildverarbeitung überwunden: die ungenügende Effizienz und die Interpretierbarkeit der neuronalen Netze.
Menschen seien wahnsinnig gut darin, Strukturen effizient zu erlernen und in ganz verschiedenen Umgebungen und Zusammenhängen wiederzuerkennen, sagt Ali Riza Durmaz, Erstautor des Fachartikels und Materialexperte am Fraunhofer IWM. Künstliche neuronale Netze hingegen müssten erst mit einer Vielfalt an Bilddaten trainiert werden. Das ist aufwändig, weil die Bilder, mit denen ein neuronales Netz angelernt wird, zuvor von Hand annotiert werden müssen: Im Bild wird genau definiert, wo sich die Zielobjekte befinden. Bei einem chaotischen Muster wie der Stahloberfläche kommt das einer Sisyphusarbeit gleich.
Für gewöhnlich nutzen Metallographinnen und Metallographen lichtmikroskopische oder elektronenmikroskopische Aufnahmen, um eine Stahlprobe zu begutachten. Sehr viel seltener kommt die aufwändigere Elektronenrückstreubeugung (EBSD) zum Einsatz, welche die Oberfläche des Stahls umfangreicher beschreibt. Dem Team ist es gelungen, die lichtmikroskopischen Aufnahmen mit EBSD-Bildern zu verknüpfen und dabei die EBSD-Bilddaten quasi als automatische Annotation zu nutzen.
Durch diese Automatisierung konnten wir eine größere, fundierte und konsistente Datengrundlage schaffen, um neuronale Netze effizient anzulernen, sagt Durmaz. Jetzt sei die Software in der Lage, Fehlstellen bereits in lichtmikroskopischen Aufnahmen zu erkennen, die sich schnell und unkompliziert anfertigen lassen. Dabei lag der Fokus auf hochwertigen Komplexphasenstählen, die insbesondere im Automobilbau zum Einsatz kommen. Diese weisen eine spezielle Art von Mikrostruktur auf, die sogenannte Bainitphase: Unter dem Mikroskop sind parallel verlaufende Strukturen zu sehen, die nebeneinander liegenden Holzlatten ähneln. Diese Strukturen sind nicht immer ganz deutlich zu erkennen. Daher kann es schwierig sein, die Mikrostrukturen der Bainitphase von unerwünschten Fehlstellen zu unterscheiden. Die von dem Forschungsteam angelernten neuronalen Netze können das jetzt.
Mikrostrukturabweichungen bei verschiedenen Materialoberflächen sicher entdecken
Fast zeitgleich mit der Veröffentlichung in Nature Communications hat Ali Riza Durmaz jetzt eine ergänzende Forschungsarbeit im Magazin npj – computational materials veröffentlicht. Darin hat er zusammen mit Fachleuten von der Universität des Saarlandes und der Ingenieurschule Mines ParisTech eine weitere Herausforderung der automatischen Bildanalyse gelöst.
Bislang besteht das Problem darin, dass neuronale Netze, die auf einen Typ einer Stahlmikrostruktur angelernt wurden, kaum für verschiedene Stähle oder andere Materialien eingesetzt werden können. Das Problem beginnt Durmaz zufolge schon ganz am Anfang: Je nachdem, wie man eine Stahlprobe bearbeite, wie man sie schleife, ätze oder unter dem Mikroskop belichte, erscheint die Mikrostruktur anders. Ein neuronales Netz liege bei der Bildauswertung dann oftmals daneben. Durch bestimmte Lernverfahren, das sogenannte Transfer Learning, ist es Durmaz und seinem Team jetzt gelungen, die neuronalen Netze flexibler zu machen. Sie seien in der Lage, wie ein Mensch zu generalisieren und Strukturen in verschiedenen Umgebungen – also in verschiedenen Stahlproben oder anderen Materialien – zu erkennen.
Industrieunternehmen wünschen sich schon länger eine solche automatische Bildanalyse-Methode. Auf Konferenzen werde immer wieder nach klaren Anweisungen gefragt, wie man Proben aufbereiten müsse, um sie automatisch zu bewerten – wie man die Bilddaten behandeln oder etwa die Pixeldichte einstellen müsse, sagt Durmaz. Mit den Ergebnissen aus unseren beiden Studien liefern wir jetzt genau das: ein flexibles Analyseverfahren, das bei verschiedenen Metalloberflächen sicher und reproduzierbar Abweichungen in der Mikrostruktur entdeckt. Das sei vor allem auch für eine durchgehende Digitalisierung der Metallproduktion im Zuge der Industrie 4.0 wichtig. Die automatische Bilderkennung sei ein grundlegender Baustein für die voll digitalisierte Prozesskette.
Originalpublikationen:
A. R. Durmaz, M. Müller, B. Lei, A. Thomas, D. Britz, E. A. Holm, C. Eberl, F. Mücklich, P. Gumbsch: A deep learning approach for complex microstructure inference; Nature Comm. 12 (2021), Art. 6272; https://doi.org/10.1038/s41467-021-26565-5
A. Goetz, A. R. Durmaz, M. Müller, A. Thomas, D. Britz, P. Kerfriden, C. Eberl: Addressing materials’ microstructure diversity using transfer learning; npj Computational Materials 8 (2022), Art. 27; https://doi.org/10.1038/s41524-022-00703-z
Kontakt:
Ali Riza Durmaz, Fraunhofer IWM,,
E-Mail: ali.riza.durmaz@iwm.fraunhofer.de
- www.iwm.fraunhofer.de
Text zum Titelbild: Kein Kometenregen im Nachtblau, sondern vom Modell als relevant befundene Bildregionen (rot) in der Bainitphase (© Fraunhofer IWM)
