Nachricht

May 26, 2023

Eine Schwäche

Scientific Reports Band 13, Artikelnummer: 12275 (2023) Diesen Artikel zitieren 2674 Zugriffe 11 Details zu altmetrischen Metriken Dreidimensionale Informationen sind für unser Verständnis der Biologie von entscheidender Bedeutung

Wissenschaftliche Berichte Band 13, Artikelnummer: 12275 (2023) Diesen Artikel zitieren

2674 Zugriffe

11 Altmetrisch

Details zu den Metriken

Dreidimensionale Informationen sind für unser Verständnis biologischer Phänomene von entscheidender Bedeutung. Die überwiegende Mehrheit biologischer Mikroskopieproben ist von Natur aus dreidimensional. Allerdings ist die konventionelle Lichtmikroskopie größtenteils auf 2D-Bilder ausgerichtet, während 3D-Mikroskopie und Bildrekonstruktion nur mit speziellen Geräten und Techniken möglich sind. Inspiriert von den Arbeitsprinzipien einer solchen Technik – der konfokalen Mikroskopie – schlagen wir einen neuartigen Ansatz zur Rekonstruktion der 3D-Weitfeldmikroskopie durch semantische Segmentierung von fokussierten und unscharfen Pixeln vor. Zu diesem Zweck untersuchen wir eine Reihe regelbasierter Algorithmen, die üblicherweise für die softwarebasierte Autofokussierung verwendet werden, und wenden sie auf einen Datensatz von Weitfeld-Fokusstapeln an. Wir schlagen ein Berechnungsschema vor, das die Berechnung von Lateral Focus Score Maps der Slices jedes Stapels unter Verwendung dieser Algorithmen ermöglicht. Darüber hinaus identifizieren wir Algorithmen, die für die Erstellung solcher Karten geeignet sind. Um die Praktikabilität unseres Ansatzes sicherzustellen, schlagen wir schließlich ein Ersatzmodell vor, das auf einem tiefen neuronalen Netzwerk basiert und in der Lage ist, scharf fokussierte Pixel schnell und zuverlässig vom unscharfen Hintergrund zu segmentieren. Der auf tiefen neuronalen Netzwerken basierende Ansatz ermöglicht eine erhebliche Beschleunigung der Datenverarbeitung und macht sie für die Online-Datenverarbeitung nutzbar.

Einblicke in biologische Prozesse in drei Dimensionen (3D) zu gewinnen, ist für das Verständnis biologischer Mechanismen sowie für die Verbesserung der Übersetzung zwischen in vitro und in vivo1 von entscheidender Bedeutung. Dem historischen Konzept der Mikroskopie folgend, konzentriert sich die überwiegende Mehrheit der in Laboratorien verwendeten Techniken jedoch weiterhin auf die Erfassung von 2D-Bildern. Neben anderen bestehenden Techniken ist die konfokale Laser-Scanning-Mikroskopie (CLSM)2 nach wie vor die am häufigsten eingesetzte Methode zur Erfassung von 3D-Informationen über biologische Einheiten. Bei der CLSM-Bildgebung filtert die im Strahlengang vorhandene Lochblende das Streulicht heraus und stellt so sicher, dass alle erfassten Intensitäten scharf sind. Dieser Vorgang wird für jede Fokusebene wiederholt, während sich die Erfassung entlang der axialen Achse3 bewegt. Auf diese Weise rekonstruiert CLSM die klaren 3D-Modelle biologischer Einheiten Schicht für Schicht. Weitere wichtige 3D-Bildgebungstechniken umfassen den optischen Schnitt der Probe in der selektiven Ebenenbeleuchtungsmikroskopie (SPIM)1,4 und der holotomographischen Mikroskopie5,6,7. Bei der SPIM- oder Lichtblattmikroskopie erfolgt das optische Schneiden typischerweise durch Beleuchten der Probe mit einem Lichtblatt, das orthogonal zum Abbildungspfad positioniert ist. In der Fluoreszenzmikroskopie ermöglicht dies die Anregung von Fluorophoren nur in der Fokusebene, wodurch die Streuung minimiert wird. Die holotomographische Mikroskopie wiederum nutzt das Prinzip der Holographie, um das 3D-Bild der Probe zu erhalten8. Längere Bildgebungszeiten, hohe Anforderungen an geschultes Personal oder Einrichtungen sowie hohe Ausrüstungskomplexität und -kosten machen diese Techniken jedoch häufig weniger zugänglich als die herkömmliche Weitfeldmikroskopie. Gleichzeitig sind Weitfeldmikroskope und Ferngläser mit Transmissionslicht kostengünstig, in Laboren auf der ganzen Welt reichlich vorhanden und erfordern nur minimale Schulung oder Probenbeschriftung.

Die schrittweise Aufnahme einer größeren durchscheinenden Probe in 3D kann auch mithilfe der Weitfeldmikroskopie durch sequentielle Änderung der Fokusebene durchgeführt werden. Im Gegensatz zum optischen Schnitt3 trägt bei der direkten Anwendung der Weitfeldmikroskopie auf 3D-Proben das gesamte Licht – sowohl fokussiertes als auch gestreutes Licht – zur Bildung eines Bildes bei9. Dadurch wird das Rauschen der anderen Fokusebenen in die aufgenommenen Bilder eingebracht, die Kontrastinformationen verringert und die Qualität der 3D-Rekonstruktion verringert. Die Möglichkeit, fokussierte und unfokussierte Teile jedes Fokusschnitts zu trennen, würde nicht nur eine präzise 3D-Rekonstruktion der Probe ermöglichen, sondern diese Bildgebungsmodalität auch quantitativ machen. Dies wäre durch eine klare Trennung von Hintergrund- und Vordergrundpixeln möglich.

Die Trennung scharfer und unscharfer Mikroskopiebilder ohne Referenz kann algorithmisch mithilfe der bildbasierten (passiven) Autofokussierung erreicht werden10. Scharfgestellte Bilder von Proben sind häufig reich an Kontextmustern, die dazu führen, dass benachbarte Pixel im scharfgestellten Bild im Vergleich zum unscharfen Bild weniger autokorrelativ sind. Dies wiederum führt zu einem größeren Kontrast, größeren Intensitätsbereichen und schärferen Konturinformationen in den scharfgestellten Bildern, wodurch es möglich wird, den Scharfeinstellungsstatus der Bilder zu beurteilen. Viele passive Autofokus-Algorithmen, zum Beispiel Vollath11,12, Brenner13 und Variance14, basieren auf diesem Konzept. Ein weiterer, kürzlich vorgeschlagener Ansatz15 verwendet eine diskrete Wavelet-Transformation16, die mit der Unschärfe des Bildes abnimmt. Die meisten von ihnen werden jedoch verwendet, um den Fokusstatus der gesamten Bilder oder Schichten in einem Fokusstapel zu bewerten. Darüber hinaus sind die meisten dieser Algorithmen relativ langsam zu berechnen. Dies kann mithilfe von Ersatzmodellen für maschinelles Lernen (ML) angegangen werden. Beispielsweise erweisen sich Modelle, die auf tiefen neuronalen Netzen (DNNs) basieren, in letzter Zeit als vielversprechend für eine Vielzahl von Mikroskopieanwendungen17,18,19. Mit der Entwicklung haben DNNs bei verschiedenen Computer-Vision-Aufgaben (Bildklassifizierung20, Segmentierung21 und Objekterkennung usw.) an Popularität gewonnen. Durch Faltungsoperationen extrahieren die DNN-Modelle Merkmale aus Bildern in mehreren Maßstäben. Diese vielfältigen Funktionen verbessern die Genauigkeit von Sehaufgaben. Insbesondere in Waller et al.19. haben das Potenzial von DNNs in der 3D-Mikroskopie untersucht19. Chen et al.22 schlugen ein 3D-Faltungs-DNN vor und validierten den Algorithmus für die Segmentierung medizinischer Bilder. Es ist jedoch bekannt, dass DNN-Modelle die beste Leistung erbringen, wenn sie in einer überwachten ML-Umgebung verwendet werden, die eine manuelle Datenannotation erfordern würde.

Um den Aufwand manueller Annotationen zu verringern, haben wir hier ein neuartiges DNN-Modell für Weitfeld-Fokusschnitte durch Fokuspixelsegmentierung erstellt, trainiert mit algorithmisch abgeleiteter Ground Truth (GT). Um die Relevanz weiter zu verbessern, führen wir dann eine Feinabstimmung des manuell segmentierten GT durch. Es ist erwähnenswert, dass ähnliche Ansätze zur algorithmischen Ermittlung der GT bereits zuvor vorgeschlagen wurden23,24,25. Der von uns verwendete Weitfeld-Mikroskopie-Bilddatensatz enthält In-vivo-Transmissionslicht-Fokalstapelmikroskopaufnahmen des Kopfes der Danio rerio-Larve (Zebrafisch)26,27. Um die GT zu erhalten, haben wir 9 Algorithmen untersucht, die üblicherweise bei Autofokus-Aufgaben verwendet werden, darunter Brenner13, Variance28, Tenengrad10,29 usw. Diese Algorithmen erhielten Fokus-Score-Karten jeder Schicht unter Verwendung eines Schiebefensteransatzes und einer Maxima-Z-Projektion. Als nächstes verglichen wir die Empfindlichkeit der Fokusmessalgorithmen, indem wir die Ausgabe der Fokusmessalgorithmen als Fokusbewertung verwendeten. Um sicherzustellen, dass die Ausgabe dieser Algorithmen einen guten Proxy für Pixel im Fokus darstellt, haben wir diese Ausgaben mit einer manuell kommentierten Testteilmenge (manuell segmentierte GT) verglichen. Wir kamen zu dem Schluss, dass fünf Detektoren – Varianz, Vollath, Standardabweichung14,30, Brenner und Laplace – anderen bei der Erkennung von Änderungen der Fokusebenen überlegen waren. Es ist erwähnenswert, dass Standardabweichung und Varianz, obwohl sie korrelieren, bei der Beurteilung des Kontrasts unterschiedlich skalieren. Nach der Bewertung der Zielsegmentierungsqualitäten kamen wir zu dem Schluss, dass der Standardabweichungsdetektor (STD) die anderen bei der Bewertung des Fokusstatus von Bildern übertrifft. Als Nächstes haben wir ein DNN-Modell mit der U-Net31-Architektur übernommen, um ein Ersatzmodell zu erhalten, das den vorherigen Berechnungsprozess für den Focal-Score beschleunigt.

Unsere Ergebnisse legen nahe, dass DNN unter Verwendung herkömmlicher Algorithmen als schwache Etiketten als Ersatzmodell für die Erkennung von Pixeln im Fokus in stabiler Qualität eingesetzt werden kann. Diese Lösung trennt die im Fokus befindlichen Pixel aus Bildstapeln der Weitfeldmikroskopie, ermöglicht den optischen Schnitt auf digitale Weise und macht die 3D-Informationen der Probe sichtbar. Dies wiederum kann die In-vivo-3D-Bildgebung für Labore mit bescheidenen Mitteln allgemein zugänglich machen.

Der Datensatz dieser Arbeit stammt aus der Beobachtung von In-vivo-Larvenköpfen von Zebrafischen (Danio rerio), die als Fokalstapel mit einem Stereomikroskop (Leica M205FA; Leica Microsystems, Nussloch GmbH, Nussloch, Deutschland) aufgezeichnet wurden. Alle Bilder wurden bei 130-facher Vergrößerung mit einem 1-fach-Objektiv aufgenommen. Die laterale Auflösung betrug 0,79 μm pro Pixel. Um einen Fokusstapel zu erhalten, wurden zwanzig Z-Ebenen über einen gesamten axialen Abstand von 171 μm in Abständen von 8,55 μm erfasst und als TIFF-Stapel gespeichert26. In jeder Datei befindet sich das Ziel in der Mitte des Sichtfeldes. Wie in26 angegeben, wurden die Tierversuche gemäß dem Animals (Scientific Procedures) Act von 1986 durchgeführt und vom Innenministerium genehmigt (Projektlizenzen PPL P84A89400 und P4E664E3C).

Die Fokusmessalgorithmen14 bewerten den Fokusstatus anhand der Pixelwertmuster in Bildern. Solche Algorithmen ergeben die höchste Fokusbewertung für die Pixelintensität im Fokus. Der Fokuswert nimmt ab, wenn sich die Fokusebene ändert. Während in der Literatur eine große Anzahl von Fokuserkennungsalgorithmen vorgeschlagen wurde (in Artikel28 besprochen, einschließlich einer Auswahl eines Autofokussierungsalgorithmus). In dieser Arbeit untersuchen wir die 9 am häufigsten verwendeten Algorithmen. Die Algorithmen können aufgrund ihres Designs in drei Kategorien eingeteilt werden.

Diese Algorithmen gehen davon aus, dass scharfe Bilder mehr hochfrequente Inhalte enthalten. Daher ändert sich die Pixelintensität stärker als bei Out-Focus-Bildern. Diese Intensitätsschwankungen können durch die Berechnung der Ableitungen von Pixelwerten erkannt werden. Nachfolgend haben wir die fünf vielversprechendsten Algorithmen ausgewählt.

Brennergefälle13. Dieser Algorithmus berechnet die Ableitung erster Ordnung zwischen dem Zielpixel und seinen Nachbarn. Gleichung 1 wird unten mit \({(i(x+1, y) - i(x,y))}^{2}\ge \theta\) dargestellt. Hier ist \(\theta\) ein manuell definierter Schwellenwert.

Dabei entspricht \(x\) der Pixelposition in horizontaler Richtung, während \(y\) die vertikale Richtung angibt und i dem Pixelwert (Intensität) entspricht.

Tenengrad29. Dieser Algorithmus leitet sich vom Sobel-Operator ab, indem er die Kontur sowohl in horizontaler als auch in vertikaler Richtung erkennt (\({S}_{x}(x, y)\) und \({S}_{y}(x, y)\ )).

Dabei ist \(x\) die Pixelposition in horizontaler Richtung und \(y\) vertikal. \({S}_{x}\) steht für den Sobel-Score in \(x\)-Richtung und \({S}_{y}\) bedeutet in \(y\)-Richtung.

Laplace32. Dieser Algorithmus faltet das Bild mit Laplace-Operatoren und summiert die Werte.

x entspricht der Pixelposition in horizontaler Richtung, während y die vertikale angibt. \({L}_{x}\) steht für den Laplace-Score in x-Richtung und \({L}_{y}\) bedeutet in y-Richtung.

Der Sum Modulus Difference (SMD)33-Algorithmus berechnet die Ableitung erster Ordnung zwischen Pixeln und Nachbarn. Hier repräsentiert \(F_{SMD}\) den SMD-Score sowohl in \(x\)- als auch in \(y\)-Richtung.

wobei \(x\) die Pixelposition in horizontaler Richtung angibt und \(y\) die vertikale Richtung angibt.

Vollath11,12. Der Vollath-Algorithmus berechnet die Ableitung zwischen der Pixelintensität sowohl in horizontaler als auch in vertikaler Richtung.

Dabei entspricht \(i\) der Pixelposition in horizontaler Richtung, während \(j\) die vertikale angibt. \(g(i, j)\) steht für die Graustufenintensitäten in Position (i, j)

Diese Algorithmen unterscheiden den Fokusstatus anhand statistischer Bildmerkmale (Varianz, Standardableitung, Korrelation usw.). Im Vergleich zu den auf Ableitungen basierenden Algorithmen sind solche Algorithmen stabiler gegenüber Rauschen. Die Kandidaten für diese Arbeit sind unten aufgeführt.

Standardabweichung14,30. Wenn die Bilder scharf sind, ist der Kontrast der Pixelwerte hoch. Dies kann durch die Berechnung der Standardabweichung ermittelt werden, wie unten dargestellt

Dabei entspricht \(x\) der Pixelposition in horizontaler Richtung, während \(y\) die vertikale angibt. \(H\) und \(W\) stehen für die Höhe und Breite des Bildes. \(\mu\) ist der Mittelwert des Bildes und i steht für die Pixelintensität.

Varianz14. Ähnlich wie die Standardabweichung kann auch die Varianz den Pixelkontrast ermitteln. Allerdings verstärkt die Leistungsoperation speziell im Hinblick auf die Varianz die Variationsunterschiede von Pixelwerten.

Dabei entspricht \(x\) der Pixelposition in horizontaler Richtung, während \(y\) die vertikale angibt. \(H\) und \(W\) stehen für die Höhe und Breite des Bildes, \(\mu\) ist der Mittelwert des Bildes.

Diese Algorithmen bewerten die Muster der Intensitätsverteilungen. Diese Arbeit untersucht einen unten beschriebenen histogrammbasierten Algorithmus.

Entropiealgorithmus34. Bei dieser Methode wird davon ausgegangen, dass die scharfen Bilder mehr Informationen über das Ziel enthalten. Daher weist es höhere Entropiewerte auf.

wobei \({p}_{i}\) die Wahrscheinlichkeit von Pixeln mit Intensität an der Pixelposition \(i\) ist.

Diskrete Wavelet-Transformation (DWT)15,16.

wobei das w in der Gleichung das Wavelet angibt. Das \({h}_{w}(img)\) steht für die Hochpassbänder, während das \({l}_{w}(img)\) das Tiefpassband darstellt.

Um die Fokus-Score-Karten der hochauflösenden Mikroaufnahmen zu erhalten, verwendeten wir ein Schiebe-(Kontext-)Fenster-Scanschema35. In diesem in Abb. 1a dargestellten Algorithmusschema wird das Kontextfenster mit einem festen Schritt (Schritt) über das Bild bewegt. Für jeden Schritt wurden die zuvor beschriebenen Fokuswerte (9 oben beschriebene Algorithmen) für Pixel innerhalb des Kontextfensters berechnet. Entsprechend der jeweiligen x- und y-Position des Kontextfensters wurden die Werte der jeweiligen Fokus-Scores dann in der bildweiten Focus-Score-Karte zusammengesetzt.

Sliding-Window-Scan-Ansatz zur Berechnung von Fokus-Score-Maps. (a) Zeigt ein Wahrnehmungsfenster, das über die Weitfeldmikroskopiebilder in x- und y-Richtung gleitet, während der Fokusstatus von Pixeln ausgewertet und die Fokus-Score-Karten ausgegeben werden. Die drei Zeilen zeigen die Scanergebnisse mit Fenstergrößen (64, 128, 256). Die Focus-Score-Karten mit größeren Wahrnehmungsfenstern zeigen weniger Details. Die drei Spalten stehen für unterschiedliche Schrittpläne für bestimmte Fenstergrößen. (b) Zeigt die axiale Empfindlichkeit von Fokusmessungen. Der Bildstapel enthält 20 Bilder – von der unscharfen Schicht 0 bis zur fokussierten Schicht 19 (dargestellt auf der OX-Achse). Der Min-Max-normalisierte Fokuswert für jeden getesteten Algorithmus wird auf der OY-Achse angezeigt. Die Abbildungslegende benennt die Algorithmen in der Reihenfolge des maximal erreichten Fokus-Score-Werts. (c) Zeigt die seitliche Empfindlichkeit von Fokusmessungen. Die Schichten eines Stapels reichen von unscharf (links) bis scharf (rechts). (d) Die obere Reihe zeigt ein Beispiel dafür, wie die drei Detektoren (Varianz, Standard und Laplace) die fokussierten Pixel in der mittleren Schicht markiert haben. Dieses Segment enthält Pixel sowohl aus dem Fokus als auch aus dem Fokus. Die untere Reihe zeigt Zusammenführungen der Karten mit Mikroskopiebildern. Der Maßstabsbalken in allen Bildern beträgt 500 µm.

Die Berechnung der Fokuswerte unter Verwendung des Schiebefensterschemas wurde für jede Schicht des Bildstapels in beiden Schrittrichtungen (vertikal und horizontal) wiederholt. Es erstellt eine Fokus-Score-Karte des gescannten Bildes. Durch Ändern der Schrittparameter generiert dieser Scan mehrere Fokus-Score-Karten mit unterschiedlichen Wahrnehmungen. Da die Schiebefenster unabhängig von der vertikalen oder horizontalen Schrittweite auf einem festen Gitter berechnet werden, sind die Ergebnisse dieser Berechnungen isotrop. Da die fokussierten Pixel bei jedem Scan höhere Werte erzielen, erreichen ihre Fokuswerte in den Stapeln ihren Höhepunkt. Um die deutlichen Änderungen für jeden Scan zu erhalten, verstärken wir den Unterschied zwischen im Fokus und außerhalb des Fokus befindlichen Pixeln durch die Maxima-Z-Projektionen des Fokus-Score-Stapels. Dieser Vorgang behält die höchste Fokusbewertung für Patches bei. Bei wiederholtem Scannen steigt der Fokuswert der Pixel im Fokus steiler an als der der Pixel außerhalb des Fokus. Schließlich erhalten wir eine Fokus-Score-Karte für jeden Abschnitt des Fokusstapels, indem wir sie wieder zu einem Stapel zusammenfügen und sie maximieren Z-Projektion. Dadurch ist es möglich, die fokussierten Pixel von den Bildern zu unterscheiden. Um die Wahrnehmung zu diversifizieren, können den Schrittparametern und der Größe der Fenster mehrere Werte zugewiesen werden, wie in Abb. 1 dargestellt. Dadurch wird die durch die Scanparameterkonfigurationen verursachte Verzerrung komprimiert. Algorithmisch wird das gesamte Verfahren im folgenden Notebook demonstriert: notebooks/focalMap_demo_update.ipynb, das in unserem Online-Repository zu finden ist: https://github.com/casus/deepfocus.

Jeder Weitfeldmikroskopie-Datensatz enthielt zwanzig Z-Schnitte – von scharf bis unscharf. Neben den Änderungen des Fokusstatus in der lateralen Ebene (Abb. 1a) unterscheidet sich die Fokusebene auch entlang der axialen Richtung. Wir haben das Scanschema in Abb. 1b vorgeschlagen. Auf die verschiedenen Schichten angewendet, bewerteten die neun oben genannten Fokussegmentierungsalgorithmen die Pixel und gaben für jede Schicht einen Fokuswert aus. Da jede Schicht unterschiedlichen Fokusebenen entspricht, variierten die Fokuswerte voneinander. Dadurch ist es möglich, die fokussierte Schicht in axialer Richtung von den Stapeln zu unterscheiden. Je größer die Differenz der Fokuswerte zwischen den Schichten ist, desto besser können die Algorithmen die unscharfen Schichten erkennen.

Diese Arbeit schlägt ein 7-schichtiges symmetrisches U-Net-Modell mit einer 3-schichtigen Encoder- und Decoderstruktur vor, die wie folgt angeordnet ist: C256-C128-C64-C32-DC64-DC128-DC256. Dabei steht „C“ für die Faltungsschicht, während „DC“ für die Dekonvolutionsschicht steht. Die folgende Zahl gibt die Anzahl der Ausgabekanäle an. Dieses U-Net segmentiert die fokussierten Pixel aus den Weitfeld-Mikroskopiebildern durchgängig. Dadurch wird die Berechnung des rechenintensiven Fokus-Scores, der als Ersatzmodell fungiert, umgangen. Für den Trainingsdatensatz verwenden wir die vorherigen Focus-Score-Maps als GT-Masken. Als Eingabe diente das Weitfeldmikroskopiebild gepaart mit den entsprechenden GT-Masken. Das U-Net-Modell lernt die Übertragung zwischen rohen Weitfeldbildern und GT-Masken direkt. Diese GT-Masken dienen als Referenz für die Fokussegmentierung. Nach dem Training übersetzt das Modell die Bildstapel der Weitfeldmikroskopie in entsprechende 3D-Pixelinformationen.

Die GPU-Berechnungen für diese Arbeit wurden auf einem Tesla V100 durchgeführt und die 9 regelbasierten Algorithmen wurden auf einem AMD Rome-Kern ausgeführt. Die Trainingsgeschwindigkeit für unsere DNN-basierte Lösung beträgt durchschnittlich 1 s/Epoche, was zu einer Trainingszeit von 8,5 Minuten für maximal 1000 Epochen führt. Um eine Überanpassung zu vermeiden, haben wir ein frühes Stoppen implementiert.

Das Training (Vortraining) und die Feinabstimmung wurden mit Adam als Optimierer und einer anfänglichen Lernrate von 0,001 durchgeführt. Die Chargengröße betrug 16 bzw. 1 für das Training und die Feinabstimmung. Frühzeitige Stopps erfolgten in den Epochen 425 und 700 für Training bzw. Feinabstimmung. Unsere Datensätze bestanden aus 69 Stapeln (1380 Bilder) für das Vortraining zur algorithmischen GT. Innerhalb dieses Datensatzes teilen wir die Stapel im Verhältnis etwa 0,8:0,1:0,1 auf, um Trainings-, Validierungs- und Test-Holdouts zu erhalten. Zur Feinabstimmung verwendeten wir 5 Stapel mit manuell abgeleiteter GT (100 Bilder), begleitet von 3 Stapeln (60 Bildern) zur Validierung und 3 Tests.

Um einen Ansatz für die Erkennung von Fokusregionen zu entwickeln, haben wir einen veröffentlichten Datensatz der In-vivo-Weitfeldmikroskopie von Danio rerio (Zebrafisch) verwendet26. In diesem Datensatz befindet sich der Teil des Kopfes des Zebrafisches in der Mitte des Sichtfeldes. Jede Beobachtung besteht aus einem Stapel von 20 Bildern, die in verschiedenen Fokusebenen aufgenommen wurden (Fokalstapel). Das letzte Segment (Nr. 19) des Stapels enthält hauptsächlich scharfe Pixel, während die meisten Pixel im ersten Segment (Nr. 0) unscharf sind. Die verbleibenden Schichten enthalten eine Mischung aus scharfen und unscharfen Signalen (Einzelheiten finden Sie unter „Methoden“). Als Ergebnis haben wir 69 Stapel (1380 Bilder) für das Vortraining zur algorithmischen GT verwendet, mit einer Aufteilung von 0,8:0,1:0,1 für Training, Validierung und Test-Holdouts. Zur Feinabstimmung verwendeten wir 5 Stapel mit manuell abgeleiteter GT (100 Bilder), begleitet von 3 Stapeln (60 Bildern) zur Validierung und 3 Tests.

Die Weitfeldmikroskopie-Datensätze von Massenobjekten, ähnlich denen, die wir hier verwendet haben, enthalten häufig scharfe und unscharfe seitliche Bereiche in jeder Schicht des Fokusstapels. Diese Bereiche ändern sich von Schicht zu Schicht, wenn die Brennebene durch die Masse der Probe verläuft. Um die Bereiche der Schicht, die im Fokus sind, von denen zu unterscheiden, die nicht im Fokus sind, haben wir Algorithmen untersucht, die typischerweise für die Erkennung der Brennebene in axialer Richtung verwendet werden. Für jeden Unterbereich (siehe Schiebefensterschema im Abschnitt „Methoden“) in jedem Schnitt des Fokusstapels haben wir eine Punktzahl berechnet, die dem Algorithmus zur Erkennung der Fokusebene entspricht (Abb. 1). Konkret haben wir die folgenden 9 Algorithmen verglichen: Brenner, Tenengrad, Laplace, SMD, Vollath, Std, Varianz, Entropie und DWT. Um den Algorithmus zu bestimmen, der am besten zur Erkennung seitlich fokussierter Pixel geeignet ist, haben wir drei Hauptkriterien verwendet: die Fähigkeit, die Verschiebung in der axialen Richtung zu erkennen, Detailerhaltung und Rechenzeit.

Abbildung 1a zeigt die Scanergebnisse eines Bildes (Schnitt). Um die Homogenität des Originalbildes zu bewahren, verwendet diese Arbeit ein quadratisches Wahrnehmungsfenster (siehe Abschnitt „Methoden“). Wie im linken Teil des Panels dargestellt, verschob sich das Wahrnehmungsfenster sowohl in horizontaler als auch in vertikaler Richtung in der gleichen Schrittgröße. Wir haben die folgenden Fenstergrößen getestet: 64, 128 und 256. In diesem Experiment haben wir die Schritte (Schrittgrößen) 16, 32, 64 und 128 getestet. Wir haben eine Fokus-Score-Karte für jeden Abschnitt des Fokusstapels erhalten, indem wir sie wieder zu einem Stapel zusammengesetzt und sie maxima-z-projiziert haben (siehe „Methoden“).

Wie in der Fokus-Score-Karte im rechten Teil von Abb. 1a dargestellt, weist die Helligkeit auf einen hohen Fokus-Score hin. Wir stellten fest, dass das Scanergebnis umso detaillierter war, je kleiner das Wahrnehmungsfenster war. Ein kleines Wahrnehmungsfenster konnte jedoch die niederfrequenten Informationen (die globalen Merkmale) nicht anzeigen. Beispielsweise wurden in der ersten Zeile nur Konturinformationen extrahiert, während in der anderen Zeile mehr globale Informationen erhalten blieben. Umgekehrt ging beim Scannen das Hochfrequenzsignal (Bilddetails) durch das große Fenster verloren, was zu unerwünschten Ergebnissen führte. Bemerkenswerterweise gelang es der dritten Reihe zwischen der zweiten und dritten Reihe nicht, die detaillierten Konturinformationen zu erfassen. Aufgrund des Gleichgewichts zwischen Nieder- und Hochfrequenzsignalen erwies sich die Fenstergröße 128 als geeignetere Wahl sowohl für globale Merkmale als auch für lokale Details. Als nächstes untersuchten wir die Schrittparameter für diese optimale Wahrnehmungsfenstergröße (Abb. 1a, zweite Reihe). Wir haben festgestellt, dass die endgültigen Fokuswerte auf der Karte umso gleichmäßiger sind, je kleiner die Schritte sind. Eine glatte Fokus-Score-Karte zeigt die Strukturdetails des Zebrafisches (Augenkontur, Körperkomponenten). Umgekehrt ermöglichen größere Schrittschritte die Speicherung globalerer Informationen. Dies verhindert, dass das Scannen der Fokus-Score-Karte zu einer einfachen Methode zur Konturerkennung wird. Wir haben außerdem festgestellt, dass alle Schrittparameter auf verschiedenen Ebenen wertvolle detaillierte Informationen lieferten. Daher sollte ein besserer Scanprozess mehrere Schrittwerte enthalten, um sowohl hochfrequente Informationen als auch lokale Details zu bewahren.

Um die geeignete Fokusmetrik für jede Region zu bestimmen, haben wir die neun beschriebenen regelbasierten Algorithmen auf den Weitfeldmikroskopie-Datensatz angewendet. Von der besten Fokusmetrik wurde erwartet, dass sie Bilder auf unterschiedlichen Fokusebenen kontinuierlich in axialer Richtung unterscheiden würde. Der fokussierte Bereich sollte den höchsten Wert erhalten, während der unscharfe Bereich den niedrigsten Wert erreichen sollte. Vor diesem Hintergrund haben wir die Ergebnisse jedes Algorithmus im Vergleich zur Entfernung vom perfekten Fokus einer Region (Defokus) gemessen. Abbildung 1b zeigt die Empfindlichkeitserkennung für Änderungen der Brennebene.

Wir haben festgestellt, dass sechs (Varianz, DWT, Vollath, Std, Brenner und Laplace) der neun Algorithmen die Änderungen der Brennebene erfolgreich erkannten – von Schicht Nr. 0 bis Schicht Nr. 19. Interessanterweise erkannte der Vollath-Algorithmus den Unterschied zwischen scharfe Bilder und unscharfe Bilder. Es gelang ihm jedoch nicht, die Änderungen kontinuierlich in den mittleren Abschnitten der Stapel zu erkennen. In diesen Schnitten war die Anzahl der Pixel im Fokus visuell mit der Anzahl der Pixel außerhalb des Fokus vergleichbar (Schnitt mit gemischtem Fokus). Allerdings variierte der Vollath-Score seit der fünften Schicht nur geringfügig (siehe Abb. 1b). In Tabelle 1 haben wir den Zeitaufwand für alle neun Kandidaten ausgewertet. Im Vergleich zu den anderen Kandidaten waren die Algorithmen von Brenner und Vollath für die gleichen Bilder viel rechenintensiver (16 Minuten pro Schicht gegenüber weniger als 1 Minute bei anderen Kandidaten). Dennoch waren die Ergebnisse geringfügig besser als bei Laplace. Gleichzeitig bewahrte Laplace eine große Anzahl feinerer Strukturen. Daher kamen wir zu dem Schluss, dass die vier Algorithmen – Varianz, DWT, Laplace und Std – andere Algorithmen hinsichtlich der Empfindlichkeit entlang der axialen Richtung übertreffen.

Im Gegensatz zur Fokusebenenerkennung in axialer Richtung erfordert die Aufgabe der Erkennung fokussierter Teile der Probe eine Fokusmessung, um sowohl den Fokusstatus als auch die Konturinformationen in lateralen Richtungen zu unterscheiden. Die Abb. 1c zeigt den Fokusstatus zweier Bilder. Beim Zoomen in denselben Ausschnitt dieser Bilder zeigen die Pixelintensitäten unterschiedliche Konturinformationen an. Der optimale Algorithmus sollte den korrekten Bildinhalt während der Fokusstatuserkennung bewahren. In der ersten Zeile von Abb. 1d haben wir die Fokus-Score-Karte aus den Bildern mit gemischtem Fokus (mittleres Segment, Mischung aus scharfen und unscharfen Pixeln) mit den drei oben genannten Algorithmen berechnet. Die mithilfe des Laplace-Operators ermittelten Konturinformationen unterscheiden sich von den beiden anderen. Um die Unterschiede zu validieren, haben wir die Fokus-Score-Karte mit dem entsprechenden Mikroskopiebild in der zweiten Zeile von Abb. 1d zusammengeführt. Die segmentierte Kontur von Laplace scheint im Vergleich zu Std und Varianz relativ weniger Details zu zeigen.

Um bei dieser Beurteilung eine Verzerrung des Datensatzes zu vermeiden, haben wir die Leistung der Varianz-, DWT-, Std- und Laplace-Algorithmen bei synthetischen Bildern weiter untersucht (siehe Abbildung 1). Hierzu verwendeten wir das Shepp-Logan-Phantom (Shepp & Logan 1974) mit und ohne Gaußsche Unschärfe unterschiedlichen Grades (Kernelgröße 6 × 6 und 12 × 12). Der Vergleich zeigte, dass DWT-, Std- und Varianz-Algorithmen zwar in der Lage waren, die Niederfrequenzdetails perfekt zu bewahren, während nur Std und Laplace in der Lage waren, die Hochfrequenzdetails zu bewahren. Bemerkenswerterweise war der Std-Algorithmus in der Lage, sowohl Hochfrequenz- als auch Niederfrequenzdetails beizubehalten und dabei fast so schnell zu rechnen wie Variance – der schnellste Rechenalgorithmus in unserem Vergleich (siehe Tabelle 1).

Durch Schwellenwertbildung der Fokus-Score-Karte mit dem Otsu-Algorithmus36 haben wir die Fokus-Score-Masken als Referenzen für fokussierte Pixel erhalten. Diese Maske behält nur die Pixel der Zielbrennebene bei und filtert Pixel aus anderen Brennebenen heraus. In Abb. 2a haben wir die Segmentierungen der drei Fokusalgorithmen (Laplace, Varianz und Std) zur Validierung mit der manuell segmentierten GT verglichen. Der Laplace-Operator weist erhebliche Unterschiede zum manuellen GT auf. Daher sind wir zu dem Schluss gekommen, dass es den beiden anderen bei der Beibehaltung des korrekten Bildinhalts unterlegen ist. Es ist zu beachten, dass die Varianz die fokussierten Pixel konservativer markiert. Dies führt zum Verlust von Probeninformationen. In Abb. 2b haben wir den Informationsverlust von zwei Algorithmen (Variance und Std) für ganze Stapel bewertet. Im Vergleich zum manuellen GT blieben beim Variance kaum die vollständigen Konturinformationen erhalten. Der Std zeigte jedoch Übereinstimmung mit dem manuellen GT. Dies macht den Std zum Fokusalgorithmus der Wahl, der die Fokusempfindlichkeit und die Fähigkeit zur Erkennung der Morphologie von Proben sowie eine schnelle Berechnungszeit erfüllt.

Fokusmasken und Pixelsegmentierung. (a) Zeigt binäre Masken aus den Fokusmessungen entsprechend dem jeweiligen Algorithmus. Um Masken zu erhalten, wurden die Fokus-Score-Karten mithilfe des Otsu-Schwellenwerts binarisiert. Der Vergleich mit den manuell markierten Ground Truth (GT)-Masken wird auf der rechten Seite dargestellt. (b) Zeigt fokussierte Varianz- und Standardabweichungsmasken zusammen mit entsprechenden Bildern im Vergleich zur manuellen Grundwahrheit (GT) in Rot. Der Maßstabsbalken in allen Bildern beträgt 500 µm.

Wir haben gezeigt, dass die Fokus-Score-Pipeline mit dem Std-Algorithmus zuverlässige Fokus-Score-Karten generieren kann (Abb. 3a). Darüber hinaus ermöglichen diese Karten in Verbindung mit automatisierten Schwellenwertalgorithmen die Erstellung von Fokusmasken, die mit der manuellen GT vergleichbar sind. Allerdings ist diese regelbasierte Pipeline relativ rechenintensiv und benötigt viel Zeit für die Verarbeitung von Bildstapeln. Um ähnliche Ergebnisse in einem End-to-End-Einzelschritt zu erzielen, haben wir ein DNN-Ersatzmodell mit der U-Net-ähnlichen Struktur31 vorgeschlagen, wie in Abb. 3b dargestellt. Um das U-Net-basierte Ersatzmodell zu erhalten, haben wir die aus der Ausgabe der regelbasierten Fokus-Score-Algorithmen erfassten Binärmasken als schwache Labels verwendet24. Auf diese Weise lernt das Modell direkt die Transformation zwischen Fokus-Score-Masken und Rohbildern. Weitere Verbesserungen können durch eine Feinabstimmung manuell annotierter Daten erzielt werden (siehe „Methoden“).

Die Pipeline der Fokussegmentierung mithilfe tiefer neuronaler Netze. (a) Zeigt den Vorverarbeitungsteil, der die Bereiche von Bildstapeln aus der Weitfeldmikroskopie scannt und die Feature-Map für die Maxima-Projektion ausgibt. Hier wird jedes Segment des Z-Stapels separat verarbeitet. Die aus der Maximaprojektion resultierende Fokus-Score-Karte dient als Eingabe für den Binärisierungsschritt. Dieser Prozess markiert die fokussierten Pixel in den Focus-Score-Maps als Weak-Label-Ground-Truth-Masken (WGT). (b) Der Deep-Learning-Teil übernimmt die WGT-Masken zusammen mit den Weitfeldmikroskopiebildern für das Ersatz-Deep-Neural-Network-Training (DNN). Das DNN segmentiert direkt die fokussierten Pixel aus den Originalbildstapeln und präsentiert die 3D-Informationen der Ziele. Der Maßstabsbalken in allen Bildern entspricht 500 μm.

Wir haben uns für die U-Net-Architektur entschieden, da sie häufig bei biomedizinischen Bildsegmentierungsaufgaben verwendet wird. U-Net kombiniert das Convolutional Neural Network (CNN) und den Autoencoder (AE) ähnliche Strukturen37. Als Repräsentationslernmodell verbessern die ersten Faltungsschichten von U-Net (der Encoder-Teil) die Kanalnummern der Eingabebilder und extrahieren die Merkmale in der AE-Struktur. Die mittlere Faltungsschicht (der Engpassteil) kodiert die vorherigen Merkmale als Einbettungsvektoren im latenten Raum. Die letzten mehreren Entfaltungsschichten (der Decoder-Teil) führen ein Upsampling der Einbettungsvektoren zurück in die Originalbilder durch. Durch Optimierung des Verlusts zwischen rekonstruierten Bildern und Eingaben lernen Encoder und Decoder gemeinsam die vielfältigen Strukturen38 gegebener Datensätze. Im Gegensatz zu den herkömmlichen AE-Strukturen verkettet das U-Net den hochgetasteten Einbettungscode mit den Feature-Maps aus den entsprechenden Schichten im Encoder-Teil39. Dieser Vorgang schränkt die Ausgaben ein und verschafft dem U-Net einen Vorteil bei den überwachten Lernaufgaben. Dieses Modell segmentierte die fokussierten Pixel direkt aus den Weitfeld-Mikroskopiebildern.

Wie in Abb. 3b dargestellt, enthält dieses Modell sieben Faltungsschichten – drei für den Encoder; 1 für den Engpass; 3 Upsampling-Schichten für den Decoder. Die von uns gewählte Verlustfunktion bestand aus Fokusverlust, Würfelverlust und binärer Kreuzentropie, zusammengefasst zu einem Gesamtverlust. Um die Leistung des Modells zu bewerten, wurde in dieser Arbeit der IoU-Score40 als Metrik verwendet. Als Optimierer verwendeten wir Adam mit einer Lernrate von 0,001. Nach 400 Lernepochen mit einer Stapelgröße von 8 konvergierte das Modell sowohl für die IoU-Scores als auch für den Verlust auf einen stabilen Wert. Die endgültige IoU für den Validierungssatz lag bei etwa 0,93 (algorithmische GT). Bemerkenswert ist, dass Trainingserweiterungen, einschließlich Bildspiegelung und 90-Grad-Drehung, die ausgewählt wurden, um die Einführung neuer Pixel oder störende Morphologien zu vermeiden, unsere Leistung nur geringfügig verbesserten (siehe Abbildung 2). Wie in Tabelle 1 dargestellt, beschleunigt dieses DNN-Modell den Segmentierungsprozess um 0,15 s für einen Stapel. Selbst bei einer Trainingszeit von 8,5 Minuten in einem Durchgang ist diese Lösung anderen Kandidaten immer noch überlegen, da sie die Segmentierung auf mindestens das ~ 1000-fache beschleunigt. Bemerkenswert ist, dass dieser Gewinn im Vergleich zur algorithmischen GT auf Kosten der Genauigkeit geht. Da jedoch die manuell abgeleitete GT das eigentliche Ziel darstellt, ermöglicht der DNN-Ansatz eine Leistungsverbesserung durch Feinabstimmung. Dieser Gedanke wird häufig beim Ansatz der schwachen Markierung genutzt24.

Das vorab trainierte U-Net-Ersatzmodell kann die Fokus-Score-Maske mit den Weitfeld-Mikroskopiebildern als Eingaben direkt vorhersagen. Dieser Ansatz vereinfachte die Segmentierung im Vergleich zur vorherigen Focus-Score-Pipeline erheblich. Abbildung 4a zeigt einen Teil der Segmentierungsergebnisse. Bemerkenswert ist, dass das DNN-Modell vom völlig unscharfen Schnitt (Schnitt 0) bis zum vollständig scharfen Schnitt (Schnitt 19) die scharfen Pixel korrekt unterschied. In Schicht 0 hat das Modell das gesamte Bild als außerhalb des Fokus gekennzeichnet. Die Ergebnisse stimmten weitgehend mit der GT-Maske überein. Da sich die Brennebene während des optischen Schnitts änderte, enthielt das Bild mehr scharfe Pixel. Die Vorhersagen des DNN-Modells blieben zuverlässig. In Schicht 19 hat das Modell das gesamte Ziel korrekt als scharf gekennzeichnet. Das auf algorithmischer GT trainierte Modell (vor dem Training) zeigte jedoch geringfügige Abweichungen von der manuell abgeleiteten GT (Abb. 4a, rotes Quadrat). Diese Beobachtung stimmte mit der Leistungsmetrik überein. Bei der Validierung mit der manuellen GT-Validierung sank die Leistung des mit der algorithmischen GT trainierten Modells unter Verwendung des Test-Holdouts von 0,832 auf etwa 0,660.

Das End-to-End-In-Focus-Segmentierungsmodell unter Verwendung eines tiefen neuronalen Netzwerks (DNN). (a) Zeigt Eingaben, Vorhersagen vor dem Training, Feinabstimmungsvorhersagen und manuelle Ground Truth für Slices im Bereich von 1 (unscharf) bis Slice 19 (im Fokus) in einem Stapel. Das rote Quadrat bezeichnet den Bereich der Vorhersageverbesserung nach der Feinabstimmung. (b) Darstellung der End-to-End-Pipeline: Das trainierte DNN segmentiert die fokussierten Pixel direkt aus den Bildstapeln von Weitfeldbildern. Diese Pixel stellen die 3D-Informationen von Zielen dar. Dies ermöglicht die Durchführung optischer Schnitte auf digitale Weise mithilfe der Weitfeldmikroskopie.

Um die Leistung unseres Ersatzmodells weiter zu verbessern, haben wir es an einem unsichtbaren Teil von 5 manuell kommentierten Bildstapeln mit insgesamt 100 Bildern verfeinert (Tabelle 2). Bemerkenswerterweise führte die Feinabstimmung in einer solchen Umgebung zu einer deutlichen Leistungsverbesserung beim manuellen GT von 0,660 auf 0,784. Gleichzeitig sank die Leistung des fein abgestimmten Modells auf dem algorithmischen GT nur unwesentlich (Tabelle 2), was zeigt, dass das Modelltraining des von Std abgeleiteten GT als Vortrainingsschritt nützlich sein kann. Schließlich deutete ein visueller Vergleich des feinabgestimmten Modells mit dem manuell abgeleiteten GT (Abb. 4a, rotes Quadrat) auf eine höhere Konsistenz hin.

Die aus dem Ersatzmodell erhaltenen Fokus-Score-Masken können für die Fokus-Pixelsegmentierung aus den Weitfeld-Mikroskopiebildern verwendet werden. Wie in Abb. 4b gezeigt, ermöglichen diese Masken, nur den fokussierten Teil des Bildes beizubehalten. Diese wiederum können zu einem 3D-Modell einer Probe zusammengesetzt werden. Dies ist insbesondere durch die Verwendung von Bildern möglich, die mithilfe der Weitfeld-In-vivo-Mikroskopie erhalten wurden, bei der im Gegensatz zum CLSM sowohl fokussiertes als auch außerhalb des Fokus stehendes Licht zur Bildung des Bildes in jeder Bildebene beitragen.

Inspiriert durch das Konzept der 3D-Objektrekonstruktion aus den Fokusstapeln und softwarebasierten Autofokus-Algorithmen schlug dieser Artikel einen Ansatz vor, um fokussierte von unfokussierten Bereichen des Bildes im Fokusstapel zu filtern, der in der Weitfeldmikroskopie erhalten wurde. Letzteres kann durch Ändern der Fokusebene und Durchscannen von Massenexemplaren wie lebenden Zebrafischen (D. Rerio) erreicht werden. Auf diese Weise durch Weitfeldmikroskopie erhaltene Fokusstapel enthalten jedoch eine Mischung aus Informationen, die sowohl durch fokussiertes als auch durch unfokussiertes Licht erzeugt werden. Um den optimalen Fokusmessalgorithmus auszuwählen, wurden in dieser Arbeit neun Kandidaten untersucht, die häufig in der softwarebasierten Fokusebenenerkennung verwendet werden (Vollath, Brenner, std usw.). Unsere Experimente zeigten, dass für die Erkennung von Fokusregionen und die Erhaltung von Inhaltsinformationen auf Standardabweichungen basierende Pipelines optimal sind.

Um die Rechenkosten der regelbasierten Pipeline zu überwinden, haben wir ein DNN-Ersatzmodell vorgeschlagen, das auf der U-Net-Architektur für die Pixelsegmentierung im Fokus basiert. Dieses Modell wurde trainiert, um die vorherigen regelbasierten Segmentierungsergebnisse als GT zu übernehmen. Das resultierende DNN-Modell filterte die unscharfen Signale digital heraus, ohne dass ein komplexer und teurer konfokaler Aufbau erforderlich war. Die Segmentierungsergebnisse des Zebrafisch-Datensatzes zeigten Übereinstimmung mit der manuellen Segmentierungs-GT. Im Vergleich zu den vorherigen neun Kandidaten übertrifft das DNN-Modell andere in der Berechnungsgeschwindigkeit, da es durch gezielte Segmentierung mindestens etwa 1000-mal schneller ist. Dies ist wahrscheinlich auf die stark parallelisierte Natur der TensorFlow-Bibliothek zurückzuführen. Wir argumentieren, dass virtuelle optische Schnitte unter Verwendung von Ersatz-DNN aufgrund einer solch beeindruckenden Leistung gut für die In-vivo-Weitfeldmikroskopie geeignet sein könnten. Nach der Segmentierung der im Fokus befindlichen Pixel ermöglicht uns unser DNN die Rekonstruktion von 3D-Modellen der Probe, die aus der Weitfeldbildgebung gewonnen wurden.

Während in der Vergangenheit mehrere Aufgaben im maschinellen Lernen und Deep Learning für die Mikroskopie vorgeschlagen wurden17,41,42,43, wurden bisher keine Aufgaben für die Trennung von scharfen und unscharfen Bildern untersucht. Wir argumentieren, dass unsere Arbeit den Weg zu fortschrittlichen Bildprotokollen wie der 3D-In-vivo-Bildgebung mit einfacher und kostengünstiger Hardware eröffnet. Weitfeldmikroskope sind in Forschungs- und Bildungseinrichtungen reichlich vorhanden und könnten mit Ansätzen, die unseren ähneln, neue Anwendungen finden. Bemerkenswert ist, dass die GT für unser Ersatzmodell rein programmgesteuert ermittelt wurde. Daher ist es verlockend zu spekulieren, dass dieser Ansatz bei schwacher Kennzeichnung und selbstüberwachtem Lernen nützlich sein könnte24,44,45.

Als mögliche Erweiterung dieser Arbeit könnte eine bessere Fokus-Score-Pipeline mehrere Fokus-Messalgorithmen anstelle nur eines kombinieren. Dies könnte möglicherweise die Qualität der Segmentierung verbessern. Dies dient als bessere GT für das Training der DNN-Modelle. Darüber hinaus könnten andere DNN-Strukturen (pix2pix GAN, Transfer Learning, 3D U-Net usw.) eine bessere Leistung hinsichtlich der Segmentierungsgenauigkeit bringen.

Der in dieser Arbeit verwendete Programmcode steht unter einer Open-Source-Lizenz zur Nutzung und Wiederverwendung zur Verfügung und kann über GitHub (https://github.com/casus/deepfocus) abgerufen werden. Der Datensatz der D. Rerio-Fokalstapel wurde bereits veröffentlicht26 und Rohdaten oder zusätzliche Daten sind auf Anfrage bei den entsprechenden Autoren erhältlich26. Wie in26 angegeben, wurden die Tierversuche gemäß dem Animals (Scientific Procedures) Act von 1986 durchgeführt und vom Innenministerium genehmigt (Projektlizenzen PPL P84A89400 und P4E664E3C). Die zur Reproduktion dieser Arbeit erforderlichen verarbeiteten Daten sind über das GitHub-Repository verfügbar.

Pampaloni, F., Reynaud, EG & Stelzer, EHK Die dritte Dimension schließt die Lücke zwischen Zellkultur und lebendem Gewebe. Nat. Pfr. Fr. Mol. Zellbiol. 8, 839–845 (2007).

Artikel CAS PubMed Google Scholar

Nwaneshiudu, A. et al. Einführung in die konfokale Mikroskopie. J. Investig. Dermatol. 132, 1–5 (2012).

Artikel Google Scholar

Wilson, T. Auflösung und optische Schnitte im konfokalen Mikroskop: Eigenschaften des fluoreszierenden konfokalen Mikroskops. J. Microsc. 244, 113–121 (2011).

Artikel CAS PubMed Google Scholar

Huisken, J., Swoger, J., Del Bene, F., Wittbrodt, J. & Stelzer, EHK Optische Schnitte tief im Inneren lebender Embryonen durch selektive Flächenbeleuchtungsmikroskopie. Wissenschaft 305, 1007–1009 (2004).

Artikel ADS CAS PubMed Google Scholar

Cotte, Y., Toy, MF, Shaffer, E., Pavillon, N. & Depeursinge, C. Sub-Rayleigh-Auflösung durch Phasenbildgebung. Opt. Lette. 35, 2176 (2010).

Artikel ADS PubMed Google Scholar

Cotte, Y. et al. Markerfreie Phasennanoskopie. Nat. Photonics 7, 113–117 (2013).

Artikel ADS CAS Google Scholar

Yakimovich, A., Witte, R., Andriasyan, V., Georgi, F. & Greber, UF Markierungsfreie digitale holotomographische Mikroskopie zeigt virusinduzierte zytopathische Effekte in lebenden Zellen. mSphere 3, e00599-e618 (2018).

Artikel CAS PubMed PubMed Central Google Scholar

Wolf, E. Dreidimensionale Strukturbestimmung semitransparenter Objekte aus holographischen Daten. Opt. Komm. 1, 153–156 (1969).

Artikel ADS Google Scholar

Conchello, J.-A. & Lichtman, JW Optische Schnittmikroskopie. Nat. Methoden 2, 920–931 (2005).

Artikel CAS PubMed Google Scholar

Pech-Pacheco, JL, Cristobal, G., Chamorro-Martinez, J. & Fernandez-Valdivia, J. Diatomeen-Autofokussierung in der Hellfeldmikroskopie: Eine vergleichende Studie. In Proceedings 15. Internationale Konferenz zur Mustererkennung. ICPR-2000 Bd. 3 314–317 (IEEE Comput. Soc, 2000).

Vollath, D. Der Einfluss der Szenenparameter und des Rauschens auf das Verhalten automatischer Fokussierungsalgorithmen. J. Microsc. 151, 133–146 (1988).

Artikel Google Scholar

Yousefi, S., Rahman, M. & Kehtarnavaz, N. Eine neue Autofokus-Schärfefunktion für Digital- und Smartphone-Kameras. IEEE Trans. Konsum. Elektron. 57, 1003–1009 (2011).

Artikel Google Scholar

Brenner, JF et al. Ein automatisiertes Mikroskop für die zytologische Forschung, eine vorläufige Bewertung. J. Histochem. Zytochem. 24, 100–111 (1976).

Artikel CAS PubMed Google Scholar

Groen, FCA, Young, IT & Ligthart, G. Ein Vergleich verschiedener Fokusfunktionen zur Verwendung in Autofokus-Algorithmen. Cytometry 6, 81–91 (1985).

Artikel CAS PubMed Google Scholar

Kautsky, J., Flusser, J., Zitová, B. & Šimberová, S. Ein neues Wavelet-basiertes Maß für den Bildfokus. Mustererkennung. Lette. 23, 1785–1794 (2002).

Artikel ADS MATH Google Scholar

Shensa, MJ Die diskrete Wavelet-Transformation: Verbindung der A-Trous- und Mallat-Algorithmen. IEEE Trans. Signalprozess. 40, 2464–2482 (1992).

Artikel ADS MATH Google Scholar

Buchholz, T.-O., Jordan, M., Pigino, G. & Jug, F. Cryo-care: Inhaltsbewusste Bildwiederherstellung für Kryo-Transmissionselektronenmikroskopiedaten. Im Jahr 2019 IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019) 502–506 (IEEE, 2019). https://doi.org/10.1109/ISBI.2019.8759519.

Schmidt, U., Weigert, M., Broaddus, C. & Myers, G. Zelldetektion mit sternkonvexen Polygonen. In Medical Image Computing and Computer Assisted Intervention – MICCAI 2018 (Hrsg. Frangi, AF, Schnabel, JA, Davatzikos, C., Alberola-López, C. & Fichtinger, G.) Vol. 11071 265–273 (Springer International Publishing, 2018).

Waller, L. & Tian, ​​L. Maschinelles Lernen für die 3D-Mikroskopie. Natur 523, 416–417 (2015).

Artikel ADS CAS PubMed Google Scholar

Simonyan, K. & Zisserman, A. Sehr tiefe Faltungsnetzwerke für die Bilderkennung im großen Maßstab. Vorabdruck unter http://arxiv.org/abs/1409.1556 (2015).

Havaei, M. et al. Hirntumor-Segmentierung mit tiefen neuronalen Netzwerken. Med. Bild Anal. 35, 18–31 (2017).

Artikel PubMed Google Scholar

Chen, L., Tang, W. & John, N. Selbstüberwachtes monokulares Bildtiefenlernen und Vertrauensschätzung. arXiv:1803.05530 [cs] (2018).

Pinkard, H., Phillips, Z., Babakhani, A., Fletcher, DA & Waller, L. Deep Learning für die Single-Shot-Autofokus-Mikroskopie. Optica 6, 794 (2019).

Artikel ADS Google Scholar

Ratner, A. et al. Schnorchel: Schnelle Erstellung von Trainingsdaten bei schwacher Aufsicht. Proz. VLDB-Stiftung. 11, 269–282 (2017).

Artikel Google Scholar

Zhang, J., Zhao, J., Lin, H., Tan, Y. & Cheng, J.-X. Hochgeschwindigkeitschemische Bildgebung durch Dense-Net-Learning der Femtosekunden-stimulierten Raman-Streuung. J. Phys. Chem. Lette. 11, 8573–8578 (2020).

Artikel CAS PubMed PubMed Central Google Scholar

Yakimovich, A. et al. Die Einbettung von Mimikry ermöglicht ein fortgeschrittenes neuronales Netzwerktraining für die bildbasierte Erkennung von Krankheitserregern. mSphere 5, e00836-e920 (2020).

Artikel CAS PubMed PubMed Central Google Scholar

Yoshida, N. et al. Der Zebrafisch als neues Modell für die In-vivo-Untersuchung der Replikation und Interaktion von Toxoplasma gondii mit Makrophagen. Dis. Modelle Mech. 13, dmm043091 (2020).

Artikel CAS Google Scholar

Sun, Y., Duthaler, S. & Nelson, BJ Auswahl des Autofokus-Algorithmus in der Computermikroskopie. Im Jahr 2005 IEEE/RSJ International Conference on Intelligent Robots and Systems 70–76 (IEEE, 2005). https://doi.org/10.1109/IROS.2005.1545017.

Yeo, T., Ong, S., Jayasooriah und Sinniah, R. Autofokussierung für die Gewebemikroskopie. Bild Vis. Berechnen. 11, 629–639 (1993).

Artikel Google Scholar

Gauss, C. F. Bestimmung der Genauigkeit der beobachtungen. Z. Astron. Verwandte Wiss. 1, 187–197 (1816).

Google Scholar

Ronneberger, O., Fischer, P. & Brox, T. U-Net: Faltungsnetzwerke für die biomedizinische Bildsegmentierung. In Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015 (Hrsg. Navab, N., Hornegger, J., Wells, WM & Frangi, AF) Vol. 9351 234–241 (Springer International Publishing, 2015).

Nayar, SK & Nakagawa, Y. Form aus dem Fokus. IEEE Trans. Muster Anal. Mach. Intel. 16, 824–831 (1994).

Artikel Google Scholar

Yao, Y., Abidi, B., Doggaz, N. & Abidi, M. Bewertung von Schärfemaßen und Suchalgorithmen für die Autofokussierung von Bildern mit hoher Vergrößerung. In der visuellen Informationsverarbeitung XV. Bd. 6246, S. 132–143. (SPIE, 2006).

Firestone, L., Cook, K., Culp, K., Talsania, N. & Preston, K. Vergleich von Autofokus-Methoden für die automatisierte Mikroskopie. Cytometry 12, 195–206 (1991).

Artikel CAS PubMed Google Scholar

Arasu, A. & Manku, GS Ungefähre Zählungen und Quantile über Schiebefenstern. In Proceedings of the Twenty-Third ACM SIGMOD-SIGACT-SIGART Symposium on Principles of Database Systems 286–296 (ACM, 2004). https://doi.org/10.1145/1055558.1055598.

Otsu, NA Schwellenwertauswahlmethode aus Graustufenhistogrammen. IEEE Trans. Syst. Mann Cybern. 9, 62–66 (1979).

Artikel Google Scholar

Doersch, C. Tutorial zu Variational Autoencodern. Vorabdruck unter http://arxiv.org/abs/1606.05908 (2021).

Liu, H. et al. Latentraum-optimaler Transport für generative Modelle. Vorabdruck unter http://arxiv.org/abs/1809.05964 (2018).

Hu, X., Naiel, MA, Wong, A., Lamm, M. & Fieguth, P. RUNet: Eine robuste UNet-Architektur für Bild-Superauflösung. Im Jahr 2019 IEEE/CVF-Konferenz zu Computer Vision and Pattern Recognition Workshops (CVPRW) 505–507 (IEEE, 2019). https://doi.org/10.1109/CVPRW.2019.00073.

Zitnick, CL & Dollár, P. Kantenboxen: Lokalisierung von Objektvorschlägen anhand von Kanten. In Computer Vision – ECCV 2014 (Hrsg. Fleet, D., Pajdla, T., Schiele, B. & Tuytelaars, T.) Bd. 8693 391–405 (Springer International Publishing, 2014).

Arganda-Carreras, I. et al. Trainierbare Weka-Segmentierung: Ein maschinelles Lerntool für die Pixelklassifizierung in der Mikroskopie. Bioinformatik 33, 2424–2426 (2017).

Artikel CAS PubMed Google Scholar

Das, DK, Ghosh, M., Pal, M., Maiti, AK & Chakraborty, C. Ansatz des maschinellen Lernens für das automatisierte Screening von Malariaparasiten mithilfe lichtmikroskopischer Bilder. Mikron 45, 97–106 (2013).

Artikel PubMed Google Scholar

Kan, A. Anwendungen des maschinellen Lernens in der Zellbildanalyse. Immunol. Zellbiol. 95, 525–530 (2017).

Artikel PubMed Google Scholar

Bai, W. et al. Selbstüberwachtes Lernen für die Segmentierung kardialer MR-Bilder durch Vorhersage der anatomischen Position. In Medical Image Computing and Computer Assisted Intervention – MICCAI 2019 (Hrsg. Shen, D. et al.) Vol. 11765 541–549 (Springer International Publishing, 2019).

Bringer, E., Israeli, A., Shoham, Y., Ratner, A. & Ré, C. Osprey: Schwache Überwachung unausgeglichener Extraktionsprobleme ohne Code. In Proceedings of the 3rd International Workshop on Data Management for End-to-End Machine Learning 1–11 (ACM, 2019). https://doi.org/10.1145/3329486.3329492.

Referenzen herunterladen

Diese Arbeit wurde teilweise durch das Center for Advanced Systems Understanding (CASUS) gefördert, das vom Bundesministerium für Bildung und Forschung (BMBF) und vom Sächsischen Ministerium für Wissenschaft, Kultur und Tourismus (SMWK) aus Steuermitteln finanziert wird des vom Sächsischen Landtag beschlossenen Haushaltsplans. MK wurde durch den Heisenberg-Preis der DFG (KU 3222/2-1) sowie durch Mittel der Helmholtz-Gemeinschaft gefördert.

Open-Access-Förderung ermöglicht und organisiert durch Projekt DEAL.

Center for Advanced Systems Understanding (CASUS), Helmholtz-Zentrum Dresden-Rossendorf e. V. (HZDR), Görlitz, Deutschland

Rui Li & Artur Yakimovich

Max-Delbrück-Centrum für Molekulare Medizin in der Helmholtz-Gemeinschaft, Berlin, Deutschland

Rui Li und Mikhail Kudryashev

Institut für Medizinische Physik und Biophysik, Charite-Universitätsmedizin, Berlin, Deutschland

Michail Kudrjaschew

Bladder Infection and Immunity Group (BIIG), Abteilung für Medizin, Abteilung für Nierenmedizin, University College London, Royal Free Hospital Campus, London, Großbritannien

Artur Jakimowitsch

Künstliche Intelligenz für Biowissenschaften CIC, Dorset, Großbritannien

Artur Jakimowitsch

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

AY, MK und RL konzipierten das Projekt und planten das Experiment. RL schrieb Programmcode und führte die Computerexperimente durch. AY, MK und RL haben das Manuskript geschrieben.

Korrespondenz mit Artur Yakimovich.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht gesetzlich zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Li, R., Kudryashev, M. & Yakimovich, A. Ein schwach markierender und Deep-Learning-Ansatz für die fokussierte Objektsegmentierung in der 3D-Weitfeldmikroskopie. Sci Rep 13, 12275 (2023). https://doi.org/10.1038/s41598-023-38490-2

Zitat herunterladen

Eingegangen: 09. Dezember 2022

Angenommen: 09. Juli 2023

Veröffentlicht: 28. Juli 2023

DOI: https://doi.org/10.1038/s41598-023-38490-2

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein gemeinsam nutzbarer Link verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.