Das Training eines KI-Bildklassifizierers oder eines Computer-Vision-Systems erfordert den Zugriff auf einen großen Datensatz von Bildern. MIT-Forscher haben einen Weg gefunden, unsere Abhängigkeit von realen Daten für die Bildklassifizierung zu verringern.
Wenn Sie ein Bild einer Katze hochladen und ChatGPT bitten, zu erklären, was das Bild ist, kann es das, weil es auf Tausenden von Katzenbildern trainiert wurde, die mit Textbeschriftungen versehen waren.
Diese Trainingsbilder mussten ja irgendwoher kommen. Einer der für das Training verwendeten Datensätze Stabile DiffusionLAION-5B ist eine Sammlung von Milliarden von Bildern aus dem Internet, die mit Textbeschreibungen versehen sind.
Aber was tun wir, wenn wir mehr Daten zum Trainieren eines Modells benötigen, aber die Menge der vorhandenen echten Bilder erschöpft ist?
Ein Team von MIT-Forschern hat dieses Problem der Datenknappheit durch die Erstellung eines eigenen synthetischen Datensatzes gelöst.
Ihr Ansatz, genannt StableRepverwendet eine Strategie, die als "multi-positives kontrastives Lernen" bezeichnet wird. Das klingt kompliziert, aber das Konzept ist eigentlich ganz einfach.
Sie fordern den Stable Diffusion-Bildgenerator mit einer Textbeschreibung auf und lassen ihn dann mehrere Bilder generieren. Unter der Annahme, dass Stable Diffusion gute Arbeit geleistet hat, verfügen sie nun über eine Sammlung von Bildern, die der ursprünglichen Aufforderung entsprechen.
StableRep behandelt diese Bilder als Positivbeispiele und lernt, warum diese Bilder gute semantische Übereinstimmungen mit der ursprünglichen Aufforderung sind.
Das Team trainierte sein Bildklassifizierungsmodell auf den von der KI generierten Bildern und gab ihm einen kleinen Leistungsschub mit Sprachüberwachung, um schließlich StableRep+ zu entwickeln.
Wie würde StableRep+ bei der Bildklassifizierung abschneiden, wenn es nur KI-generierte Bilder "sehen" würde?
Beim Training mit 20 Millionen synthetischen Bildern war StableRep+ genauer und effizienter als CLIP-Modelle, die mit 50 Millionen realen Bildern trainiert wurden. Die Forscher arbeiten noch daran, den Grund für diese überragende Leistung zu verstehen.
Es gibt immer noch ein paar Probleme, aber die Verwendung synthetischer Trainingsdaten wie dieser löst viele der Fragen der Datenerhebung wie z. B. Kosten, Urheberrechte und Datenschutzbedenken im Zusammenhang mit echten Bildern.
Zu den Herausforderungen dieses Ansatzes gehören die Rechenkosten und der Zeitaufwand für die Erzeugung von Millionen von Bildern für den Datensatz. Außerdem ist StableRep nach wie vor auf die Verwendung eines Bildgenerators angewiesen, der ursprünglich auf realen Bildern trainiert wurde, um dann die synthetischen Daten zu erzeugen.
Jede Verzerrung in der Textaufforderung oder der Datenbeschriftung im realen Bilddatensatz überträgt sich auch auf das neue Modell, das auf synthetischen Daten trainiert wurde.
Trotz der Herausforderungen sind die Ergebnisse, die StableRep erzielt, vielversprechend. Die größere Vielfalt, die synthetische Daten bieten können, könnte die Abhängigkeit der Datenwissenschaftler von teuren und begrenzten realen Daten beim Training neuer Modelle verringern.
