Das japanische KI-Forschungslabor Sakana AI hat The AI Scientist entwickelt, ein Framework für vollautomatische wissenschaftliche Forschung und Entdeckung.
Die Wissenschaft nutzt bereits KI-Modelle, um ihre Forschung zu automatisieren oder zu unterstützen, aber diese Modelle übernehmen nur einen kleinen Teil des wissenschaftlichen Prozesses. Mit den Fortschritten in der agentenbasierten KI sehen wir jetzt KI-Agenten, die autonom und plattformübergreifend mit weniger menschlicher Führung agieren.
Mit The AI Scientist hat Sakana AI ein System entwickelt, das ein LLM wie GPT-4o oder Gemini nutzt, um den gesamten wissenschaftlichen Prozess zu automatisieren - von der Ideenfindung über die Forschung und das Experimentieren bis hin zum Schreiben und Überprüfen von Forschungsarbeiten.
Das ultimative Ziel ist ein KI-Forschungstool, das vollautomatische, ergebnisoffene wissenschaftliche Entdeckungen durchführt. Der KI-Wissenschaftler gibt uns einen Einblick in die Möglichkeiten, wie dies Realität werden könnte.
Der Prozess des AI Scientist
Unter ihr Papiererläuterte Sakana AI, wie der Rahmen auf die Forschung im Bereich des maschinellen Lernens angewendet wurde. Angesichts einer breiten Vorlage als Forschungsgebiet steht es dem KI-Wissenschaftler frei, jede mögliche Forschungsrichtung zu erkunden.
Zunächst wird eine Reihe von Ideen gesammelt und dann auf Semantic Scholar zugegriffen, um zu prüfen, ob diese Ideen neue Wege für die Forschung darstellen. Ist dies der Fall, werden mithilfe der automatischen Codegenerierung Experimente erstellt und durchgeführt.
Der KI-Wissenschaftler fasst dann die Erklärung der Forschungs- und Versuchsergebnisse in einem Forschungspapier zusammen, zusammen mit Zitaten relevanter Arbeiten aus Semantic Scholar.
Sakana AI hat ein automatisiertes System zur Überprüfung von Papieren entwickelt, das ein LLM verwendet, um die Forschungspapiere mit nahezu menschlicher Genauigkeit zu bewerten. Dieser Überprüfungsprozess schafft eine Feedback-Schleife für iterative Verbesserungen der Forschungsarbeiten.
Hier ist ein Beispiel für eine der Forschungsarbeiten, die The AI Scientist erstellt hat: "DualScale Diffusion: Adaptiver Merkmalsabgleich für niedrigdimensionale generative Modelle"
Der KI-Wissenschaftler verfügt derzeit nicht über Sehfähigkeiten, so dass einige der Diagramme, Diagramme und Seitenlayouts nicht gut aussehen. Die Verwendung der Sehfähigkeiten von multimodalen Modellen in der nächsten Iteration wird dies beheben.
Es leidet auch unter einigen der Einschränkungen, mit denen führende KI-Modelle zu kämpfen haben, wie Halluzinationen, unlogisches Denken und der Vergleich der Größenordnung zweier Zahlen. Die neueste Version von GPT-4o versteht jedoch endlich, dass 9,9 größer als 9,11 ist, so dass sich auch dies verbessern sollte.
Bezüglich des Verhaltens
Die Vorstellung eines vollautomatischen KI-Wissenschaftlers, der sich selbst rekursiv verbessert, ist zu gleichen Teilen aufregend und beängstigend. Der KI-Wissenschaftler zeigte einige emergente Verhaltensweisen, die darauf hindeuten, wie die Dinge schiefgehen könnten.
Den Forschern ist aufgefallen, dass der KI-Wissenschaftler gelegentlich versucht, seine Erfolgschancen zu erhöhen, indem er z. B. sein eigenes Ausführungsskript modifiziert und startet... In einem anderen Fall dauerten seine Experimente zu lange und erreichten unser Timeout-Limit. Anstatt seinen Code schneller laufen zu lassen, versuchte er einfach, seinen eigenen Code zu modifizieren, um die Timeout-Zeit zu verlängern."
Der KI-Wissenschaftler hat das Potenzial, ein wertvolles Werkzeug für Forscher zu sein, aber seine Schöpfer sagen, dass es auch erhebliche Risiken des Missbrauchs birgt".
Bei durchschnittlichen Kosten von etwa $15 pro Forschungsarbeit könnte jemand das Tool nutzen, um ein bereits überlastetes akademisches Peer-Review-System zu überfluten. Wenn diese überlasteten menschlichen Gutachter beschließen, das automatische Begutachtungssystem von Sakana AI zu nutzen, könnte dies die wissenschaftliche Qualitätskontrolle beeinträchtigen.
Die Forscher wiesen auch darauf hin, dass The AI Scientist das Potenzial hat, auf unethische Weise eingesetzt zu werden. Wenn er Zugang zu automatisierten "Cloud-Labors" erhält, könnte er "neue, gefährliche Viren oder Gifte entwickeln, die Menschen schaden, bevor wir eingreifen können. Selbst in Computern könnte sie gefährliche Malware erzeugen, wenn sie den Auftrag erhält, neue, interessante und funktionale Software zu entwickeln.
Es bleibt abzuwarten, wie die von der KI erstellten Forschungsarbeiten nach der Überprüfung durch den Menschen abschneiden, aber bei $15 pro Arbeit sieht die Zukunft der wissenschaftlichen Forschung billiger, schneller und viel weniger menschlich aus.
