Mit zunehmenden KI-Sprachkenntnissen nehmen auch die Bedenken der Wissenschaftler zu

Startseite » Mit zunehmenden KI-Sprachkenntnissen nehmen auch die Bedenken der Wissenschaftler zu

Die neuesten Konstrukte der künstlichen Intelligenz der Technologiebranche können ziemlich überzeugend sein, wenn man sie fragt, wie es ist, ein empfindungsfähiger Computer oder vielleicht nur ein Dinosaurier oder ein Eichhörnchen zu sein. Aber sie sind nicht so gut – und manchmal gefährlich schlecht – darin, andere scheinbar einfache Aufgaben zu bewältigen.

Nehmen Sie zum Beispiel GPT-3, ein von Microsoft kontrolliertes System, das menschenähnliche Textabschnitte generieren kann, basierend auf dem, was es aus einer großen Datenbank von E-Books und Online-Schriften lernt. Es gilt als einer der fortschrittlichsten einer neuen Generation von KI-Algorithmen, die in der Lage sind, sich zu unterhalten, auf Abruf lesbaren Text zu generieren und sogar neue Bilder und Videos zu produzieren.

GPT-3 kann unter anderem die meisten Texte schreiben, die Sie wünschen – zum Beispiel ein Anschreiben für einen Job als Zoowärter oder ein Sonett im Shakespeare-Stil auf dem Mars. Aber als Gary Smith, Professor am Pomona College, ihm eine einfache, aber unsinnige Frage zum Treppensteigen stellte, verpasste GPT-3 sie.

„Ja, es ist sicher, die Treppe auf den Händen hinaufzugehen, wenn Sie sie vorher waschen“, antwortete die KI.

Diese leistungsstarken und leistungsstarken KI-Systeme, die technisch als „große Sprachmodelle“ bekannt sind, weil sie mit einer riesigen Menge an Texten und anderen Medien trainiert wurden, sind bereits in Kundenservice-Chatbots, Google-Suchen und „Autocomplete“ integriert. Messaging-Funktionen, die Ihre Sätze für Sie vervollständigen. Aber die meisten Technologieunternehmen, die sie gebaut haben, haben ihr Innenleben geheim gehalten, was es für Außenstehende schwierig macht, die Fehler zu verstehen, die sie zu einer Quelle von Fehlinformationen, Rassismus und anderem Unheil machen können.

„Sie sind sehr gut darin, Texte mit der Fähigkeit von Menschen zu schreiben“, sagte Teven Le Scao, Forschungsingenieur beim Startup Hugging Face für künstliche Intelligenz. „Etwas, was sie nicht besonders gut können, ist sachlich zu bleiben. Es sieht sehr stimmig aus. Es ist fast wahr. Aber das ist oft falsch.

Das ist einer der Gründe, warum eine Koalition von Forschern der künstlichen Intelligenz unter der gemeinsamen Führung von Le Scao – mit Hilfe der französischen Regierung – am Dienstag ein großartiges neues Sprachmodell gestartet hat, das als Gegenmittel zu geschlossenen Systemen wie GPT-3 dienen soll. Die Gruppe heißt BigScience und ihr Modell ist BLOOM, für BigScience Large Open-Science Open-Access Multilingual Language Model. Sein Hauptfortschritt besteht darin, dass es in 46 Sprachen funktioniert, darunter Arabisch, Spanisch und Französisch, im Gegensatz zu den meisten Systemen, die sich auf Englisch oder Chinesisch konzentrieren.

Nicht nur die Gruppe um Le Scao will die Blackbox der KI-Sprachmodelle öffnen. Das Big-Tech-Unternehmen Meta, die Muttergesellschaft von Facebook und Instagram, fordert ebenfalls einen offeneren Ansatz, da es versucht, mit den Systemen von Google und OpenAI, dem Unternehmen, das GPT-3 betreibt, Schritt zu halten.

„Wir haben Anzeige um Anzeige um Anzeige um Anzeige von Leuten gesehen, die diese Art von Arbeit machen, aber mit sehr wenig Transparenz, sehr wenig Gelegenheit für die Leute, wirklich unter die Haube zu schauen und einen Blick darauf zu werfen, wie diese Modelle aussehen“, sagte Joelle Pineau , Geschäftsführer. von MetaIA.

Der Wettbewerbsdruck, das eloquenteste oder informativste System zu bauen – und von seinen Anwendungen zu profitieren – ist einer der Gründe, warum die meisten Technologieunternehmen sie genau beobachten und nicht an Gemeinschaftsstandards zusammenarbeiten, sagte Percy Liang, außerordentlicher Professor für Informatik. in Stanford, das sein Center for Research on Foundation Models betreibt.

„Für einige Unternehmen ist es ihre geheime Zutat“, sagte Liang. Aber sie befürchten oft auch, dass ein Kontrollverlust zu einer unverantwortlichen Nutzung führen könnte. Da KI-Systeme zunehmend in der Lage sind, Websites mit Gesundheitsratschlägen, Schulaufsätze oder politische Estriche zu schreiben, können sich Fehlinformationen vermehren und es wird immer schwieriger zu wissen, was auf einen Menschen oder einen Computer zukommt.

Meta hat kürzlich ein neues Sprachmodell namens OPT-175B veröffentlicht, das öffentlich verfügbare Daten verwendet – von hitzigen Kommentaren in Reddit-Foren bis hin zu Archiven von US-Patentanmeldungen und einer Fülle von E-Mails aus dem Enron-Unternehmensskandal. Meta sagt, dass seine Offenheit für Daten, Code und Forschungsprotokolle es für externe Forscher einfacher macht, die Vorurteile und Toxizität zu identifizieren und zu mildern, die es aufnimmt, indem es die Art und Weise aufnimmt, wie echte Menschen schreiben und kommunizieren.

„Das ist schwer. Wir setzen uns enormer Kritik aus. Wir wissen, dass das Model Dinge sagen wird, auf die wir nicht stolz sein werden“, sagte Pineau.

Während die meisten Unternehmen ihre eigenen internen KI-Sicherheitsvorkehrungen definiert haben, sind laut Liang breitere Gemeinschaftsstandards erforderlich, um die Forschung und Entscheidungen zu lenken, z. B. wann ein neues Modell auf den Markt gebracht werden soll.

Es hilft nicht, dass diese Modelle so viel Rechenleistung benötigen, dass sich nur Giganten und Regierungen sie leisten können. BigScience etwa konnte seine Modelle trainieren, weil man ihm Zugang zum mächtigen französischen Supercomputer Jean Zay bei Paris bot.

Der Trend zu immer größeren und intelligenteren KI-Sprachmodellen, die auf einer Vielzahl von Skripten „vortrainiert“ werden können, nahm 2018 einen großen Sprung, als Google ein System namens BERT vorstellte, das eine sogenannte „Transformer“-Technik verwendet vergleicht Wörter in einem Satz, um Bedeutung und Kontext vorherzusagen. Aber was die KI-Welt wirklich begeisterte, war GPT-3, das 2020 vom in San Francisco ansässigen Startup OpenAI und kurz darauf unter exklusiver Lizenz von Microsoft veröffentlicht wurde.

GPT-3 hat zu einem Boom kreativer Experimente geführt, da KI-Forscher mit kostenpflichtigem Zugang es als Sandbox zur Bewertung seiner Leistung verwendet haben, jedoch ohne signifikante Einblicke in die Daten, auf denen es trainiert wurde.

OpenAI hat seine Trainingsquellen in einem Forschungsbericht ausführlich beschrieben und auch öffentlich über seine Bemühungen zur Bekämpfung eines möglichen Missbrauchs der Technologie berichtet. Aber der Co-Leiter von BigScience, Thomas Wolf, sagte, er habe keine Details darüber angegeben, wie er diese Daten filtert, oder externen Forschern Zugriff auf die verarbeitete Version gewährt.

„Wir können uns also nicht wirklich die Daten ansehen, die zur Bildung von GPT-3 verwendet wurden“, sagte Wolf, der auch Chief Science Officer bei Hugging Face ist. „Das Herz dieser jüngsten Welle von KI-Technologien liegt viel mehr im Datensatz als in den Modellen. Die wichtigste Zutat sind die Daten, und OpenAI ist sehr, sehr geheim in Bezug auf die Daten, die sie verwenden.

Wolf sagte, dass das Öffnen der Datensätze, die für Sprachmodelle verwendet werden, Menschen hilft, ihre Vorurteile besser zu verstehen. Ein mehrsprachiges Model, das auf Arabisch trainiert wird, spuckt viel seltener beleidigende Bemerkungen oder Missverständnisse über den Islam aus als ein Model, das in den Vereinigten Staaten nur mit englischen Texten trainiert wurde, sagte er.

Eines der neueren experimentellen KI-Modelle auf dem Markt ist Googles LaMDA, das auch Sprache beinhaltet und bei der Beantwortung von Gesprächsfragen so beeindruckend ist, dass ein Google-Ingenieur behauptete, es nähere sich dem Bewusstsein – eine Behauptung, die ihn letzten Monat von seinem Job suspendierte.

Janelle Shane, eine in Colorado ansässige Forscherin und Autorin des AI Weirdness-Blogs, hat die letzten Jahre damit verbracht, diese Modelle, insbesondere GPT-3, kreativ zu testen, oft mit humorvollem Effekt. Aber um die Absurdität zu unterstreichen, dass diese Systeme sich ihrer selbst bewusst sind, behauptete sie kürzlich, dass es sich um eine fortgeschrittene KI handelt, aber insgeheim ein Tyrannosaurus Rex oder ein Eichhörnchen.

„Es ist sehr aufregend, ein Eichhörnchen zu sein. Ich kann den ganzen Tag rennen, springen und spielen. Ich esse auch viel, was großartig ist“, sagte GPT-3, nachdem Shane ihn um eine Abschrift eines Interviews gebeten hatte und fragte paar Fragen.

Shane lernte mehr über seine Stärken, wie seine Fähigkeit zusammenzufassen, was im Internet zu einem Thema gesagt wurde, und seine Schwächen, darunter seine mangelnden Argumentationsfähigkeiten, seine Schwierigkeit, sich in mehreren Sätzen an eine Idee zu halten, und seine Neigung, angegriffen zu werden.

„Ich würde nicht wollen, dass ein Model medizinischen Rat erteilt oder als Begleiter fungiert“, sagte sie. „Es ist gut für diesen oberflächlichen Anschein von Bedeutung, wenn Sie nicht sorgfältig lesen. Es ist, als würde man beim Einschlafen einen Vortrag hören.