OpenAIs GPT-4-Sprachmodell: Das Aktuellste zur neusten KI
Wir wissen nicht viel über die neuste KI Version von OpenAI’s GPT-4 aber nur soviel: sie wird mehr können als der Vorgänger GPT-3. Und das macht es spannend. Schon heute lassen sich mit GPT-3 basierten Textgeneratoren automatisch Texte erstellen, die kaum von den von Menschen geschrieben Inhalten auseinander gehalten werden können.
Wie weit wird der nächste Schritt in der Entwicklung der Künstlichen Intelligenz gehen und wie können wir diese potenziell einsetzen.
Alles was wir bisher über den GPT-4 (Generative Pre-trained Transformer) wissen ist in diesen Artikel zusammengefasst.
OpenAIs GPT-4-Sprachmodell: Das Aktuellste zur neusten KI
Wann wird GPT-4 veröffentlicht?
Es gibt hierzu noch kein offizielles Release Datum. Wenn man in die Vergangenheit schaut sollten wir aber bald mit der neuesten Version aus der GPT-Reihe rechnen können.
GPT wurde von OpenAI am 11.06.2018 durch die Veröffentlichung: „Improving Language Understanding with Unsupervised Learning“ der Welt vorgestellt.
Nicht einmal ein Jahr später folgte am 14. Februar 2019 folgte die Veröffentlichung des Papers für GPT-2.
Am 28. Mai 2020 erfolgte dann der KI Durchbruch mit GPT-3 durch diese Veröffentlichung.
Folglich kann man also ausgehen, dass eine neue Studie wohl in 2022 oder im Frühjahr 2023 veröffentlicht wird.
Welche Verbesserungen wurden seit GPT-3 bereits veröffentlicht?
11.07.2020 Startschuss für die kommerzielle Nutzung durch eine API, die die Entwicklung von Textgeneratoren wie Jasper.ai ermöglichte
25.03.2021 konnte damit OpenAI verkünden, dass bereits über 300 Applikationen auf GPT-3 aufbauen und hat weitere Verbesserungen veröffentlicht.
10.06.2021 Studie zu Finetuning und damit verbundene Qualitätsverbesserungen (diese Option wurde am 14.12.2021 auch für Entwickler zugänglich gemacht)
23.09.2021 GPT-3 kann nun Bücher zusammenfassen
29.10.2021 einfache Mathematikaufgaben können gelöst werden
16.12.2021 WebGPT als Meilenstein in der Verbesserung wahrheitsgetreue Inhalte durch KI generieren zu lassen
In 2022 wurde GPT-3 besser in der Mathematik und kann seit 15.03.2022 nun auch neue Inhalte in bestehende Sätze und Textblöcke einbauen.
Wie wird sich GPT-4 von GPT-3 unterscheiden?
GPT-4 Fakten, basierend auf Aussagen von Sam Altman, CEO von Open AI im September 2021:
- GPT-4 wird ein reines Textmodell und nicht multimodal wie Dall-e
- Durch besseres Finetuning sowie bessere Algorithmen und hochwertigere Quellen soll GPT-4 qualitativ besser werden
- GPT-4 wird nicht auf 100 Billionen Parameter aufbauen, über 500 mal größer als das momentane GPT-3 wie Andrew Feldman, Gründer und CEO von Cerebras, dem Hersteller des Größten Computerchips der Welt im August 2021 verkündet hatte. Dies wurde von Sam Altman, CEO von OpenAI bereits verneint.
GPT-4 Einschätzungen im Original von Alberto Romero:
- Optimalität: GPT-4 wird mehr Rechenleistung benötigen als GPT-3. Es wird neue Optimierungs- (Parametrisierung) und Skalierungskenntnisse bieten (die Anzahl der Trainings-Token ist genauso wichtig wie die Modellgröße).
- Sparsamkeit Nach GPT-2 und GPT-3 wird GPT-4 ein dichtes Modell sein (alle Variablen werden für die Verarbeitung einer bestimmten Eingabe verwendet). Sparsamkeit wird sich in Zukunft immer mehr durchsetzen.
- Angleichung: Das neue GPT-4 wird sich mehr an unseren Wertvorstellungen und Normen orientieren als das aktuelle GPT-3. Er wird auf den Erkenntnissen von InstructGPT aufbauen, das mit menschlichem Feedback angepasst wurde. Andrew Feldman, Gründer und CEO von Cerebras, dem Hersteller des Größten Computerchips der Welt im August 2021 verkündet hatte. Dies wurde von Sam Altman, CEO von OpenAI bereits verneint.
GPT-4 Alternativen: Diese KI's werden zeitgleich entwickelt:
GPT-NeoX-20B von eleuther.ai
Am 20.02.2022 wurde ein Sprachmodell durch eleuther.ai veröffentlicht, mit dem Namen GPT-NeoX-20B, wobei 20B für die 20 Milliarden Parametern steht, aus denen die KI besteht. Damit ist die KI die größte öffentlich zugängliche KI kommt der Qualität von DaVinci von GPT-3 schon sehr nahe.
Das neue GPT-4 wird sich mehr an unseren Wertvorstellungen und Normen orientieren als das aktuelle GPT-3. Er wird auf den Erkenntnissen von InstructGPT aufbauen, das mit menschlichem Feedback angepasst wurde. Andrew Feldman, Gründer und CEO von Cerebras, dem Hersteller des Größten Computerchips der Welt im August 2021 verkündet hatte. Dies wurde von Sam Altman, CEO von OpenAI bereits verneint.
Fairseq 13B von Meta AI
Veröffentlicht am 23.01.2022 ist Fairseq 13B ein englisches Sprachenmodell mit 13 Milliarden Parameter. Das Model wird von KI’s wie zum Beispiel NovelAi oder Holo AI genutzt.
Cohere
Ist eine weitere Plattform, auf die eine KI aufgebaut werden kann. Leider ist hier die Anzahl der Parameter nicht bekannt. Seit 28.02.22 gibt es eine Beta version „Extremely Large„
JI-Jumbo von AI21
Oder auch Jurassic-1 Jumbo von dem israelischen Start-up AI21 hat 178 Milliarden Parameter und ist damit größer als GPT-3 mit 175 Milliarden Parameter. Zusätzlich hat es ein Vokabular von 256.000 Wörtern, 200.000 mehr als GPT-3 und verarbeitet Text 1,4 mal schneller. Die Studie zeigt, dass JI-Jumbo mehr Informationen aus einer breiten Palette von Quellen zu generieren kann, was möglicherweise zu einer noch besseren Textqualität führen könnte.
Die Entwicklung bleibt spannend.
Open-Pre-trained-Transformer“ (OPT) von META
Veröffentlicht am 02.05.2022 Ist auch Marc Zuckerberg mit Meta in das KI Rennen eingestiegen. Das Modell soll für jeden zugänglich sein. Meta wird verschiede Größen von Sprachmodellen anbieten von 125 Mio. bis hin zu 175 Milliarden Parametern die sich auch inder Anzahl der Layer unterscheiden werden, (von 12 bei der kleinsten zu 96 bei der größten Version)
Zusammenfassung
Ich bin sehr gespannt auf die Entwicklung von GPT-4 und darauf, was es für die Zukunft der Textgeneratoren bedeuten könnte. Auch wenn es nur wenige präzise Aussagen über GPT-4 gibt, sind die möglichen Auswirkungen enorm. Ich freue mich darauf, die Fortschritte genau zu verfolgen und euch auf dem Laufenden zu halten, sobald sie verfügbar sind.
Bitte beachte:
Ich verdiene mein Geld durch Affiliate Links, die durch ein * hervorgehoben sind. Solltest du über einen dieser Links ein Produkt kaufen, bist du nicht nur ein absoluter Held oder Heldin, sondern unterstützt mich dabei weiterhin informative Inhalte zu produzieren, die dich hoffentlich weiterbringen. Und das Beste: Es entstehen für dich keine weiteren Mehrkosten. Ich bekomme nur eine kleine Vermittlungsgebühr von dem jeweiligen Anbieter.
Besten Dank!
Weitere Artikel die dich interessieren könnten:
Bildqualität verbessern online mit den 3 besten KI-Tools
Jasper AI: Bis zu 5x schneller Bloggen dank künstlicher Intelligenz
Surfer SEO: 9 Gründe warum du das Tool nutzen solltest
Die Zukunft des Bloggens schon heute: Wie GPT-3 die Künstliche Intelligenz alles verändern wird
Die besten 3 KI Text Generatoren für deutsche SEO-optimierte Inhalte
Erklärvideo Erstellen 2022: Die beste KI um Geld und Zeit zu sparen
