Was ist BERT (Bidirectional Encoder Representations from Transformers)?

Bei BERT handelt es sich um ein maschinelles Lernmodell, welches mit dem Ziel entwickelt wurde, Verarbeitungsaufgaben natürlicher Sprache zu übernehmen. Die Besonderheit ist die bidirektionale Arbeitsweise des Lernmodells. Das bedeutet, dass sowohl das vorherige als auch das folgende Wort genutzt wird, um den Kontext eines Textes zu verstehen. BERT betrachtet somit Wörter im Kontext und nicht jedes Wort für sich. Das Modell wurde von Google 2018 veröffentlicht.

Was war der Hintergrund der Entwicklung von BERT?

Als BERT veröffentlicht wurde, galt das Lernmodell als State-of-the-Art in den Bereichen des natürlichen Sprachverständnisses sowie dessen Interpretation. Google nutzt das Lernmodell vor allem dafür, um Suchanfragen besser zu verstehen. Darüber hinaus wird den Nutzern der Suchmaschine auch eine natürliche Formulierung der Suchanfrage ermöglicht. Durch das Training mit großen Textmengen konnte ein gutes Ergebnis erzielt werden, sodass BERT auch noch heute als Forschungs- und Entwicklungsgrundlage von NLP (Natural Language Processing) dient.

Ein Modell, welches auf Basis von BERT entwickelt, beziehungsweise weiterentwickelt wurde und eine deutlich höhere Trainingsgeschwindigkeit hat, ist das ALBERT-Lernmodell. 

Limitierungen von BERT

BERT hat lange als Basis für weitere Transformermodelle gedient, war jedoch durch folgende Limitierungen in der Anwendung begrenzt: 

• Lange Trainingszeiten und großer Ressourcenaufwand
• Kein paralleles Training möglich
• langsame Vorhersage Zeit
• Schwierigkeiten bei der Interpretation
• Vollständigkeit des Textes ist notwendig

Neuere Transformermodelle hatten deshalb häufig zum Ziel, diese Limitierungen zu eliminieren.