inoTecCast   /     NLP Update: Attention & Big Science

Description

Natürliche Sprachverarbeitung (NLP) war bereits vor 2 Jahren das Thema einer Techtiefen Podcast-Triologie. Seit dem hat sich aber sehr viel getan, insbesondere Transfer-Learning und die Transformer Technologie haben mächtige Modelle wie Bert oder GPT ermöglicht, es wird also höchste Zeit für ein Update. Wer zuerst noch einmal die Grundlagen auffrischen möchte, dem sei [Techtiefen [NLP] Moderne Sprachverarbeitung](https://techtiefen.de/nlp-moderne-sprachverarbeitung/) empfohlen. Experte dieser Folge ist Nils Reimers, NLP Forscher bei Huggingface und Autor der [Sentence-Transformers Library](https://github.com/UKPLab/sentence-transformers/). Er erklärt zunächst die wichtigen Neuheiten der vergangen Jahre wie etwa Transfer Learning, Attention, Transfomer und Neuheiten bei Tokenization Strategien. Anschließend sprechen wir darüber, wie man am besten aus einem Text variabler Länge Vektoren mit fixer Dimensionalität bestimmt. Diese so bestimmten Vektoren sind dann Grundlage für anspruchsvolle Aufgaben wie Text-Clustering, Semantische Suche oder Question-Answering Aufgaben. Auch besprechen wir, wie man einsprachige Modelle mit Hilfe eines Teacher-Student Verfahrens in fremde Sprachen übertragen kann. Abschließend berichtet Nils vom [Big Science Projekt](https://bigscience.huggingface.co/en/#!index.md), einem einjährigen Workshop bei dem 500 Personen aus über 50 Ländern mitarbeiten um gemeinsam auf einem französischen Supercomputer das größte bisher berechnete Sprachmodell zu berechnen. Anders als bei GPT wird sowohl das Modell, wie auch der Prozess dieses zu erstellen offen und transparent. Besonders ist dabei auch der Ansatz, spannende Forschungsfragen bereits vor dem Modelltraining zu formulieren. Links: - Paper von Nils über die wir gesprochen haben: - [Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks](https://arxiv.org/pdf/1908.10084.pdf) - [Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation](https://arxiv.org/pdf/2004.09813.pdf) - [BigScience Projekt](https://bigscience.huggingface.co/en/#!index.md) - [Sentence-Transformers Library](https://github.com/UKPLab/sentence-transformers/) - [Huggingface](https://huggingface.co/course/chapter1) Online-Kurs

Subtitle
Duration
01:34:45
Publishing date
2021-07-21 20:01
Link
https://techtiefen.de/36-nlp/
Deep link
https://techtiefen.de/36-nlp/#
Contributors
  Nico Kreiling
contributor   author  
  Nils Reimers
contributor  
Enclosures
https://techtiefen.de/podlove/file/60/s/feed/c/mp3/36_nlp.mp3
audio/mpeg

Shownotes

Natürliche Sprachverarbeitung (NLP) war bereits vor 2 Jahren das Thema einer Techtiefen Podcast-Triologie. Seit dem hat sich aber sehr viel getan, insbesondere Transfer-Learning und die Transformer Technologie haben mächtige Modelle wie Bert oder GPT ermöglicht, es wird also höchste Zeit für ein Update. Wer zuerst noch einmal die Grundlagen auffrischen möchte, dem sei Techtiefen [NLP] Moderne Sprachverarbeitung empfohlen.

Experte dieser Folge ist Nils Reimers, NLP Forscher bei Huggingface und Autor der Sentence-Transformers Library. Er erklärt zunächst die wichtigen Neuheiten der vergangen Jahre wie etwa Transfer Learning, Attention, Transfomer und Neuheiten bei Tokenization Strategien. Anschließend sprechen wir darüber, wie man am besten aus einem Text variabler Länge Vektoren mit fixer Dimensionalität bestimmt. Diese so bestimmten Vektoren sind dann Grundlage für anspruchsvolle Aufgaben wie Text-Clustering, Semantische Suche oder Question-Answering Aufgaben. Auch besprechen wir, wie man einsprachige Modelle mit Hilfe eines Teacher-Student Verfahrens in fremde Sprachen übertragen kann.

Abschließend berichtet Nils vom Big Science Projekt, einem einjährigen Workshop bei dem 500 Personen aus über 50 Ländern mitarbeiten um gemeinsam auf einem französischen Supercomputer das größte bisher berechnete Sprachmodell zu berechnen. Anders als bei GPT wird sowohl das Modell, wie auch der Prozess dieses zu erstellen offen und transparent. Besonders ist dabei auch der Ansatz, spannende Forschungsfragen bereits vor dem Modelltraining zu formulieren.

Links:

Deeplinks to Chapters

00:00:32.438 Einleitung
255
00:01:21.572 Zu Gast: Nils Reimers
255
00:10:25.477 Huggingface
255
00:19:38.799 Transfer Learning
255
00:27:06.293 Attention
255
00:33:22.979 Transformer
255
00:37:21.447 Tokenization
255
00:43:51.244 Self-Supervision / Encoder / Decoder
255
00:53:00.761 Sentence Transformers Library
255
01:02:38.202 einsprachige NLP Modelle übersetzen
255
01:09:27.247 Big Science
255
01:31:08.397 Abschluss
255