inoTecCast   /     #42 AI Chatbots & Open-Assistant

Description

In der 42. Folge dieses Podcasts geht es um die Technologie, die derzeit als die Antwort auf alles und nichts gesehen wird. Andreas Köpf von Open Assistant wird interviewt und es wird diskutiert, wie ChatGPT die Technologie-Revolution angestoßen hat und welche Auswirkungen sie auf die Zukunft hat. Es werden die Grundlagen von ChatGPT wiederholt und ein ausführlicher Blick auf das Refinforcement Learning from Human Feedback (RLHF) geworfen, das den Large Language Models hilft, den Absichten der Nutzer zu folgen. Open-Assistant wird als eine Open-Source-Alternative zu ChatGPT vorgestellt, die von einer engagierten Community aufgebaut wurde und deren Datensatz veröffentlicht wurde. Es wird auch diskutiert, welche Hardware und Modelle für das Training verwendet wurden. Ethik ist ein wichtiges Thema, da bei der Erstellung der Trainingsdaten darauf geachtet werden muss, welche Antworten auf potenziell gefährliche Fragen die richtigen sind. Schließlich wird ein Blick auf die gesellschaftliche Dimension geworfen und über die bevorstehenden Transformationen und nächsten Entwicklungsschritte diskutiert. Links:

Subtitle
Duration
02:32:07
Publishing date
2023-04-26 08:48
Link
https://techtiefen.de/42-ai-chatbots-open-assistant/
Deep link
https://techtiefen.de/42-ai-chatbots-open-assistant/#
Contributors
  Nico Kreiling
author   contributor  
  Andreas Köpf
contributor  
Enclosures
https://techtiefen.de/podlove/file/69/s/feed/c/mp3/42_ai_chatbots_and_open-assistant.mp3
audio/mpeg

Shownotes

In der 42. Folge dieses Podcasts geht es um die Technologie, die derzeit als die Antwort auf alles und nichts gesehen wird. Andreas Köpf von Open Assistant wird interviewt und es wird diskutiert, wie ChatGPT die Technologie-Revolution angestoßen hat und welche Auswirkungen sie auf die Zukunft hat. Es werden die Grundlagen von ChatGPT wiederholt und ein ausführlicher Blick auf das Reinforcement Learning from Human Feedback (RLHF) geworfen, das den Large Language Models hilft, den Absichten der Nutzer zu folgen. Open-Assistant wird als eine Open-Source-Alternative zu ChatGPT vorgestellt, die von einer engagierten Community aufgebaut wurde und deren Datensatz und Modelle mit freier Lizenz veröffentlicht wurden. Es wird auch diskutiert, welche Hardware und Modelle für das Training verwendet wurden. Ethik ist ein wichtiges Thema, da bei der Erstellung der Trainingsdaten darauf geachtet werden muss, welche Antworten auf potenziell gefährliche Fragen die richtigen sind. Schließlich wird ein Blick auf die gesellschaftliche Dimension geworfen und über die bevorstehenden Transformationen und nächsten Entwicklungsschritte diskutiert.

Deeplinks to Chapters

00:01:06.084 Zu Gast: Andreas Köpf
255
00:11:26.225 Transformer, GPT und andere Grundlagen
255
00:26:34.310 Reinforcement learning from human feedback (SFT + RW)
255
00:38:37.155 Trainingsdaten sammeln
255
00:47:30.927 RLHF Step 3
255
01:14:46.352 Wie lief der Trainingsprozess
255
01:34:30.595 Plugins
255
01:44:25.540 Ethiks
255
01:51:17.337 Das besondere an Open-Source
255
02:04:23.769 What's about to come
255
02:22:14.475 Die große Transformation?
255
02:31:50.572 Bis Bald
255