Языковые модели без лишних слов

Книга представляет собой лаконичное и в то же время исчерпывающее руководство по построению языковых моделей. Рассматриваются математические основы машинного обучения, векторные представления и работа нейронных сетей. Изложены принципы моделирования языка: от мешков слов и эмбеддингов до рекуррентных сетей и архитектуры трансформеров. Приводятся полные реализации описанных моделей и методов на Python с использованием фреймворка PyTorch, включая примеры в виде Jupyter-блокнотов. Описаны методы обучения, тонкой настройки и оптимизации больших языковых моделей: LoRA, инженерия промптов, оценка качества, а также вопросы авторского права и этики. В заключительной главе даны направления для дальнейшего изучения: смесь экспертов, сжатие моделей, выравнивание на основе предпочтений, мультимодальные модели.

Ключевые особенности книги:

• Математические основы с понятными объяснениями
• Полные реализации на Python с использованием PyTorch ( код доступен на GitHub)
• Естественное продвижение от простых моделей к трансформерам
• Практические блокноты Jupyter для каждой темы
• Теория, иллюстрации и код в каждой главе

"Эта книга развеяла для меня множество концептуальных неясностей в том, как на самом деле работает машинное обучение — она кристально ясная. Разобранные примеры и приложения в виде блокнотов Jupyter дали мне надежную отправную точку для дальнейших экспериментов. Даже если вы не планируете строить карьеру в области прикладного машинного обучения, эта книга станет прочным фундаментом для осмысления возможностей этих уникальных новых инструментов."

Винт Серф (Vint Cerf)— «отец Интернета», создатель протокола TCP/IP, лауреат премии Тьюринга, вице-президент Google.