RAG и генеративный ИИ. Создаем собственные RAG-пайплайны с помощью Llamalndex, Deep Lake и Pinec

В книге описываются приемы создания эффективных больших языковых моделей, систем компьютерного зрения и генеративного ИИ, показывающих высокую производительность при относительно невысоких затратах. В ней приводится подробное исследование технологии RAG, а также подходов к проектированию мультимодальных пайплайнов ИИ и управлению ими. Связывая вывод с исходными документами, RAG повышает точность и контекстную релевантность результатов, предлагая динамический подход к управлению большими объемами информации.

Узнайте, как построить инфраструктуру RAG, попутно разобравшись с векторными хранилищами, фрагментацией, индексацией и ранжированием. Познакомьтесь с методами оптимизации производительности и приемами более глубокого изучения данных, включая использование адаптивного RAG и обратной связи от человека для уточнения поиска, тонкую настройку RAG, реализацию динамических RAG для поддержки принятия решений в реальном времени и визуализацию сложных данных с помощью графов знаний. Вы также увидите, как на практике объединить такие фреймворки, как LlamaIndex и Deep Lake, векторные базы данных наподобие Pinecone и Chroma и модели, предлагаемые компаниями Hugging Face и OpenAI. Приобретите навыки внедрения интеллектуальных решений, что повысит вашу конкурентоспособность в различных областях: от продакшена до обслуживания клиентовв любом проекте.

Вы научитесь:

• масштабировать пайплайны RAG для эффективной обработки больших наборов данных;

• минимизировать галлюцинации и обеспечивать точность ответов;

• применять методы индексации для улучшения точности ИИ и объяснимости результатов;

• настраивать и масштабировать генеративные системы ИИ на основе RAG в разных областях;

• использовать Deep Lake и Pineсone для быстрого и эффективного извлечения данных;

• создавать надежные генеративные системы ИИ, основанные на данных из реального мира, и управлять ими;

• объединять текстовые и графические данные для получения от ИИ более насыщенных и информативных ответов.

Об авторе и научном редакторе издания

Дэнис Ротман (Denis Rothman) окончил Парижский университет и Университет Париж Дидро. Будучи студентом, он написал и запатентовал одну из первых систем векторного представления слов word2vector и токенизации их фрагментов. Он организовал компанию, занимающуюся внедрением ИИ, и создал один из первых интеллектуальных NLP-ботов, который применялся для обучения языку в винодельческом доме Moët et Chandon (является частью Louis Vuitton Moët Hennesy) и других крупных компаниях. Дэнис быстро стал экспертом по объяснимому ИИ (explainable AI), занимаясь внедрением доступных интерфейсов и информации, проясняющей работу ИИ, в решения, создаваемые для аэрокосмической отрасли, швейной промышленности и пр. Он абсолютно уверен, что полноценно освоить какую-либо тему можно, только обучая других.

Дмитрий Бардин — ведущий разработчик, архитектор решений, один из авторов курса «Архитектор ПО» от «Яндекс Практикума». В настоящее время занимается разработкой бэкенда «КиноПоиска» с применением языков Go и Java. В прошлом руководитель службы продуктовой разработки и ресурс-менеджер. Опыт в ИТ — более 15 лет.