Оглавление
Об авторе.............................................................................................................20
От научного редактора перевода.......................................................................... 20
От издательства ................................................................................................... 22
ПРЕАМБУЛА........................................................................................... 23
Глава 1. Финансовое машинное обучение как отдельная дисциплина ...................... 24
1.1. Актуальность ................................................................................................. 24
1.2. Основная причина безуспешности проектов финансового
машинного обучения ............................................................................................ 25
1.2.1. Сизифова парадигма.............................................................................. 26
1.2.2. Метастратегическая парадигма.............................................................. 27
1.3. Структура книги............................................................................................. 27
1.3.1. Структура в виде производственной цепочки......................................... 28
1.3.2. Структура по компонентам стратегии..................................................... 32
1.3.3. Структура по распространенной ошибке................................................ 36
1.4. Целевая аудитория ........................................................................................ 37
1.5. Справочная информация ............................................................................... 38
1.6. Часто задаваемые вопросы............................................................................ 39
1.7. Благодарности ............................................................................................... 44
Упражнения.......................................................................................................... 45
ЧАСТЬ 1. АНАЛИЗ ДАННЫХ .................................................................. 47
Глава 2. Структуры финансовых данных .................................................................. 48
2.1. Актуальность ................................................................................................. 48
2.2. Основные типы финансовых данных.............................................................. 48
2.2.1. Базовые данные..................................................................................... 49
2.2.2. Данные рынка........................................................................................ 50
2.2.3. Аналитические данные .......................................................................... 50
6   Оглавление
2.2.4. Альтернативные данные ........................................................................ 50
2.3. Бары.............................................................................................................. 51
2.3.1. Стандартные бары................................................................................. 51
2.3.2. Информационные гистограммы.............................................................. 55
2.4. Работа с мультипродуктовыми рядами........................................................... 60
2.4.1. Трюк ETF ............................................................................................... 60
2.4.2. Веса метода главных компонент (МГК) .................................................. 63
2.4.3. Перенесение одного фьючерсного контракта......................................... 65
2.5. Отбор признаков............................................................................................ 67
2.5.1. Отбор с целью сокращения.................................................................... 67
2.5.2. Событийно-управляемый отбор.............................................................. 68
Упражнения.......................................................................................................... 70
Глава 3. Маркировка ................................................................................................ 72
3.1. Актуальность ................................................................................................. 72
3.2. Метод фиксированного временного горизонта............................................... 72
3.3. Вычисление динамических порогов................................................................ 74
3.4. Тройной барьерный метод ............................................................................. 74
3.5. Выяснение стороны и размера ставки............................................................ 78
3.6. Метамаркировка ............................................................................................ 80
3.7. Как использовать метамаркировку ................................................................. 82
3.8. Квантоментальный способ ............................................................................. 84
3.9. Исключение ненужных меток......................................................................... 85
Упражнения.......................................................................................................... 86
Глава 4. Веса выборки.............................................................................................. 88
4.1. Актуальность ................................................................................................. 88
4.2. Накладывающиеся исходы............................................................................. 88
4.3. Число одновременных меток.......................................................................... 89
4.4. Средняя уникальность метки ......................................................................... 90
4.5. Бэггинг классификаторов и уникальности ...................................................... 91
4.5.1. Последовательное бутстрапирование .................................................... 93
4.5.2. Реализация последовательного бутстрапирования................................. 94
4.5.3. Числовой пример................................................................................... 95
4.5.4. Эксперименты Монте-Карло................................................................... 96
4.6. Атрибутирование финансовых возвратов....................................................... 98
4.7. Временной спад, или эрозия .......................................................................... 99
4.8. Веса классов................................................................................................ 101
Упражнения........................................................................................................ 102
Оглавление   7
Глава 5. Дробно-дифференцированные признаки .................................................. 104
5.1. Актуальность ............................................................................................... 104
5.2. Дилемма «стационарность или память»....................................................... 104
5.3. Обзор публикаций ....................................................................................... 105
5.4. Метод .......................................................................................................... 106
5.4.1. Долгая память ..................................................................................... 107
5.4.2. Итеративное оценивание ..................................................................... 107
5.4.3. Сходимость .......................................................................................... 109
5.5. Применение................................................................................................. 110
5.5.1. Расширяющееся окно........................................................................... 110
5.5.2. Дробное дифференцирование с окном фиксированной ширины .......... 112
5.6. Стационарность с максимальным сохранением памяти ................................ 114
5.7. Заключение.................................................................................................. 116
Упражнения........................................................................................................ 119
ЧАСТЬ 2. МОДЕЛИРОВАНИЕ ............................................................... 121
Глава 6. Ансамблевые методы................................................................................ 122
6.1. Актуальность ............................................................................................... 122
6.2. Три источника ошибок................................................................................. 122
6.3. Агрегация бутстрапов .................................................................................. 123
6.3.1. Сокращение дисперсии........................................................................ 124
6.3.2. Улучшенная точность .......................................................................... 125
6.3.3. Избыточность наблюдений .................................................................. 127
6.4. Случайный лес............................................................................................. 127
6.5. Бустирование............................................................................................... 129
6.6. Бэггинг vs бустинг в финансах ..................................................................... 130
6.7. Бэггинг для масштабируемости .................................................................... 131
Упражнения........................................................................................................ 132
Глава 7. Перекрестная проверка в финансах.......................................................... 133
7.1. Актуальность................................................................................................ 133
7.2. Цель перекрестной проверки ....................................................................... 133
7.3. Почему перекрестная проверка по k блокам оказывается безуспешной
в финансах......................................................................................................... 135
7.4. Решение: прочищенная k-блочная перекрестная проверка .......................... 136
7.4.1. Очищение набора данных для обучения .............................................. 136
7.4.2. Эмбарго ............................................................................................... 138
7.4.3. Класс прочищенной k-блочной перекрестной проверки........................ 139
8   Оглавление
7.5. Дефекты реализации перекрестной проверки в библиотеке sklearn ............. 140
Упражнения........................................................................................................ 141
Глава 8. Важность признаков ................................................................................. 143
8.1. Актуальность ............................................................................................... 143
8.2. Значимость признаков ................................................................................. 143
8.3. Важность признаков и эффекты замещения................................................. 144
8.3.1. Среднее снижение в примесности........................................................ 145
8.3.2. Среднее снижение точности ................................................................ 146
8.4. Важность признаков без эффектов замещения ............................................ 148
8.4.1. Однопризнаковая важность ................................................................. 148
8.4.2. Ортогональные признаки..................................................................... 149
8.5. Параллелизованная важность признаков против стековой........................... 152
8.6. Эксперименты с синтетическими данными ................................................... 153
Упражнения........................................................................................................ 159
Глава 9. Регулировка гиперпараметров с помощью перекрестной проверки........... 160
9.1. Актуальность ............................................................................................... 160
9.2. Перекрестная проверка с помощью решеточного поиска ............................. 160
9.3. Перекрестная проверка с помощью рандомизированного поиска................. 162
9.3.1. Логарифмически равномерное распределение..................................... 163
9.4. Балльное оценивание и регулировка гиперпараметров................................ 165
Упражнения........................................................................................................ 167
ЧАСТЬ 3. БЭКТЕСТИРОВАНИЕ............................................................. 169
Глава 10. Выставление размера ставки.................................................................. 170
10.1. Актуальность ............................................................................................. 170
10.2. Независимые от стратегии подходы к выставлению размеров.................... 170
10.3. Выставление размера из предсказанных вероятностей .............................. 172
10.4. Усреднение активных ставок...................................................................... 173
10.5. Дискретизация размера ............................................................................. 174
10.6. Динамические размеры ставок и лимитные цены....................................... 175
Упражнения........................................................................................................ 178
Глава 11. Опасности бэктестирования.................................................................... 180
11.1. Актуальность ............................................................................................. 180
11.2. Миссия невыполнима: безупречный бэктест............................................... 180
11.3. Даже если ваш бэктест безупречен, он, вероятнее всего, будет ошибочен 182
11.4. Бэктестирование — это не исследовательский инструмент......................... 182
Оглавление   9
11.5. Несколько общих рекомендаций ................................................................ 183
11.6. Выбор стратегии ........................................................................................ 185
Упражнения........................................................................................................ 189
Глава 12. Бэктестирование через кросс-валидацию ............................................... 190
12.1. Актуальность ............................................................................................. 190
12.2. Прямой метод ............................................................................................ 190
12.2.1. Ловушки прямого метода ................................................................... 191
12.3. Перекрестно-проверочный метод............................................................... 192
12.4. Комбинаторный прочищенный перекрестно-проверочный метод ............... 193
12.4.1. Комбинаторное дробление на подразделы......................................... 194
12.4.2. Алгоритм бэктестирования на основе комбинаторной прочищенной
перекрестной проверки................................................................................. 195
12.4.3. Примеры............................................................................................ 196
12.5. Как комбинаторная прочищенная перекрестная проверка справляется
с бэктестовой переподгонкой ............................................................................. 196
Упражнения........................................................................................................ 198
Глава 13. Бэктестирование на синтетических данных ............................................ 200
13.1. Актуальность ............................................................................................. 200
13.2. Правила трейдинга .................................................................................... 200
13.3. Проблема................................................................................................... 201
13.4. Наш математический каркас ...................................................................... 203
13.5. Численное определение оптимальных торговых правил............................. 204
13.5.1. Алгоритм............................................................................................ 204
13.5.2. Реализация ........................................................................................ 206
13.6. Экспериментальные результаты................................................................. 207
13.6.1. Случаи с нулевым долгосрочным равновесием................................... 209
13.6.2. Случаи с положительным долгосрочным равновесием ....................... 213
13.6.3. Случаи с отрицательным долгосрочным равновесием ........................ 216
13.7. Выводы ...................................................................................................... 225
Упражнения........................................................................................................ 225
14. Статистические показатели бэктеста.............................................................. 227
14.1. Актуальность.............................................................................................. 227
14.2. Виды статистических показателей бэктеста ............................................... 227
14.3. Основные характеристики.......................................................................... 228
14.4. Результативность ....................................................................................... 230
14.4.1. Взвешенная по времени возвратность................................................ 231
14.5. Интервалы ................................................................................................. 232
10   Оглавление
14.5.1. Концентрация финансовых возвратов................................................ 232
14.5.2. Просадка и время нахождения ниже уровня воды.............................. 234
14.5.3. Статистические показатели интервалов для оценивания
результативности.......................................................................................... 235
14.6. Дефицит реализации ................................................................................. 235
14.7. Эффективность .......................................................................................... 236
14.7.1. Коэффициент Шарпа.......................................................................... 236
14.7.2. Вероятностный коэффициент Шарпа.................................................. 236
14.7.3. Дефлированный коэффициент Шарпа ................................................ 238
14.7.4. Статистические показатели эффективности ....................................... 239
14.8. Классификационные балльные оценки....................................................... 240
14.9. Атрибутирование ....................................................................................... 242
Упражнения........................................................................................................ 243
Глава 15. Понимание риска стратегии.................................................................... 245
15.1. Актуальность ............................................................................................. 245
15.2. Симметричные выплаты............................................................................. 245
15.3. Асимметричные выплаты ........................................................................... 247
15.4. Вероятность неуспешности стратегии ........................................................ 250
15.4.1. Алгоритм............................................................................................ 251
15.4.2. Реализация ........................................................................................ 252
Упражнения........................................................................................................ 253
Глава 16. Распределение финансовых активов ...................................................... 255
16.1. Актуальность ............................................................................................. 255
16.2. Проблема выпуклой портфельной оптимизации......................................... 255
16.3. Проклятие Марковица................................................................................ 256
16.4. От геометрических связей к иерархическим............................................... 258
16.4.1. Деревовидная кластеризация............................................................. 259
16.4.2. Квазидиагонализация ........................................................................ 263
16.4.3. Рекурсивное дробление пополам ....................................................... 264
16.5. Численный пример..................................................................................... 266
16.6. Вневыборочные симуляции Монте-Карло ................................................... 269
16.7. Дальнейшие исследования ......................................................................... 272
16.8. Заключение ............................................................................................... 274
Дополнение ....................................................................................................... 275
16.А.1. Корреляционный метрический показатель......................................... 275
16.А.2. Инверсно-дисперсное размещение..................................................... 276
16.А.3. Воспроизведение численного примера............................................... 277
Оглавление   11
16.А.4. Воспроизведение эксперимента Монте-Карло .................................... 279
Упражнения........................................................................................................ 281
ЧАСТЬ 4. ПОЛЕЗНЫЕ ФИНАНСОВЫЕ ПРИЗНАКИ .............................. 283
Глава 17. Структурные сдвиги................................................................................ 284
17.1. Актуальность.............................................................................................. 284
17.2. Типы проверок на структурные сдвиги....................................................... 284
17.3. Проверки на основе фильтра CUSUM.......................................................... 285
17.3.1. Проверка CUSUM Брауна—Дарбина—Эванса на рекурсивных
остатках ........................................................................................................ 285
17.3.2. Проверка CUSUM Чу—Стинчкомба—Уайта на уровнях ........................ 286
17.4. Проверки взрываемости ............................................................................. 286
17.4.1. Проверка Дики—Фуллера по типу Чоу................................................ 287
17.4.2. Супремально расширенный тест Дики—Фуллера ................................ 288
17.4.3. Суб- и супермартингейловые проверки .............................................. 296
Упражнения........................................................................................................ 297
Глава 18. Энтропийные признаки........................................................................... 299
18.1. Актуальность ............................................................................................. 299
18.2. Энтропия Шеннона .................................................................................... 299
18.3. Подстановочный (или максимально правдоподобный) оценщик................. 301
18.4. Оценщики на основе алгоритма LZ............................................................. 302
18.5. Схемы кодирования ................................................................................... 306
18.5.1. Двоичное кодирование ...................................................................... 306
18.5.2. Квантильное кодирование.................................................................. 306
18.5.3. Сигма-кодирование............................................................................ 307
18.6. Энтропия гауссова процесса ...................................................................... 307
18.7. Энтропия и обобщенное среднее................................................................ 310
18.8. Несколько финансовых приложений энтропии ........................................... 312
18.8.1. Рыночная эффективность .................................................................. 312
18.8.2. Генерирование максимальной энтропии............................................. 312
18.8.3. Концентрация портфеля .................................................................... 312
18.8.4. Микроструктура рынка....................................................................... 313
Упражнения........................................................................................................ 315
Глава 19. Микроструктурные признаки .................................................................. 317
19.1. Актуальность ............................................................................................. 317
19.2. Обзор литературы...................................................................................... 317
19.3. Первое поколение: ценовые последовательности ...................................... 318
12  Оглавление
19.3.1. Тиковое правило................................................................................ 318
19.3.2. Модель Ролла .................................................................................... 319
19.3.3. Оценщик волатильности максимум-минимум...................................... 320
19.3.4. Корвин и Шульц................................................................................. 321
19.4. Второе поколение: стратегические модели сделок..................................... 323
19.4.1. Лямбда Кайла .................................................................................... 324
19.4.2. Лямбда Амихуда................................................................................. 326
19.4.3. Лямбда Хасбрука................................................................................ 326
19.5. Третье поколение: модели последовательных сделок ................................ 327
19.5.1. Вероятность информационно обусловленной торговли ...................... 328
19.5.2. Объемно-синхронизированная вероятность информированной
торговли ....................................................................................................... 329
19.6. Дополнительные признаки из микроструктурных совокупностей
данных ............................................................................................................... 330
19.6.1. Распределение объемов ордеров ....................................................... 331
19.6.2. Скорости отмены, лимитные и рыночные ордера ............................... 331
19.6.3. Исполнительные алгоритмы TWAP ..................................................... 332
19.6.4. Опционные рынки.............................................................................. 333
19.6.5. Внутрирядовая корреляция ориентированного (по знаку) потока
ордеров......................................................................................................... 334
19.7. Что такое микроструктурная информация?................................................. 334
Упражнения........................................................................................................ 336
ЧАСТЬ 5. РЕЦЕПТЫ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ
ВЫЧИСЛЕНИЙ ..................................................................................... 339
Глава 20. Мультиобработка и векторизация........................................................... 340
20.1. Актуальность ............................................................................................. 340
20.2. Пример векторизации ................................................................................ 340
20.3. Однопоточность против многопоточности и мультиобработки.................... 341
20.4. Атомы и молекулы ..................................................................................... 343
20.4.1. Линейные подразделы ....................................................................... 343
20.4.2. Подразделения с дважды вложенными циклами ................................ 344
20.5. Мультиобрабатывающие механизмы .......................................................... 346
20.5.1. Подготовка заданий........................................................................... 347
20.5.2. Асинхронные вызовы ......................................................................... 349
20.5.3. Разворачивание функции обратного вызова ...................................... 349
20.5.4. Консервация/расконсервация объектов.............................................. 350
20.5.5. Сокращение результата ..................................................................... 350
Оглавление   13
20.6. Пример мультиобработки........................................................................... 352
Упражнения........................................................................................................ 353
Глава 21. Метод полного перебора и квантовые компьютеры ................................ 355
21.1. Актуальность ............................................................................................. 355
21.2. Комбинаторная оптимизация ..................................................................... 355
21.3. Целевая функция....................................................................................... 356
21.4. Задача ....................................................................................................... 357
21.5. Целочисленно-оптимизационный подход ................................................... 357
21.5.1. Подразделения по методу голубиных клеток...................................... 358
21.5.2. Допустимые статические решения ..................................................... 359
21.5.3. Оценивание траекторий..................................................................... 360
21.6. Численный пример..................................................................................... 361
21.6.1. Случайные матрицы........................................................................... 361
21.6.2. Статическое решение......................................................................... 362
21.6.3. Динамическое решение...................................................................... 363
Упражнения........................................................................................................ 363
Глава 22. Технологии высокопроизводительного вычислительного интеллекта
и прогнозирования .................................................................................................. 365
22.1. Актуальность ............................................................................................. 365
22.2. Регулятивная реакция на молниеносный обвал 2010 года.......................... 366
22.3. История вопроса ........................................................................................ 366
22.4. Аппаратное обеспечение для высокопроизводительных вычислений ......... 368
22.5. Программное обеспечение высокопроизводительных вычислений ............. 372
22.5.1. Интерфейс передачи сообщений........................................................ 373
22.5.2. Иерархический формат данных 5 (HDF5) ........................................... 373
22.5.3. Обработка прямо на месте................................................................. 374
22.5.4. Конвергенция..................................................................................... 375
22.6. Примеры использования ............................................................................ 375
22.6.1. Поиск сверхновой звезды................................................................... 376
22.6.2. Пятна в термоядерной плазме ........................................................... 377
22.6.3. Внутридневное пиковое потребление электроэнергии ....................... 379
22.6.4. Молниеносный обвал 2010 года ......................................................... 384
22.6.5. Калибровка объемно-синхронизированной вероятности
информированной торговли .......................................................................... 386
22.6.6. Выявление высокочастотных событий с помощью неравномерного
быстрого преобразования Фурье................................................................... 388
22.7. Итоги и призыв к сотрудничеству............................................................... 389
22.8. Благодарности ........................................................................................... 391
14  Оглавление
ПРИЛОЖЕНИЯ ..................................................................................... 393
Приложение A. О книге «Машинное обучение: алгоритмы для бизнеса»
Лопеза де Прадо...................................................................................................... 394
А.1. Структуры данных ....................................................................................... 394
А.2. Статистические свойства и преобразования стационарности ....................... 396
А.3. Маркировка для самообучения .................................................................... 397
А.3.1. Тройной барьерный метод................................................................... 397
А.3.2. Метамаркировка .................................................................................. 398
А.4. Обучающиеся алгоритмы для направления и размера ставки ...................... 399
А.4.1. Агрегирование бутстраповских выборок (бэггированные
классификаторы)........................................................................................... 399
А.4.2. Случайные леса................................................................................... 400
А.4.3. Важность признаков ............................................................................ 400
А.4.4. Перекрестная проверка ....................................................................... 401
А.5. Дальнейшие исследования .......................................................................... 402
Приложение Б. Глоссарий..................................................................................... 403
Приложение В. Справочные материалы и библиография...................................... 413