Джеймс Джордж Фрэзер родился в Глазго 1 января 1854 года.
Он был старшим из четырёх детей в семье фармацевта. Родители Фрэзера состояли в Свободной церкви Шотландии — консервативной секте, которая в 1840-х гг. порвала с официальной шотландской церковью. Джеймс вырос в атмосфере глубокой набожности, которую, как он позже писал, совсем не считал гнетущей.
Фрэзер поступил в университет Глазго в возрасте 15 лет (обычный возраст для того времени). Получил образование по специальности юриспруденция (1869—74).
В мемуарах он вспоминает, что в это время с ним произошли три важные вещи: он на всю оставшуюся жизнь увлёкся классическими языками и литературой, понял, что мир управляется системой неизменных природных законов, и безболезненно потерял религиозную веру своего детства.
Прочитав книгу Э. Тайлора «Первобытная культура» (1871), решил изучать антропологию. Он считал, что хотя шотландское образование дало более разностороннюю подготовку, чем это сделало бы английское, но всё-таки его уровня недостаточно, и поступил в Тринити-колледж Кембриджского университета для получения второй степени бакалавра, где стал учеником У. Робертсон-Смита и в 1874—79 гг. изучал классическую филологию, философию и право.
С 1879 года и до конца жизни работал в Кембриджском университете, с 1907 года — профессор социальной антропологии. В 1896 году Фрэзер женился на Элизабет Гроув (Elizabeth [Lilly] Grove) — вдове французского происхождения с двумя детьми, которая из-за бедности стала писательницей. Она была автором важного исследования, посвящённого истории танца, и множества пьес, использовавшихся для обучения во французской школе.
Элизабет была убеждена, что научное сообщество недооценивает заслуги её мужа, который полностью соответствовал стереотипу учёного — был застенчив и неразговорчив.
Она организовала перевод его работ на французский язык, благодаря чему Фрэзер стал очень известным во Франции после Первой мировой войны.
В 1907 году он стал членом совета Тринити-колледжа Кембриджского университета, а в 1907—1908 гг. — профессором социальной антропологии Ливерпульского университета. На протяжении всей жизни Фрэзер получал высшие академические награды.
В 1914 году он был произведён в звание рыцаря, в 1920 году стал членом Лондонского королевского общества (по статуту 12), а в 1925 году получил награду за заслуги.
С 1930 года почти полностью ослеп. Умер Джеймс Джордж Фрэзер 7 мая 1941 года в возрасте 87 лет.
