Джеймс і його брат Джон були синами Зеведея. Обидва були рибалками за фахом і товаришами учнів Андрія та Симона Петра. Ісус вперше зустрів їх, коли вони ловили рибу на Галілейському морі.

Євангеліє від Якова (апокрифічне Євангеліє 2-го століття, яке також називають Протоєвангелієм Якова або Євангелієм дитинства Якова) говорить, що Марія була заручена з Йосипом і що він уже мав дітей. У цьому випадку Джеймс був одним із дітей Джозефа від його попереднього шлюбу і, отже, зведений брат Ісуса.

У Діяннях Апостолів сказано, що «цар Ірод» (зазвичай ототожнюваний з Іродом Агріппою) мав Якова страчений мечем. Ніксон припускає, що це могло бути викликано запальним характером Джеймса, через який він і його брат отримали прізвисько Боанергес або «Сини грому».

Обговорюється, чи були Маленький Яків та Ісус родичами. Деякі християни вважають, що вони були двоюрідними братами, але біблійні докази на підтримку цієї позиції обмежені. У Біблії дійсно сказано, що в Ісуса був «брат» на ім’я Яків, але хто був цей брат і що означає «брат» (див. докладніше вище).

Джеймс його завжди називають першим, коли перераховують братів Ісуса, що в його часи, ймовірно, означало, що він був старшим із чотирьох. Яків, відомий як Яків Справедливий і Старий Верблюд, очолював церкву в Єрусалимі до своєї насильницької смерті в 62 році нашої ери.