Он входил в число двенадцати ближайших учеников Христа, однако в Евангелиях о нем упоминается лишь вскользь, что породило множество исторических загадок.
Известно, что Иаков был сыном Алфея и, предположительно, братом апостола Матфея и Иуды Иаковлева. До призвания он работал мытарем (сборщиком налогов). После Пятидесятницы, когда на учеников сошел Святой Дух, Иаков отправился в миссионерские странствия. Вместе с Андреем Первозванным он проповедовал Евангелие в Иудее, Эдессе, Газе и Елевферополе, приводя многих людей к спасению.
Жизненный путь святого завершился мученически. Согласно наиболее распространенной версии, он принял кончину в египетском городе Острацыне, где был распят на кресте. Другие исторические источники утверждают, что его побили камнями в Мармарике.
В хрониках Иакова Алфеева часто путают с двумя другими апостолами: Иаковом Зеведеевым (Старшим) и Иаковом, «братом Господним» (первым епископом Иерусалима). Путаницу усугубляет тот факт, что Иакова Алфеева в некоторых древних текстах тоже именуют Младшим.