Родился в семье директора школы. Отец умер вскоре после его рождения. Мать Якоба вторично вышла замуж, но после рождения второго ребенка заболела и умерла. Отчим сделал все, чтобы Якоб и его младший брат получили хорошее образование. Химией Якоб Берцелиус увлекся только в двадцатилетнем возрасте, но уже в 29 лет он был избран членом Шведской королевской Академии наук, а двумя годами позже - ее президентом.
Берцелиус на опыте подтвердил многие химические законы, известные к тому времени. Работоспособность Берцелиуса поражает: он проводил в лаборатории по 12-14 часов в сутки.
На протяжении своей двадцатилетней научной деятельности он исследовал более двух тысяч веществ и точно определил их состав. Он открыл три новых химических элемента (церий Ce, торий Th и селен Se), впервые выделил в свободном состоянии кремний Si, титан Ti, тантал Ta и цирконий Zr.