В 536 г. до РХ персидский царь Кир разрешил евреям, плененным Навуходоносором, вернуться в Иудею и восстановить свой храм (Езд 1:1-3). Зоровавель, возглавивший вышедших из плена, по возвращении в Иерусалим восстановил жертвенник (Езд 3:2), а затем приступил и к восстановлению храма (Езд 3:8). Однако, работы эти вскоре остановились (Езд 4:21), но, возможно, не полностью (Езд 5:16). Они возобновились только при Дарии Гистаспе (см. Персия) в 520 г. до РХ и были завершены через четыре года, то есть в 516 г. до РХ (Езд 6:15).
По повелению Кира храм мог быть размерами 30м высоты и 30м в ширину (по-видимому, в любом направлении) (Езд 6:3), но не известно, каким он был построен на самом деле. Известно только, что он выглядел весьма незначительным по сравнению с первым храмом (Агг 2:3). В Мишне — одной из частей Талмуда сказано, что, поскольку ковчега не было в этом храме, в нем не было и Самого Бога.
Но через пророка Аггея было предсказано, что слава этого храма будет больше славы первого (Агг 2:9). И действительно, несмотря на то, что он был осквернен Антиохом Епифаном в 167 г. до РХ (см. обновления праздник), а затем почти полностью перестроен Иродом (см. ниже), в этом храме (Иерусалимском храме) проповедовал и учил Господь Иисус Христос.
После освобождения из вавилонского плена много евреев осело также в Египте, где они в царствование Птоломея 7 (181-146 гг до РХ) построили себе храм по образцу Соломонова в городе Леонтополе, который существовал не менее трех столетий и в котором регулярно проводились богослужения.