A Mesquita Baiturrahim Jamik é uma das construções em Tarempa com significância histórica. Construído há mais de 90 anos, a mesquita sofreu várias reformas ao longo do tempo e ainda continua firme de pé até hoje.
Outro lugar de culto e atração turística bastante visitada é o templo Gunung Dewa Siantan. Este monastério foi uma vez deslocado por inteiro para um local mais acima na encosta rochosa na qual foi construído para ficar fora do alcance do mar agitado abaixo. Hoje, o templo permanece de pé, majestoso, observando a baía de Tarempa, a região da cidade, assim como as montanhas verdejantes atrás.
