Penubuhan Sekolah Menengah Agama Pekan Rembau pada awalnya berasal daripada sebuah rumah masak yang terletak di Masjid Jamek Rembau. Apabila Dasar Ekonomi Baru (DEB) diperkenalkan di bawah Rancangan Malaysia Kedua ketika di bawah pimpinan Tun Abd. Razak, masyarakat sekitar daerah Rembau mengambil peluang ini untuk memohon agar Kerajaan Negeri menubuhkan sebuah sekolah agama di Pekan Rembau.Setelah permohonan tersebut diluluskan, masyarakat setempat telah bergotong-royong untuk membersihkan kawasan paya yang telah ditebus gunakan sebagai lokasi baru sekolah. Bermula daripada saat ini, bangunan SMA Pekan Rembau telah dipindahkan daripada Masjid Jamek Rembau ke sebuah tapak baru yang kemudiannya dikenali sebagai SMRA Rembau dan telah dirasmikan pada 1 Mei 1959 bersamaan 23 Syawal 1378.
Di lokasi baru ini , bangunan satu tingkatan telah dibina serta menempatkan beberapa buah bilik seperti bilik pentadbiran, perpustakaan dan bilik darjah dari sekitar tahun 60an sehingga tahun 1996. Rentetan daripada pembukaan bangunan sekolah di tapak yang baru, sebuah Lembaga Pentadbir sekolah telah ditubuhkan dan dipengerusikan oleh Ustaz Nasir b. Hj. Md. Aji pada ketika itu. Sebagai permulaan, sekolah ini hanya menawarkan satu aliran mata pelajaran sahaja iaitu Bahasa Arab dan tidak menawarkan mata pelajaran akademik. Kaedah pengajaran dan pembelajaran di sekolah ini adalah secara formal dan diajar dalam bahasa Arab. Pada peringkat penubuhannya, kebanyakan pelajar sekolah ini terdiri daripada pelajar yang gagal dalam Lower Certificate Examination ( LCE) dan mereka yang berminat untuk mendalami pengajian agama. Di samping itu, pihak sekolah turut menawarkan Sijil Menengah Rendah Agama yang mana ianya akan melayakkan para pelajar melanjutkan pelajaran ke Sekolah Menengah Agama Tinggi.
Setelah 25 tahun beroperasi, pihak Lembaga Pentadbir sekolah dengan kerjasama Allahyarham Dato’ Hj. Mahzan b. Hj. Hamzah( bekas ADUN Chembong) telah mengasaskan penubuhan asrama sekolah untuk kemudahan para pelajar dari luar daerah Rembau. Kebanyakan daripada mereka berasal dari kawasan Felda Gemas, Palong dan Pasir Besar dan sekitar daerah Kuala Pilah. Sekitar tahun 1984, hanya terdapat seorang pelajar lelaki yang menghuni asrama yang bertempat di bilik darjah dan kini dijadikan sebagai Bengkel ERT. Manakala pelajar perempuan ditempatkan bersebelah rumah warden dan sebahagiannya menumpang di rumah penduduk berhampiran yang dikenali sebagai Puan Aminah. Setahun kemudian, pihak Lembaga Pentadbir sekolah telah bersetuju untuk membina dua buah bangunan baru sebagai asrama putera dan asrama puteri. Pada ketika itu, surau terletak di bilik bersebelahan asrama putera. Warden pertama yang bertanggungjawab mengurus asrama pada ketika itu adalah Allahyarhamah Puan Kalsom bt. Mohd. Tasha.
Sekitar penghujung tahun 1990an, Jabatan Hal Ehwal Agama Islam telah menyalurkan bantuan kewangan kepada pihak sekolah untuk membina sebuah bangunan dua tingkat sebagai penempatan baru bangunan sekolah. Penghujung tahun 1997, bangunan dua tingkatan ini mula digunakan dengan menempatkan bahagian pentadbiran sekolah di aras satu dan Pusat Sumber Sekolah di aras dua bangunan ini.
