Perumahan Peramu Jaya 3 mempunyai sejarahnya tersendiri. Pada mulanya kawasan perumahan ini adalah kawasan hutan paya yang diselenggarakan oleh kerajaan negeri untuk membina perumahan kos rendah bagi penempatan kaum melayu di Pahang. Pada awalnya perumahan ini diberi nama Rumah 500 kerana terdapat 504 buah rumah yang telah dibina.

Pada tahun 1986, kawasan Peramu Jaya mula dibuka kepada penduduk negeri Pahang yang berbangsa melayu sahaja dan pada awal tahun 1987 perumahan ini telah dirasmikan oleh Sultan Pahang iaitu Sultan Haji Ahmad Shah ibni Sultan Abu Bakar Riayatuddin Al-Muadzam Shah. Kawasan ini tidak menerima rakyat luar selain daripada rakyat negeri Pahang. Segala bentuk sumbangan dan bantuan yang diterima hanya dikhaskan untuk negeri Pahang sahaja.