Putra Brawijaya yang bernama Raden Patah mendirikan kerajaan Islam yaitu kerajaan Demak yang menjadi kerajaan besar di Jawa.
Brawijaya gagal membujuk Raden Patah untuk kembali ke kerajaannya dan menolak jika kerajaan Demak menjadi bawahan kerajaan Majapahit.
Berawal dari pemberontakan menantunya sendiri, Brawijaya pindah ke kerajaan Demak. Raden Patah mengajak ayahnya untuk memeluk agama Islam namun beliau menolak.
Brawijaya tidak ingin terus berdebat yang hanya akan menyebabkan peperangan dengan putranya sendiri. Akhirnya Brawijaya memilih melarikan diri bersama pengikutnya ke Karanganyar.
Diketahui ada beberapa peninggalan Prabu Brawijaya di masa pelariannya:
1. Candi Sukuh
Candi Sukuh berada di dusun Sukuh kabupaten Berjo Karanganyar. Disini Brawijaya membangun Candi dan tetap memeluk agama Hindu. Sebelum candi selesai, pasukan Demak masih mengejarnya dan membuat Brawijaya lari ke Timur.
2. Candi Cetho
Berada di dusun Cetho desa Gumeng kecamatan Jenawi Kabupaten Karanganyar. Disini Brawijaya membangun candi Cetho dan dikejar oleh pasukan Cepu pimpinan adipati Cepu yang menaruh dendam lama. Brawijaya lari ke arah gunung Lawu
3. Bulak Peperangan