Berdirinya Madrasah Ibitidaiyah Negeri 1 Semarang di Ambarawa diprakarsai oleh Bapak H. Abdul Majid dan ibu Hj. Warsiti serta masyarakat Islam di Kaliputih khususnya dan Kelurahan Panjang pada umumnya mendirikan RA / MI Islam. Lembaga ini berdiri pada tanggal 1 Juni 1966 pada awalnya menempati rumah penduduk di Kalipawon yang dikenal dengan nama Mbah Muh dengan tenaga pengajar ibu Soliyah. Dua tahun kemudian madrasah ini pindah menempati bangunan milik sendiri di desa Kaliputih. Untuk menaungi lembaga-lembaga pendidikan yang direncanakan maka didirikan juga Yayasan Pembaharuan Pendidikan Islam yang kemudian disingkat YPPI.
Walaupun dengan sarana sederhana dan murid relatif sedikit, sekolah ini dapat berjalan. Berkat perjuangan para guru dan pengurus maka pada tahun 1985 mendapat bantuan dari Pemerintah berupa Proyek Impres untuk Pembangunan Gedung Sekolah sebanyak tiga lokal.
Dengan adanya peraturan pemerintah bahwa sekolah-sekolah yang tenaga pengajarnya dari Departemen Agama harus bernaung di bawah Departemen Agama, maka SD Islam Panjang melakukan penyesuain dan berubah menjadi Madrasah Ibtidaiyah Panjang. Melihat perkembangan yang dinilai kurang sesuai dengan harapan, karena kepengurus atau yayasan hanya bersifat kedaerahan saja, maka oleh YPPI Madrasah diserahkan kepada Yayasan Islamic Centre Sudirman, dengan harapan dapat berkembang lebih baik dan lebih besar. Namun demikian apa yang diharapkan belum bisa terwujud.
Ketika Pemerintah membuka kesempatan untuk Penegrian Madrasah-Madrasah Swasta, pengurus yayasan mengusulkan kepada Departemen Agama Kabupaten Semarang, agar Madrasah Ibtidaiyah Panjang diusulkan untuk menjadi Madrasah Ibtidaiyah Negeri. Atas usulan itu, maka berdasarkan Surat Keputusan Menteri Agama Republik Indonesia tanggal 11 Juli 1991, Nomor 137 Tahun 1992 Tentang Pembukaan Dan Penegrian Madrasah oleh Menteri Agama RI, Bpk. Munawir Sazali, Madrasah I Panjang menjadi Madrasah Ibtidaiyah Negeri Ambarawa, dan ibu Sri Sumi Rahayu sebagai kepala madrasah.
Walaupun sudah menjadi Madrasah Ibtidaiyah Negeri, namun bantuan pemerintah masih belum dirasakan dampaknya terhadap perkembangan lembaga. Pada tahun 1994-1995 pemerintah memberikan bantuan berupa pembangunan gedung sekolah sebanyak tiga lokal serta bantuan lain untuk menunjang kegiatan belajar di lembaga tersebut. Mulai saat itulah sedikit demi sedikit bantuan pemerintah diterima dan dapat dirasakan dampaknya untuk perkembangan lembaga tersebut hingga sekarang.