Pada tahun 1979, Pimpinan Daerah Muhammadiyah Kota Balikpapan dan Pasir membentuk sebuah panitia Pembangunan Panti Asuhan dan Pondok Pesantren yang diketuai oleh Bapak Muhammad Adnan.
Panti Asuhan dan Pondok Pesantren tersebut diberi nama “Pondok Pesantren Al-Mujahidin Balikpapan” yang berlokasi di Jl Soekarno-Hatta Km 10 Desa Karang Joang Kecamatan Balikpapan Utara Kotamadya Balikpapan Kalimantan Timur. Modal awal yang digunakan untuk mewujudkan pembangunan tersebut adalah tanah seluas 0,6 Ha dan sebuah rumah kayu berukuran 6 x 6 m wakaf dari Bapak H.A Syukur Daha Ketua Pimpinan Daerah Muhammadiyah Kota Balikpapan dan Pasir.
Pada tahun 1980, didatangkan 8 (delapan) santri dari Desa Semoi I Kecamatan Penajam Kotamadya Balikpapan Kalimantan Timur yang diasuh oleh ustadz Abdul Munib dan ustadz Martunis dari Kudus. Karena keterbatasan fasilitas yang dimiliki, pembelajaran yang telah berlangsung selama 1 (satu) bulan akhirnya berhenti.
Pada tahun 1981, didatangkan kembali 12 (duabelas) santri dari Desa Semoi I dan Semoi II Kecamatan Penajam Kotamadya Balikpapan Kalimantan Timur yang diasuh oleh ustadz Husen Chili dibantu oleh ustadz Munaji. Selanjutnya kepengasuhan digantikan oleh ustadz Rusdiman, B.A yang dibantu oleh ustadz Ali Mahmudi dan ustadz Chosyi’ Soen.
Untuk memberikan kesempatan kepada para santri menempuh pendidikan formal, maka pada tahun 1982 didirikan Sekolah Lanjutan Tingkat Pertama (SLTP) yang diberi nama “SLTP Muhammadiyah 3 Al-Mujahidin Balikpapan”. Selanjutnya untuk menampung lulusan SLTP tersebut, maka pada tahun 1987 didirikan Sekolah Lanjutan Tingkat Atas (SLTA) yang diberi nama “SLTA Muhammadiyah 2 Al-Mujahidin Balikpapan”. Saat ini baik SMP maupun SMA berstatus “Terakreditasi A”.
Tingkat Pendidikan
1. SMP Muhammadiyah 3 Al-Mujahidin (Terakreditasi A)
2. SMA Muhammadiyah 2 Al-Mujahidin (Terakreditasi A)