Lulus dari MULO Wiworotomo, Sudirman kemudian melanjutkan ke Kweekschool, sekolah calon guru milik Muhammadiyah di Solo. Namun karena kendala biaya, ia hanya bertahan setahun dan kemudian pulang ke Cilacap, Jawa Tengah.
Pulang ke Cilacap, Sudirman menjadi guru di HIS Muhammadiyah sekaligus menjadi anggota organisasi tersebut. Ia kemudian diangkat menjadi kepala sekolah di sekolah tersebut.
Pada 1943, Sudirman menjalani pendidikan militer Tentara Pembela Tanah Air (PETA) di Bogor yang diselenggarakan oleh Jepang.
Selama bekerja menjadi guru di Cilacap, perhatiannya terhadap masalah-masalah sosial ekonomi masuarakata mulai tumbuh.
Dengan beberapa temannya, ia mendirikan koperasi yang langsung dipimpinnya sendiri.
Tujuan koperasi ini untuk membantu masyarakat Cilacap dari kesulitan ekonomi di masa itu. Ia juga aktif membina Badan Pengurus Makanan Rakyat yang dibentuk Jepang untuk mengumpulkan bahan makanan bagi keperluan perang.
Namun Sudirman justru menganjurkan kepada rakyat supaya mereka menyembunyikan sebagian hasil panen mereka agar mereka tidak kelaparan.
Atas perhatiannya kepada masalah sosial masyarakat, ia kemudian diangakat menjadi anggota Syu Sangikai, semacam DPR di Banyumas. Tugasnya semakin bertambah ketika ia diangakat menjadi anggota Jawa Hokokai untuk Karesidenan Banyumas.
Pada 1943, jepang mendirikan Tentara Pembela Tanah Air (PETA). Tujuannya untuk membantu menghalau invasi sekutu. Dengan demikian, para pemuda Indonesia memiliki kesempatan untuk mengenyam pendidikan militer.
Sudirman bergabung dengan PETA pada 1944, setelah dua tahun menjadi dewan karesidenan atau Syu Sangikai.
Lulus dari PETA, Sudirman ditugaskan di Kroya sebagai Daidanco atau Komandan Batalyon. Setiap kesatuan PETA dipimpin oleh perwira Indonesia, adapaun orang-orang Jepang dalam kesatuan itu hanya menjadi pelatih.
Sudirman kerap melancarkan protes terhadap pelatihnya karena sering bertindak di luar batas. Karena itu, ia dicurigai sebagai orang yang berbahaya.
Bersama dengan beberapa orang perwira lainnya, pada Juli 1945 Sudirman diperintahkan ke Bogor untuk mendapatkan pendidikan lebih intensif. Namun sebenarnya ada tujuan Jepang untuk melenyapkan orang-orang yang dianggap berbahaya itu.
Beruntung rencana itu tak sempat direalisasikan, Jepang keburu menyerah tanpa syarat kepada sekutu pada 14 Agustus 1945.
Pada 17 Agustus 1945, Sudirman memberanikan diri kabur dari penahanan untuk bertemu dengan Sukarno.
Sehari pasca kemerdekaan Indonesia, Jepang membubarkan kesatuan PETA. Senjata mereka kemudian dilucuti.
Sudirman mengumpulkan kembali bekas anak buahnya di PETA dan mendirikan Badan Keamanan Rakyat (BKR) daerah Banyumas setelah resmi didirikan oleh pemerintah pada 23 Agustus 1945.
Pada 5 Oktober 1945, pemerintah mengumumkan pembentukan Tentara Keamanan Rakyat (TKR). BKR yang sudah berdiri lebih dulu akhirnya meleburkan diri dengan TKR.