1946年，抗日战争已经结束，但盘踞在东北的土匪依然猖獗。东北民主联军团长少剑波担负着剿匪的任务，土匪主要有两个大势力的团伙，一个是奶头山上的许大马棒，曾当过日军的警察署长，后来是国军旅长，他的妻子是蝴蝶迷，凶狠残暴，他还有一个副官峦平，十分狡猾。另一个是威虎山上的座山雕，本人勇猛威武，有八大金刚，且威虎山地势险要，易守难攻。
少剑波有一个得力助手，名叫杨子荣。杨子荣机智勇敢，去村子里暗访时，发现了同行的小炉匠身份可疑，但很狡猾。经过一番较量，杨子荣将小炉匠捕获，并惊奇地发现他就是峦平。根据峦平的口供，少剑波很快得知了奶头山上的很多内情，于是战士们成功攻下了奶头山，活捉了许大马棒和许多土匪，不过让蝴蝶迷跑掉了。
紧接着，就是威虎山了。杨子荣向少剑波主动请命，假以胡彪（许大马棒的副官）的身份投靠座山雕，少剑波同意后，杨子荣苦练了土匪的黑话很多天，练好后带着从峦平身上缴获的《先遣图》成功混进了威虎山，也顺利通过了座山雕和八大金刚的考验。杨子荣将路上打死的一头虎和《先遣图》献给了座山雕，被封为了九爷，官至团副。杨子荣凭借聪明才智彻底打消了座山雕的疑虑，并打探到了很多秘密并机智地传了出去。少剑波等人也没闲着，苦练滑雪，在座山雕生日那天攻打威虎山，杨子荣与他们里应外合，攻陷了威虎山，除一大金刚被击毙外，将其余七大金刚和座山雕一并生擒，彻底剿灭了土匪们。更巧的是，少剑波他们刚攻下威虎山，就截获了一封国军总部给威虎山的信，说援军马上到，大家都笑了，最后座山雕的寿宴成了大家的庆功宴。
从此以后，战士们又陆续剿灭了一些小规模的残余土匪，让附近的百姓们过上了好日子。