1922年，張平花100多塊銀元買了一支漢陽槍，一年后，當上了當地團防局副局長。在他的要挾下，沒多久局長便逃之夭夭，張平自任團防局長。他吃喝嫖賭樣樣都沾，并干起燒殺擄搶的勾當。1928年，張平經人介紹到一二八師的一個旅長舒安卿手下當副官。1935年，他隨舒安卿部到永（順）、保（靖）一帶“剿共”。就在這里，他看上了楊炳蓮。當時，楊炳蓮家在永綏縣城經營一家雜貨店，賣針、線、甜酒等。楊炳蓮記不起第一次見到張平是什么時候，“只是覺得這個當兵的很奇怪，隔一兩天就來店里買一根針或一根線”。