胡雪岩的这一想法得到了左宗棠的大力支持并准备立刻实行，于是就有了常捷军。胡雪岩在上海接触过洋人，自己手下的几个伙计也懂得洋文，跟洋人谈事情也比较方便。所以，关于常捷军的成立大部分都是由胡雪岩操办的，包括资金、士兵的选拔等等。
1862年，浙江巡抚左宗棠与驻宁波的法国舰队司令勒伯勒乐、宁波海关税务司法国人日意格等合作，募集中国士兵约千人，派法国军官教练，用洋枪洋炮装备，在宁波组成“常捷军”。常捷军在外国人口中被称作“中法混合军”，后扩充至1500人，最多时达到3000人，次年二月，杭州、湖州等地被政府收复。
常捷军所需要的军械枪支的费用在当时并不是一笔小数目，虽然胡雪岩极力相助，但是依然不能支付得起，胡雪岩这时候想到了跟洋人贷款的办法。之前胡雪岩去上海的时候曾经接触过外国人的银行，况且自己在那边也有熟人打点，但是跟洋人合作并不是一件容易的事情。但是胡雪岩并没有放弃，决定跟洋人进一步打交道以便贷到钱款来解决这迫在眉睫的战事。胡雪岩不负左宗棠所望，费尽周折，最后终于成功地向外国银行贷下款，以用来解决枪械费用。左宗棠的士兵本来就英勇善战，又通过洋人的严格训练，如果再有这些先进的武器那么就可以称得上是精英部队，对付人多但是落后的太平军简直就是易如反掌，所以，没过多久，杭州就被收复了。
