辛弃疾的这段论述，被其好友程珌记载于洺水集·丙子轮对劄子。其言：招募边防战士要会骑马射箭、操作战船，并且不能像吴人那样一上战场就吓破胆。他们就算其被动员起来，也要跟来自其他地区的部队分开，以免后者也被沾染上不良习气。总之一句话，辛弃疾认为吴人不是好的兵源。
那么，辛弃疾为何说吴人不适合当兵呢？真是因为地域黑，还是话出有因呢？因为配合其他的一些记载来看，辛弃疾所提到的吴地人，确实往往对当兵十分抵制。要说清这一切，赵昺觉得还得从当时的时代背景说起。因为太湖地区在南北朝以后，相对战乱较少，同时也远离北方前线。从唐朝到北宋时期，这里的正规军一直不多，这就使得当地缺少从军的传统。
当然，正规军之外，宋代还有作为地方武装的乡兵。而因为一个地区的乡兵数量和质量，以及待遇非常能体现一个地区的武风。王安石提倡发展保甲，以乡兵代替部分禁军。但是在宋朝早期，就有大量的乡兵义勇存在。不过他们主要分布在北宋和辽西夏的边境地区，而同时期的江南地区，尤其是太湖一带的吴郡故地，则没有多少相关的乡兵记载。
南方乡兵有明确记载时间，则要快到北宋中后期，乃至王安石变法的时候了。所以对于当时的江浙沪地区的人们来说，缺乏军事素养是很常见的事情。此外，北宋时代江南地区缺乏军事传统，也有文化和经济上的原因。
首先，宋朝确实有重文轻武的政策与风气。比如宋真宗时代，进士李光辅为真宗皇帝表演剑术，以证明自己文武双全，其结果却触动了皇帝的敏感神经，被遣送回原籍了。这种风气也影响到了太湖地区，士人们纷纷开始弃武从文，吴地多文豪也是从那个时代开始的。
其次在经济上，三吴钱塘地区人口众多、经济发达，唐宋的钱粮赋税多是取自这里。所以在统治者眼中，东南地区作为经济中心也就够了。大规模在当地招兵会影响当地经济发展明显划不来。以上诸多因素自然使得北宋时期的吴郡人缺乏军事经验与传统。
到了南渡之后情况才有了新的变化，随着金人侵占了北方，以杭州为中心的宋廷就不得不在当地招兵，且杭州以及周边地区人口众多。临安府人口上百万，当时苏杭一带和周边地区的两浙路人口在一千二百万以上，而杭州城各类军队最多时才十三万，整个两浙地区各类军队最多时也不到二十万人。表面上看，如此高的人口比例下兵员素质还是可以保证的。
但问题却出在了野蛮而糟糕的招兵方式上。比如开着大船在漕河无人处，看到强壮少年，直接抓起来；又比如布置带机关的木栅栏，里面放些财物，如果有贪财的去拿，就启动机关，关闭栅栏。让人不得不感叹这是招兵呢还是抓鸟呢？
甚至还有吃相更难看的，据传说有一次南宋名义上的精锐与禁卫军殿前司缺额数千人，皇帝诏三衙分月招补，而那些招兵的人为了侵吞募兵用的财物，直接抓老百姓充数而不给钱结果一时间，那些以砍柴卖鱼虾为生的老百姓都不敢去杭州了。
而正所谓上梁不正，下梁才能歪。南宋政治的腐败，使得三衙将领也多是溜须拍马，缺乏能力的纨绔子弟。所以名义上的南宋顶尖精锐殿前军，被当时人评价为“殿司兵素骄……复负重暑行，不堪其苦，多相泣而就罄，道旁逃屋皆是，臭不可近。地多眢井，亦或赴死其间”也就是说，以吴人为主力构成的殿前军连暑天行军的能力都没有，指望他们打仗这事真的是想太多了……