上述经历表明，张亢初出道为地方文官，已非平庸之辈。而后有机会接触西北边防时，性豪放、有胆识、喜功名的特性，又促使其积极报效国家，未雨绸缪发出预警，并不厌其烦地陈情“攻守之计”，因此得到朝廷的关注。由此也毅然走上弃文从武之路，起码从文献上没有看到他拒绝或者推卸的任何记录。
张亢慨然投身军旅，实属不易。
宋代官制下，挂名武官头衔的人，并不见得都参与军务，许多执掌仓库、监管税务、效力案牍、厕身宫闱，甚至服务医界的人，都归属武职系列。如宦官就全是依照武官资序升迁。但张亢不仅像前辈柳开、陈尧咨那样赴河北前线就任地方官，更长期在西北对夏战场出任带兵军职，或镇守一方，或指挥作战。可以说，他是真正经历了战火血光的戎马将军。
宝元元年（1038），元昊称帝，宋夏关系破裂。大致在此不久，张亢被调往西北，出任泾原路兵马钤辖，兼任渭州（今甘肃平凉）知州。渭州乃西部重镇，泾原路则为陕西前线四路防区之一，正北方面对西夏的中心地带，如当时人所指出：地势开阔，易攻难守，直接关系关中安危，“关中震惊，则天下之忧也”。当战争尚未爆发之际，当政者显然是看中张亢的才略和胆识，才赋予如此重任。
正是英雄须得用武之地。谋勇兼备的张亢适得其所，便大展拳脚。在对夏开战后，张亢多次针对宋军战场失利的原因，提出解决之道，如建议集中兵力和指挥权、减少主将与部队的调换、加强通讯保障、提高训练质量以及避免盲目出击等等，部分建议得到了采纳。从传世的宋代文献中，可以读到张亢的许多论兵奏议，其见解可谓有识、务实，多切中要害，确非一般武夫悍将或未经战阵的文臣所能虑及。但集中兵力和指挥权的良策，因关乎宋代分权御将的传统禁区，故被束之高阁。
张亢并非仅善于纸上谈兵，难得的是还勇于和善于用兵。庆历元年（1041），西夏军攻陷宋边陲要地丰州（今陕西府谷县西北至内蒙古准格尔旗之间），致使麟州（今陕西神木县城以北）与府州（今陕西府谷）之间联系中断，彼此军民只能困守孤城。当年，这一带都归属河东路，而非陕西路。当地原本缺水，围城以后，饮水更紧缺到“黄金一两，易水一杯”的地步。消息传到京师，执政大臣忧心忡忡，朝堂上讨论的结果，是考虑放弃两城，退守黄河东岸的保德军（今山西保德），以免受到拖累。就在如此危急的形势下，张亢受命出任并代钤辖，火速被派往前线了解实情。他以超人胆魄单骑抵达府州城下，由于周边不时有西夏游骑出没，守城军人不敢相信来者何人，经出示符牌后，才被放入城门。张亢考察一番后，毅然承担起防守职责。他一改前任被动防御的做法，抓住敌军松懈的有利时机，派人出城采伐薪木、收集涧水，修筑外围堡寨，控制水源，加强练兵并调动士气。又乘夜出奇兵收复了要塞琉璃堡，从而巩固了府州的城防。
张亢进而主动用兵，力图打通与西面麟州城的联系。大约在来年初，张亢亲率三千士卒运送物资增援麟州，返回途中遭遇上万夏军的包围，他以“置之死地而后生”的道理激励将士：你们已陷于死地，向前厮杀还有生还的希望，后退或者逃跑只会遭到惨杀。就在此时，突然狂风大起，他机智地借助风势，带领勇气百倍的部下发起冲锋，不仅大败对手，还夺取了上千匹战马。不久，张亢又在一处叫兔毛川的地方精心设下圈套，在川道周围高地埋伏了数千弓弩兵。当时，朝廷为补充西北战场的兵力，在开封内外招募了一批市井无赖子弟，组编为“万胜军”。但这些士卒因训练不够，素质低下，所以来到前线后以怯战而出名。张亢便利用敌人轻视万胜军的心理，令精锐的虎翼军扮作万胜军，然后率领他们与夏军对阵。战斗开始时，掉以轻心的党项军发起进攻，然而没想到却遇到强手，屡攻不下。正当双方僵持之际，埋伏的宋军射手从侧后翼发起猛攻，遂大败党项人，取得了斩首二千余级的重大胜利。两次战役结束后，张亢不失时机地在要地赶修五处堡寨，终于打通了麟、府二州的通道。
通过张亢一系列的军事行动，压制了党项的攻势，提升了宋军的士气，极大地改善了麟、府地区的防御状况，这也是当时北宋御夏战争中不多的胜利之一。难怪元人修《宋史》时，对此称道：张亢起于儒生，但通晓韬略，敢于用兵，“区区书生，功名如此，何其壮丽哉”！有关西夏的文献记载，也承认被张亢连败两次的事实。