后在徐世绩等人的推荐网址：bd66.cc下成为秦王府幕僚，并辅助李世民发动玄武门之变，出任代州都督，封定远郡公。
贞观三年（629年），张公谨担任行军副总管，随李靖征讨东突厥。次年，东突厥平定，张公谨进封邹国公，改任襄州都督。
贞观六年（632年），张公谨病逝，追赠左骁卫大将军，谥号襄，后改封郯国公。
归顺唐朝
张公谨早年曾效力于王世充，任洧州长史。618年（武德元年），张公谨与洧州刺史崔枢投降唐朝，被任命为邹州别驾，累迁至右武候长史。
621年（武德四年），徐圆朗反叛，攻陷楚丘（今河南滑县），欲围攻虞城。河南道安抚大使任瑰命崔枢、张公谨率领各州豪强作质子的子弟一百多人去守卫虞城。副使柳浚道：“崔枢和张公谨原来都是王世充的部下，各州人质的父兄也都反叛了，这一去恐怕会叛变。”任瑰没有理会。在张公谨二人的坚守下，叛军难以攻破虞城，撤军而去。
辅佐秦王
后来，张公谨在徐世绩、尉迟恭的引荐下，被秦王李世民召入秦王府。当时，李世民与太子李建成、齐王李元吉不和，向张公谨求取自保之策。张公谨的回答很合李世民的心意，从此逐渐受到器重。
626年（武德九年），李世民欲诛杀李建成、李元吉，但又犹豫不决，便命人占卜以测吉凶。此时，张公谨从外而入，将占卜的龟壳扔在地上，并道：“占卜是为决定疑难之事，现在事情并无疑难，还占卜什么？如果占卜的结果不吉，难道能够停止行动吗？”李世民深表赞同。
六月四日，张公谨与长孙无忌等九人埋伏在玄武门外，发动玄武门之变。李建成、李元吉死后，其党羽冯立、薛万彻、谢叔方等人率军赶到玄武门，欲为太子和齐王报仇。张公谨勇力过人，独自关闭大门，将冯立等人挡住门外，冯立等人最终溃散。七月，张公谨升为左武候将军，封定远郡公。
随平突厥
627年（贞观元年），张公谨出任代州（今山西代县）都督，并上表朝廷请求实行屯田。此后，张公谨对时政得失多次进言，都得到唐太宗李世民的采纳。
629年（贞观三年），张公谨上奏朝廷，认为可以讨伐东突厥，并列举六条理由：“颉利可汗奢华残暴，诛杀忠良，亲近奸佞，此其一；薛延陀等部落均已叛离，此其二；突利、拓设、欲谷设均得罪颉利，无地自容，此其三；塞北地区经历霜冻干旱，粮食匿乏，此其四；颉利疏离族人，委重任于外族，胡人反复无常，大唐军队一到，必然内部纷乱，此其五；汉人早年到北方避乱，至此时人数较多，近来听说他们召聚武装，占据险要之地，大军出塞，自然内部响应，此其六。”唐太宗遂任命兵部尚书李靖为行军总管，讨伐东突厥，张公谨为副总管。
630年（贞观四年），颉利兵败，遣使请降，唐太宗命鸿胪寺卿唐俭前去抚慰。李靖与李勣（即徐世绩）在白道会军，打算出兵偷袭东突厥。张公谨得知后，反对道：“皇帝已接受他们投降，而且唐俭还在突厥，怎能出兵进攻？”李靖不听，发兵出击，终于平定了东突厥。
英年早逝
东突厥平定后，张公谨进封邹国公，改任襄州都督。
632年（贞观六年），张公谨病逝于任上，年仅三十九岁，追赠左骁卫大将军，谥号为襄。
639年（贞观十三年），唐太宗追思张公谨旧功，改封他为郯国公。
654年（永徽五年），唐高宗又追赠张公谨为荆州都督。
张公谨去世后，唐太宗欲到郊外致哀。有司奏道：“按照《阴阳书》的说法，辰日不宜哭泣，这是风俗。”唐太宗道：“君主与臣子就像父子一样，哀痛哭泣是感情自然流露，怎么能避忌日呢！”于是痛哭一场。
