1935年，绥远省的国民党蒙旗保安总队和蒙旗独立旅在中国共产党西蒙工委帮助下，建立起一支蒙古族抗日部队。这年，日本侵略军不断侵犯绥蒙，德王投日卖国，在百灵庙蒙政会任职的部分蒙古族进步青年，对德王投靠日本极其不满，反抗日本和德王情绪日益增长。
1936年，在百灵庙的乌兰夫，深入蒙古族中，不断宣传抗日，对抗德王百灵庙保安总队，毅然发动了军事暴动。在云继先、朱实甫带领下，扣捕了德王亲信，处决了少数反动分子，争取了大多数文武官员，编为一个大队，名称为绥蒙保安大队，云继先任队长，朱实甫、云蔚任副队长，下编四个中队，人数上千，驻扎察素齐。随后傅作义将这支部队改编为一个总队，任云继先为总队长。不久，德王派章文锦策反该队哗变，杀害了总队长云继先。总队的士兵，一部分原回百灵庙，一部分解散回家，只剩下青年官兵500多人。这时中共西蒙工委派白海风深入士兵中，宣传抗日斗争，将500多名官兵组建了一个蒙旗保安总队，白海风任总队长，常萌生任参谋长，纪贞甫任政训主任，乌兰夫任代理副处长兼三科科长。总队分设两个大队，一大队长纪松龄，二大队长朱实甫，部队中中共负责人乌兰夫。同时秘密设立中共党组织，以便影响蒙古族青年官兵。
1937年，德王又派章文锦改名换姓，潜入保安总队进行策反，被云蔚识破，扣捕后移交总队部，将其处决。其时马占山邀请总队长白海风在包头参加军事会议，共同商议抗日大事，乌兰夫催促白海风去参加。会议上决定将蒙旗保安总队改编为蒙旗独立旅，任命白海风为旅长，乌兰夫代理政治部主任。下编两个团：一团长纪松龄，二团长朱实甫。将傅作义去山西太原留下的炮兵连，扩编为一个炮兵营。这时，部队中又发展了一批共产党员，各连均设党支部。西蒙工委批准设党委，由乌兰夫任书记。随后该部队与日伪军在归绥（呼市）进行了激烈的战斗，打败日本军和伪军。为了保存实力，渡过黄河，进入伊盟达旗展旦召，可展旦军和康王投降了日本，遭到了围攻，该独立旅，转入府谷县哈拉寨驻扎。
1938年，蒙旗独立旅转移神木驻扎。乌兰夫、白海风应毛主席邀请，骑着毛驴去延安。乌兰夫向毛主席汇报绥蒙抗日情况，毛主席随即作了指示：“蒙古族只有同中华民族一道，驱除日寇，解放全中国，才能得到本民族的统一和解放。”还嘱咐乌兰夫回伊盟争取国民党供给，设法扩大部队，要团结蒙古族，争取上层蒙古族人士一道抗日。乌兰夫和白海风从延安先后回到神木，遵照毛主席的指示，蒙旗独立旅于8月间开到伊盟通格朗的赤劳图和月牙树湾一带，进行改编整顿。白海风从国民党中央那里要回一个师的番号，将蒙旗独立旅扩建为国民革命军新编第三师。师下编两个步兵团、一个骑兵团、一个炮兵营。师设立政治部，团设立政治处，连队设立政治指导员。改编后的新三师，完全按八路军的模式，建立了完整的政治工作体系。师长白海风，参谋长包清华（他是白海风从武汉带回来的），政治部主任乌兰夫。七团长纪松龄，政治处主任克力更，驻扎桃力民，团部驻在越兆锦院内；八团长朱实甫，政治处主任王允文，驻扎通格朗；九团（骑兵团）长云蔚，政治处主任寒峰。部队在扩建过程中，相应地对党的组织进行了充实和调整。党委委员由原来的5名增加到7名，即乌兰夫、孟纯、齐希古、云飞扬、克力更、云蔚、寒峰，乌兰夫任书记兼伊盟工委委员。团、营、连的指导员多数是共产党员和进步青年。全师共产党员已经发展到百余名。根据党中央指示，党组织接受伊盟工委领导，党的活动由半公开转入地下。
扩建后的新三师十分注重部队的自身建设。新三师政治部为了克服部队中存在的不讲政策、贪污腐化、侵犯士兵利益、打骂部下、破坏群众纪律等旧军队作风，特邀请八路军120师党委政治部组织部长罗贵波和农运部长徐文烈前来，协助乌兰夫等做整顿教育工作。在整顿党内思想作风的基础上，通过公开的政治工作，系统宣传党的《抗日十大纲领》、《八一宣言》、《告全国同胞书》等，举办了长征报告会，进行革命传统教育，学习“三大纪律，八项注意”，增强了官兵的群众观念和组织纪律性。
部队还利用训练之余，抽调政工人员深入附近农牧户中间宣传抗日政策，动员各族各阶层人士踊跃参加抗日行动。其口号是：“我们是成吉思汗的子孙，绝不当亡国奴！”、“中国必胜，日本必败！”、“守土抗日，匹夫有责！”……演出“没有饭吃的穷朋友”，教唱“九·一八”小调……乘此机会，部队招收了一批青年，扩充了一个营的新兵。七团有三个营，第一、二营全部是蒙古族，纪律严明，百姓拥护。唯有新招收的第三营虽然多数是农牧民，但是扩建中混进少数地痞、流氓、游民、土匪等，军阀习气浓厚，群众唾骂不已。三营长樊明清是从榆林上来的反共分子，副营长石作琦（外号石灰锤）是跟随旅蒙边商李仲卿的儿子李延甫从榆林来到桃力民地区的。有一次，纪松龄团长同副营长石作琦赛马，引起口角，纪团长打了石作琦一顿棍棒。石不服气跑到乌兰素李延甫家（万源成字号），与李谈叙后，李延甫和魏银贵带了几个荷枪的护兵，引诱上石作琦，说是要到克泊尔庙买马，但不知为什么，引致离庙不远的半路上，将石作琦打死投入枯井。当时老百姓无人知晓，只有一个十几岁的放牛娃发现后，跑回家中告诉了大人，大人唯恐惹祸，不敢张扬。时过半年，石作琦的妻子从榆林师范学校上来，向樊明清营长要丈夫。其时，樊明清已摸清了石作琦被害的线索，并已汇报给纪松龄团长。派兵将李延甫带到乌兰吉林庙，联合其他军政机关公审此案。李延甫在铁证如山的事实面前认了罪，可是他又拒绝承认是自己杀的，说是他的部下当兵的干的。于是随便抓了两个无辜的逃兵，以偷梁换柱的伎俩，当作刽子手，打死在点石村，顶了人命，李延甫自己掏了一万块银洋，了结了人命案。部队为了培养蒙古族班排级军官，创办了军政干部学校，白海风、纪贞甫任正副校长，乌兰夫任专职教导主任，专管教学、行政、人事等项事宜，并亲自授课。学校吸收郡王、杭锦、鄂托克、乌审等旗和部队中有文化基础的蒙汉族学员共80余人，进行军事、政治、文化训练。至1939年底部队发展到2000多人。在有条件的地区，部队还帮助当地政府建立农民、青年、妇女救国会等群众团体，训练民兵，建立武工队。
新三师驻扎伊盟，最大的困难是住房问题，在乌兰夫的倡导下，动员官兵砍伐附近的野生沙柳，请当地农民为建筑师，自己动手建造营房。经过一个多月的艰苦奋战，一排排简陋的柳笆房拔地而起。解决了部队的住房问题。
与此同时，乌兰夫在部队政治部驻地附近，借用炮兵连的一间土房，办起了随军子弟小学（亦称房东小学），招收部队子女和房东子弟读书识字。部队还为了解决军民供需，杜绝边商重利盘剥，开办了供销社。
1940年，新三师与日寇在达拉特旗发生激烈交战，日伪18团千余人马被打败，日本指挥官被打死，打败了日寇，取得了以少胜多的战绩。
1941年，新三师配合傅作义105师，在东胜柴登摧毁日伪防御工事、消灭日伪柴登据点。同年，国民党认为新三师共产党化，几次电令新三师离开伊盟，到甘肃靖远县整训，并命令处决乌兰夫。乌兰夫电告延安党中央，中央为统一战线同意新三师进入甘肃，已暴露身份的乌兰夫等共产党员撤回延安。于是乌兰夫、克力更、寒峰以各种理由离开新三师，回到了延安。随即新三师开往甘肃。
1948年，长期隐蔽在新三师的共产党员云德全率领一个骑兵团，约2000兵马起义，参加了中国人民解放军，投入解放大西北的战斗。