别以为方先觉只是一介武夫，只知道打打杀杀，其实当初他也是一个实业救国主义的执着追求者。小少时期，也曾饱读诗书，满腹经纶。他出生于安徽省宿县栏杆区，即原属江苏省的萧县第十区的一个乡绅家庭。幼年在家乡读书，高小毕业后考入江苏省徐州省立中学，后又相继毕业于南京第一工业学校、中央大学工学院电机系。
伟大的民主革命先驱孙中山当年在广东黄埔岛，筹建了中国第一所新型军事干部学校——“陆军军官学校”，后来以校址所在地称之为“黄埔军校”。在中国共产党和苏联的帮助下，该校成为当时最有活力和革命精神的军校。军校以孙中山提出的“创造革命军，来挽救中国的危亡”为宗旨，以“亲爱精诚”为校训，采取军事与政治并重、理论与实践结合的教育方针，为国共两党培养、造就了大批军事政治人才。
孙中山先生曾说过“凡是爱国的中国人，都应该为祖国的和平统一而努力奋斗!”。
大革命时期，作为一个充满理想和抱负的热血青年，方先觉对孙中山先生的“三民主义”十分崇拜。于是毅然投笔从戎，以优异的成绩考人黄埔军校。1926年毕业于黄埔军校第3期步兵科。后又入黄埔军校高教班第2期、陆军大学乙级将官班第4期受训。逐步成长为国军中的一个优秀将领。
方先觉在黄埔军校毕业后，即被派到国民革命军第20师担任排长。此时第20师隶属第1军，师长钱大钧。第1军参加第二次北伐后，这个师被留在广东驻防。1927年9月，国民政府以这个师为基干组建了第32军，开赴福建广东边界截击在南昌起义的共产党部队。由于方先觉在战斗中表现出色，被升为连长。次年第20师开赴苏南，担任北伐军的后方警卫。不久，方先觉改任团附。当年秋，全国部队实行编遣时，方先觉所在的第20师被缩编为第3师第8旅，旅长蔡熙盛，方先觉在该旅第16团任营副。此后，他相继参加中原大战和对围剿红军的军事行动，官至团副。
1937年抗日战争全面爆发后，方先觉被调任新组建的预备第10师第28团任团长。这个师是由福建的新兵编练而成，师长宣铁吾。次年9月，蒋超雄接任师长的同时，方先觉也由团长升为副师长。由于这个师完全由新兵编成，所以该师长期在大后方进行训练。一直到了1940年11月，该师才奉命开赴安徽地区与日军作战。
同年12月，该师在青阳与贵池间的陈家大山与日军遭遇，双方都对此山展开了激烈的争夺战。当时师长蒋超雄决定将部队分成两路，左路由蒋超雄亲自指挥，右路由副师长方先觉指挥。在经过一昼夜的激烈战斗后，由方先觉率领的右路成功夺取了陈家大山右侧高峰，但是由于左路进攻失利，致使右翼受到严重威胁。最终，方先觉又被迫放弃了阵地，全线撤退。战后，师长蒋超雄被撤职，而在战斗中有功的方先觉则顺理成章的升任师长。
方先觉从接任师长的那一天起，即针对部队军官素质差、士兵战斗力弱的弱点，对部队进行了改组。首先他将部队里连以上军官全部换成由黄埔军校毕业的学生和有作战经验的军官；其后对部队加紧训练，严整军纪，使全师军风纪大为改观。同时他还在师部设立了军乐队，丰富了部队的生活。
1941年，正当部队驻防株州、渌口时，日军由武汉出动，越过新墙河向南进犯。第9战区司令长官部立即命令第10军尽速开赴湘北，阻击日军。预备第10师在调防株州时拨属第10军序列，官兵们接到命令后经连续三天的急行军到达平江县金井乡。就在金井，师长方先觉接到司令长官部命令，奉命“就地构筑工事，准备迎击来犯之敌”。第二天一早，预10师阵地即遭受日军的勐烈进攻，全体官兵在师长方先觉的领导下与日军殊死作战，虽然损失惨重，但是仍有效的迟滞了日军对长沙的进犯。然而由于第10军当面的日军达3个师团的优势兵力，第10军所属3个师最终还是撤出了阵地。
战后，第10军军长李玉堂因为擅自撤退受到了撤职的处分。而预10师，则因为与日军一昼夜的血战，有效破坏了日军进占长沙的企图，却受到蒋介石的嘉奖。师长方先觉则在部队后撤整训中，总结经验，强调官兵要在任何艰苦惊险的环境下稳扎稳打，坚定其“我不怕敌，敌必怕我”，“能坚持就是胜利”的信念。后来这一信念以后成为了预10师乃至第10军的作战理念。
1941年底，在武汉的日军再次出击长沙，扬言出兵43万，必至长沙过新年。此时第10军由于新任军长钟彬迟迟未到任，蒋介石急电前任军长李玉堂继续指挥第10军固守长沙。而李玉堂则临危授命，以“戴罪之身，又肩重任”。