退。十一月二十日，黑旗军与清军退至兴化。不久之后，岑毓英率领20营滇军前来支援，使刚刚遭受挫败的黑旗军与清军稳住了阵脚。
光绪十年（1884年）正月，刘永福向法军新任司令米乐下战书，米乐表面上同意二月初二日开战，但实际上却转移目标进攻桂军驻守的北宁。桂军向滇军求救，岑毓英派唐景崧和刘永福带领12营共4000人从兴化驰援北宁，并于二月初五日驻扎在北宁省城外七里的安丰县。二月初八日，广西巡抚徐延旭指示刘永福进攻嘉林的法军，刘永福与唐景崧入北宁与两位桂军将领赵沃、黄桂兰商议作战计划，但四人意见不合，未能达成一致。由于安丰县缺乏粮食供应，刘永福将黑旗军转移至北宁城外。
二月十五日，北宁之战爆发，两万桂军一触即溃，黑旗军也因兵力不足而败退。刘永福先是随桂军退守太原，但二月二十五日法军不战而取太原，桂军退至谅山一带，刘永福则逃回兴化，手下兵力只剩下3700余人。三月中旬，刘永福随滇军撤出兴化，并率吴凤典等部驻守文盘州、大滩，分黄守忠所部驻守宣光。五月，宣光也被法军占领。
在这一时期，清廷内部存在分歧，以李鸿章为首的主和派主张放弃甚至除掉刘永福和黑旗军，而主战派如张之洞、张佩纶等则力主援助刘永福抗法。最终，清廷中枢采纳了主战派的意见，并在观音桥事件和马尾海战后继续与法军作战。光绪十年（1884年）七月初六日，清廷正式对法宣战，授予刘永福记名提督之官衔，并赏戴花翎，命其驱逐法军，恢复越南。九月，清廷加恩赏银五万余两，并对黑旗军将领予以封赏。
在此之前，八月中旬，刘永福的黑旗军与滇军共6000人已经包围了宣光，并不断与法国援军交战。十月，唐景崧奉两广总督张之洞之命，率麾下景军四营前来援助攻城；十一月，丁槐率3000滇军增援宣光，并决定由刘永福率黑旗军在左育打援，唐景崧和丁槐负责攻打宣光城。清军六次攻打宣光均未成功，而法军在击溃东线潘鼎新所率桂军、夺取谅山后，派3000至4000人向西增援宣光。
光绪十一年（1885年）正月十六、十七日，黑旗军与法军在左育激战，黑旗军溃败，法军也付出了伤亡400多人的代价，这是黑旗军与法