3月23日法軍展開了大規模的軍事行動，西線的法軍發動了對臨洮的攻勢，而負責東線的尼格里率領第一旅主力一千余人，趁著大霧偷偷潛進鎮南關。
到上午十點半之後，關內大霧消散，法軍見此情形，決定兵分兩路︰其中主力沿東嶺前進，另一路沿關前隘谷地前進，目標是在主力奪取大青山頂峰大堡之後，兩路前後夾擊，攻佔關前隘清軍陣地。除了這一路之外，法軍還有一部近千人配置于鎮南關東南高地，作為預備隊，並向油隘方向擔任警戒。
「報，法軍來襲……」
馮子材雖然之前來了出引蛇出洞，但是法軍因為利用了大霧，所以來的有些突然，于是立刻吩咐道︰「立刻請蘇將軍前來接應，然後讓王將軍率部從側後截擊敵人。」蘇將軍是駐于幕府的蘇元春，而王將軍是王德榜。
「通知孝祺，隨老夫一同出擊迎敵！」
「是！」
雖然馮子材有了心理準備，但是形勢遠比想象中還要惡劣。法軍的炮火十分猛烈，炮聲震天，遠聞七八十里外，山谷皆鳴。因為東嶺上的五座城堡尚未完工，因此防御能力低下，即便馮子材趕到，法軍依然順利攻取下了五座城堡中的三座。
「將軍，法軍炮火猛烈，我們快抵擋不住了！」
法軍的炮彈在陣地上落下，沙土紛飛，硝煙彌散，士兵損失慘重。
馮子材見形勢逐漸危急，高呼道︰「弟兄們，我知道戰斗艱苦，但若是在讓法人突行入關，我們將有何面目再見廣西的父老鄉親。老百姓養我們這幫人到底有何用？……誓與陣地共存亡！」
「誓與陣地共存亡！」見馮子材親自督陣，士兵們也不管那麼多了，一個個奮不顧身，十分英勇。
在馮子材正面抗敵的同時，王孝祺率部按照馮子材之前的吩咐，沿小路繞到了敵人的背後，旋即開始發動攻擊。不過因為地勢的關系，攻擊效果並不明顯，但還是很大程度上牽制了法軍在正面上的火力，使馮子材部壓力大減，獲得了難得的喘息之機。
不過眼下情形依然十分凶險，馮子材卻無兵可調。後來絞盡腦汁，才想起，總兵陳嘉還有幾營人駐扎在憑祥。馮子材便寫了一張請帖，要陳嘉前來商量。陳嘉正在養傷，但是見情勢緊急，也不敢耽擱，立即征求部下意見。
「你們對出戰有什麼想法？」
手下副將不同意，道︰「大人，我們又不是他馮子材的部屬，這仗打到現在，當然是可去可不去。況且您現在有傷在身……」
有不同意的，當然就有同意的，一時間軍帳內，你一言我一語的，十分吵亂。
陳嘉低頭深思不語，經過仔細考慮後，才道︰「不去不好，馮邦辦有調動全軍之權，現在他不是下命令來調我，而是下貼子請我，這已經很給我面子了。要知道，這臉是人給的，別到時給臉不要臉！傳我將令，全軍出發！」
下午4時許，蘇元春、陳嘉等率部趕來增援。不久，蔣宗漢、方友升部也聞訊趕來。其中陳嘉率部進駐尚未被攻取的四號和五號堡壘，接著再猛攻東嶺。其余各部情形也差不多，奮力抵抗，戰斗甚為激烈。清法雙方勢均力敵，死傷相當。
王德榜此時也率部自油隘夾擊法軍右翼，同時攻擊文淵城，與敵人鏖戰了數個小時，成功牽制了敵預備隊的機動，並一度切斷敵人運送軍火、糧食的交通線，有力地配合了東嶺的戰斗。
入夜之後，馮子材利用時機，進一步調整部署。由蘇元春部協助馮軍守長牆，王孝祺部守西嶺，陳嘉部守東嶺，蔣宗漢、方友升部扼守大青山頂峰。馮子材還派人持大令飛調駐扣波的五營馮軍前來抄襲法軍左翼。
3月24日晨，憋了一肚子氣的尼格里指揮法軍分三路再次發起沖擊，此時他把副手艾爾明佳中校叫道身旁道︰「中校，現在大青山再次起霧，你帶領一部士兵，趁著大霧突襲大青山峰頂大堡。若是能夠將此制高點拿下，我們就可以取得戰役的勝利。」
艾爾明佳听完有些猶豫，不過還是答應了尼格里的命令。
等上了大青山艾爾明佳才發現這根本是不可能的事情，此處地形險峻，易守難攻，而且馮子材怕此地有失，所以部署了蔣宗漢和方友升兩部在此。
艾爾明佳也不好違背尼格里的命令，所以還是發動了偷襲，結果可想而知。不得已撤退下來。
等到上午11時，尼格里發現大青山毫無動靜，還以為艾爾明佳中校已經得手，于是心中暗喜，立刻發布命令，以猛烈炮火轟擊清軍正面防御工事，企圖掩護沿谷地前進的法軍接近長牆，配合東嶺法軍一舉突破關前隘陣地。
一時間炮彈如雨落下，將長牆變成一片火海。法軍猛撲而來，清軍頑強抵抗。
負責防守的蘇元春看著部下傷亡慘重，心中焦急，便對一個部將道︰「你快去請示馮大人，能否先行撤退。」
部將一听就是苦瓜臉，不過還是硬著頭皮前去請示，只是話語變得很委婉，道︰「大人，蘇提督請問老前輩，此地已經很難在守下去，能夠退到憑祥再戰？」
馮子材一瞪眼，怒道︰「呸！這里有一道長牆，尚有險可守，退到憑祥靠什麼來守呢？這次打敗了，老夫自認沒臉回去見兩廣百姓！你回去轉告你家蘇提督，你們年輕，前途遠大，要退就偷偷地退走，不要動搖軍心。我老了，死也要和士兵們死在這道牆上。」
這部將見馮子材態度堅決，知道規勸不成，只得回去見蘇元春，把話一說，蘇元春雖然不高興，可也只能跟著一起留下來防守。
法軍攻勢越來越猛烈，炮彈不時在馮子材身邊落下，他子佷覺得很危險，便道︰「大帥，您稍微退後一些吧。」
「退什麼退，怕炮彈還打什麼仗？你要是再敢說動搖軍心的話，我宰了你！」馮子材此時傳令各部統領︰「有退者，無論何將何軍，皆誅之！」並于各路設卡，堵截逃兵。馮子材和王孝祺說到做到，敢逃跑者，無論官階皆以斬首論處。一時間軍心大震，士氣大升。
法國人的攻勢一直很猛烈，有時已經接近長牆，甚至攀上長牆。見此情形，馮子材老當益壯，持矛大呼，率領兩個兒子躍出長牆，沖入敵陣，展開白刃格斗。全軍將士見主帥身先士卒，一齊大開柵門，向敵人沖去。法國人如遇棒擊，開始退敗，被打下了山谷。
中午，從扣波趕來增援的五營馮軍在游擊楊瑞山、都司麥鳳標等率領下，由摩沙村沖進龍門關，突然出現在法軍側後，給進攻之敵以意想不到的打擊。經過一場激烈的殊死戰斗，中路法軍狼狽退回谷地。在關前隘長牆激戰的同時，陳嘉、蔣宗漢相繼率部反復爭奪被法軍佔領的東嶺三座堡壘，期間七上七下，陳嘉自己身受四傷。直到傍晚，王德榜部在擊潰敵之增援部隊及消滅其運輸隊後，從關外夾擊法軍右側後，配合東嶺守軍奪回了全部敵佔堡壘。
這時，王孝祺部也已擊退沿西嶺進攻之敵，並由西嶺包抄敵後。法軍三面被圍，傷亡甚眾，後援不及，彈藥將盡，開始全線潰散。于是，尼格里不得不下令撤退，法軍丟下數百具尸體，狼狽逃回文淵。
鎮南關大捷，共斃傷敵軍精銳近千人，繳獲大批槍炮、干糧。同日，西線清軍在岑毓英的指揮下，在臨洮取得勝利，北圻戰局發生了根本轉變。
東線法軍經鎮南關慘敗之後，人數不滿二千，在文淵稍事休整。尼格里覺得不保險，隨即命令主力倉卒撤至諒山，和已經到達那里的援兵會合，總數增加到四千五百人左右。
馮子材根本不給潰敗之敵以喘息機會，于3月26日親率所部及王孝祺部出關進攻文淵，並通知王德榜部由小路抄襲敵之右翼。文淵守敵傾巢出戰，戰不多時，守敵頭目中彈落馬，余眾潰逃，清軍立將文淵收復。受命于馮子材的越難義軍此時也加大了諒山通往那陽、屯梅等交通線上的襲擾，給法軍後方以很大威脅。
尼格里企圖堅守諒山，等待更多援兵到達後再次進犯鎮南關，做了三項部署︰第一，主力扼守驅驢北面的一個高地，以確保驅驢，屏蔽諒山。第二，一部兵力配置于淇江南岸，分守通向谷松、屯梅的交通要道。第三，將老弱殘兵編成「城堡班」，駐守諒山城垣碉堡。
馮子材鑒于諒山為越南北部軍事要地，若不急先攻取，實難成破竹之勢，並且認為，法軍連戰皆敗，心膽已寒，與其明攻多損士卒，不如暗取更易見功。因此，在文淵與蘇元春等人密商，最後決定，以正兵明攻驅驢，出奇兵暗取諒山。
3月27日，馮子材派楊瑞山率所部繞道而進，乘夜渡過淇江，于次日黃昏潛至諒山，散伏城外各處。
3月28日，馮子材、蘇元春、王德榜、王孝祺各部次第向前挺進，分三路逼攻驅驢︰馮子材、蘇元春率主力進攻正面；王孝祺部和馮軍一部進攻西面；王德榜部進攻東面。法軍依托驅驢北面高地的堅固工事，負隅頑抗，阻止了清軍的進攻。尼格里鑒于其左翼和正面陣地工事堅固，而東面地形較難防守，決定由艾爾明佳率軍一部，向東面的王德榜部發起反擊。
下午2時許，馮、蘇兩部趁敵人調動兵力、正面防御力量有所減弱之機，再次發起猛烈攻擊。激戰中，尼格里胸部中彈重傷，接替指揮的艾爾明佳隨即下令向淇江南岸撤退。諒山守敵在慌亂中砍斷浮橋，致使部分法軍在潰逃中落水溺死。之後，法軍退入諒山城，並立即部署分兩路向南撤退。
3月29日拂曉，清軍主力徒涉淇江，向諒山挺進。在此之前，埋伏于城外的楊瑞山部乘法軍熟睡之機，突然發起攻擊。城中法軍倉皇應戰，一片混亂。楊瑞山等督率各營員弁、勇丁，蟻附而上，劈開城門，與法軍展開白刃肉搏。法軍倉促應戰，因此死傷累累，殘部向南逃竄。清軍追擊二十余里，並邊進邊搜山，從山谷中俘獲不少敵人。
清軍在克復諒山的過程中，共斃傷法軍近千人，並繳獲大量軍械物資，僅楊瑞山部就奪獲大小火炮三十余門。諒山既克，清軍乘勝分東西兩路向南追擊。
3月31日，東路陳嘉部及王德榜部攻克谷松，西路馮軍一部克復屯梅，進逼郎甲。法軍猶如驚弓之鳥，一口氣逃到郎甲、船頭一帶。
見到眼前形勢一片大好，原本觀望的越南義軍開始加入進來，而本來就受命于馮子材的義軍則活動更加頻繁。
北寧總督黃廷經集合各路義民二萬余人，建馮軍旗號，自願挑漿飯，作向導，隨軍助剿，或分道進攻。河內、海陽、太原、西貢等地人民也紛紛醞釀起義，盼望清軍早日揮戈南下，趕走法國侵略者。
馮子材決定于4月中旬親率東線全軍進攻北寧、河內。唐景崧部也準備出牧馬，攻太原。廣東方面，準備派兵出欽州，沿北圻東海岸進攻廣安。會辦雲南軍務鮑超所部三十余營生力軍正向龍州前進，隨時準備入越。西線滇軍也已克復廣威等地，正向興化發展進攻。
3月27日晚，在巴黎的法國總理茹費理有些焦躁不安，秘書臉色慘白地走了進來。
「戰況如何？」茹費理問道，心中已經有了一個極度不好的預感。
「戰敗……」
茹費理不能置信，似乎一瞬間失去了所有的力氣，癱坐在椅子上，毫無辦法。
「總理先生……」秘書呼喚著。
好半天，已經精神渙散的茹費理終于有了一絲反應，聲音嘶啞道︰「我們該怎麼辦？」@