犹未了，大将桓伊等齐出讨令。谢石却皆不许，独唤末将参军刘牢之：命你带五千精锐，去攻洛涧第一屯，乃是秦将梁成扎营所在，今晚必要成功，我自提大兵前来接应。
又唤谢玄、桓伊：命你二人各将步兵三千，抄小路奔洛水下游埋伏，待梁成兵败走回，断其归路，拦住截杀。待刘牢之追敌至此，三人合兵，相互接应。
三将领命，各自引军去了。
单说刘牢之率精兵五千奔袭洛涧，就此揭开淝水大战序幕。
秦将梁成闻晋军前来，率部五万在洛涧边上列阵迎击。刘牢之先分兵一部迂回到秦军阵后，断其归路；自己则率兵强渡洛水，猛攻秦军。
刘牢之抢先上岸，突入秦军阵中，当头杀死十余人，边杀边呼，如有千军万马之状。
秦军不知晋军底细，惊慌失措，勉强抵挡一阵就土崩瓦解，往后便逃。
梁成下令部将止喝逃兵，亲自持枪直取刘牢之。二人大战五七个回合，刘牢之大喝一声，一刀将梁成挥作两断，死尸倒于马下。
其弟梁云见状大呼来救，因悲痛手乱，亦被刘牢之当头一刀砍死。
秦副将扬州刺史王显忙领残兵走奔下游，正遇谢玄，只一合活擒王显，令军士绑了。桓伊横刀截住，乱杀秦军，后面刘牢之复引军追杀而来，三面夹击。
秦军官兵争先恐后北渡淮河逃命，致一万五千余人丧生河中。
谢玄等洛涧初战大捷，尽收秦军器械军资，来见谢石交令。
谢石大叙战功，传令水陆三军大进，皆屯于淝水东岸。晋军无不奋勇，士气大振。
梁成既死，败军回报秦王。苻坚闻报梁成兄弟阵亡，王显被擒，不由大惊，令苻融率军进逼淝水西岸布阵，昼夜巡哨，以守江岸，休使晋军偷渡，不放一丝空隙。
谢石见无法渡河，于是召谢玄至营，嘱道：秦王今见前锋兵败，不敢进军，若欲退兵，又恐遭天下耻笑，必然犹豫逡巡，此正是破敌最佳良机也。你可设法渡河而进，我有朱序在彼营中，定必设计内应，秦兵可破也。
谢玄奉命归于本营，见秦军近岸列阵，己兵不得渡河。终于思得一计，便于灯下修书：将军远涉我境，悬军深入，而逼水列阵，是持久之计，非欲速