闻说洛阳及虎牢失陷，滑台复被围攻，黄河守军又败，天险不存，即有退兵还都之意。
参军垣护之谏道：青州丰饶，漕运畅通，兵力又足，将军何不派竺灵秀支援滑台？将军自率大军进兵河北，继续对北魏施压，未尝不可。
到彦之欲从其谏，但眼疾突然发作，一跤跌倒，不省人事。
部下将士见此，一时手足无措。且部众皆为江南人氏，不耐河北酷寒，频生疫病，至此军无战心。
到彦之被侍从救醒，复唤医官用药，兀自眼前昏黄不清。又见诸将士气不振，遂不纳垣护之策，决定下令军队退返淮南。
一声令下，三军起行，到彦之先率水军入济，其后烧毁船舰，命大军步行还至彭城。
此次北伐之时，宋文帝供给大军辎重相当充足，到彦之撤兵过于匆急，将军需物资悉数抛弃，遂令宋国武库一时空虚。
宋文帝闻讯大怒，改派檀道济率军支援滑台，将到彦之免官，下狱待罪。
元嘉八年春二月，檀道济率军北征。
遂由历城出发，欲沿黄河逆流而上，西进救援滑台。
未料魏军早有预备，大将叔孙建、长孙道生奉太武帝之命，率军阻击宋兵。叔孙建且效魏武帝曹操官渡大战险计，奇袭放火，烧掉宋军粮仓。
军粮既失，檀道济不敢深入，被迫撤退，北魏大将安颉乘势攻陷滑台。
至此宋魏第二次南北大战结束，北魏获胜。
是年春，柔然敕连可汗部下二十余人在巡逻时误入北魏境内，被魏军俘捉。
太武帝拓跋焘闻讯，为表示友好，将其全部放还。敕连可汗甚是感激，遂遣使向太武帝朝贡，自愿归为魏国藩属。
檀道济引大军还于建康，宋帝刘义隆知道罪不在彼，且能全军无损还师，反以为功。于是下诏，进檀道济为大司空，位列三公。
其后文帝念及到彦之前功，遂复起用，封为护军将军。
元嘉九年，文帝诏令恢复到彦之封邑，但到彦之坚决辞让，不肯领受。至元嘉十年，一代名将到彦之羞愧病逝，遗憾而终。
宋文帝遂先恢复其封邑，后并追谥为忠公。
宋元嘉九年，北魏太武帝改元延和。当年七月