先的敬意，也是为了巩固李成桂在东北面的势力。两个多月后，李芳远顺利完成任务，回到汉城复命。然而，就在李芳远外出期间，李成桂立了最小的儿子、康氏所生的李芳硕为世子，同时大封功臣，却没有将李芳远录进去，名义上是为了避嫌，实际上是排挤韩氏所生的诸子。康氏的女婿李济和李成桂的庶弟李和都名列功臣，这进一步加剧了李芳远的边缘化。因此，李芳远无缘王位，只能做一个普通王子。
尽管如此，李芳远并未放弃自己的职责。他被安排分管全罗道的兵马，并于洪武二十六年（1393年）二月被派到全罗道抵御倭寇。在这期间，他表现出了卓越的军事才能，不仅有效防御了倭寇的侵扰，还加强了当地的治安。此外，李芳远还将李成桂赐给他的加别赤（归顺李成桂的女真人）让给了异母弟李芳蕃。李芳蕃不仅接受了这些 加 别 赤 ，李成桂也默认了这一举动，这显示出李芳远在处理家族内部关系方面的智慧和大度。
洪武二十七年（1394年），明朝浙江澉浦守军逮捕了一批海盗，其中的胡德等人供称是奉朝鲜将领的命令来劫掠明朝沿海、刺探消息。明太祖朱元璋对此极为不满，派遣使者要求李成桂派长子或次子将胡德等人供出的名单上的人员押解到明朝。朝鲜方面认为胡德的供词“尤为诬妄”，李成桂决定派靖安君李芳远去明朝解释。李芳远深知此行责任重大，他表示：“臣为宗社大计，岂敢辞避？”李成桂听到这话，感动得流下了眼泪，他说：“汝体质羸瘦，万里之路，岂能保其无恙乎？”尽管如此，李成桂还是在六月二十日正式任命李芳远、赵胖、南在三人前往明朝解释误会。
李芳远一行带着二十匹马作为贡物出发，但走到辽东时，好马都因路途遥远而死去，副使南在等人因此感到非常担心。明太祖朱元璋最初只是想试探李成桂，不太相信他会真的派亲儿子来朝。当李芳远到达南京后，明太祖派人多方侦察，确认李芳远确实是李成桂的亲儿子。李芳远的真诚和勇气最终成功化解了明太祖的疑虑，明太祖遂“优礼遣还”。
在返回途中，李芳远路过北平时，与明燕王朱棣私相会见。朱棣对李芳远非常友好，不仅温言礼接，还馈赠他酒食。李芳远到南京后再次遇到朱棣，两人停驾下马，进行了长时间的交谈。李芳