江南百景图撤掉人物分为两种场景，派驻在生产建筑的特殊居民可直接停止工作撤回，定居在民宅内的特殊居民需要通过分配操作迁出，普通路人居民无法手动移除。想要撤驻工坊、农田、商铺中的人物，直接点击正在运营的建筑，在弹出的界面中找到在岗的居民头像，点击结束生产任务，人物就会自动变为城镇闲人。需要注意，如果建筑正在进行长时间生产，不必等待任务完成，终止生产即可立刻收回人物，中途已经产出的资源会正常保留，不会出现资源损耗。很多玩家容易混淆普通居民与特殊居民，地图上自动生成行走的普通百姓不受人为调控，不存在撤走的操作方式，所有能够调动、分配的角色都属于通过画池抽取获得的特殊居民。
处理民宅内定居人物时，无法直接一键清空房屋，需要借助居民分配功能完成迁出。打开城镇界面左下角居民图鉴，选中目标角色进入详情页面，点击分配按钮，此时页面会展示当前城市所有民宅。选择一处已经住有人的民宅，确认分配后，原本居住在此的居民会被移出，状态更新为尚未定居。如果不想安排新角色入住，可以先用闲置特殊居民完成替换，之后再将顶替用的角色另行分配到其他房屋，就能空出目标民宅。执行迁出操作前要确认目标人物处于空闲状态，正在工坊劳作、外出探险或者乘船跨城运输的居民，暂时无法进行搬家、迁出相关操作，系统会直接阻断分配指令。
跨城市调配居民同样属于人物撤走的延伸玩法，想要把角色从当前城镇转移到其他府城，需要依托码头运输功能。点击左下角府印打开大地图，选中处于空闲状态的运输船只，选定目标城市后添加需要迁移的居民，等待航行结束即可完成转移。居民上船之后，会自动脱离当前城市民宅，房屋直接空置。船只一次最多运送两名特殊居民，正在执行运输任务的船只不能重复搭载人员，需要等待船只返航。合理利用码头调配人力，能够快速将低适配角色调离资源紧缺的城镇，把擅长农牧、制造的人才集中安置在对应的城市，优化整体资源产出效率。
不少玩家操作失败都是忽略了基础限制条件，被迁出后的特殊居民不会消失，仅变为无住所的闲人，天赋能力在没有定居民宅时无法生效，想要重新使用角色增益，需要再次分配房屋。规划城镇布局时，可以提前梳理每个人物的专长，及时撤走放置错误岗位的角色，避免人力资源浪费。同时不要频繁无意义迁出居民，反复调配会增加大量操作步骤，建议批量调整城市人员布局，减少来回分配、运输的操作频次。熟练区分建筑撤岗、民宅迁出、跨城运输三类操作，就能灵活管理城内所有特殊居民，按需完成人员调动。