万历四十七年，赵家堡扩建工程正紧张地进行着，遇到一个意外的情况，南北二面的城墙在一个风雨交加的夜晚同时倒塌了，之后再次重建，不出二月，再次倒塌，为此工期一再拖延下去。赵义多次带领工匠、堪舆师等，反复巡察，结果地质、基础、材料工艺等均没有什么失误，为此百思不得其解，满腹惆怅。这一天，友人何楷正前往漳浦，与黄道周等商议来年上京赴考的事，路经硕高山下，猛想到赵家堡的扩建工程，遂掉转马头，直奔赵家堡来。赵义正因建堡工程愁肠百结，一见何楷大喜，逐命治酒于堡西南的角楼上，这角楼正是全堡的制高点，站在楼上，全堡城垣府第，山石树木，几可尽收眼底。三杯过后，何楷突然起身，凝望正在重建的北门，回头对赵义作色道：“君为皇裔，可知道靖康之耻，德佑之辱，可知道崖山之战？”赵义一听大惊道：“兄何出此言”，何楷指着北城门道：“赵宋立国二百余年，在北方强敌的威迫之下，侮于辽，辱于金，亡于元，南宋一百多年，君臣百姓无不谈北色变，义愤填膺。你今按开封城的布局立意建造此城，自应大开北门，以存思慕故土之心，堵塞南门，以儆子孙不忘赵宋多次南遁之辱啊，今遁规蹈距，以南门为大，有负先祖遗愿，城墙焉能不倒。城墙坍塌事小，后代家业不振必将遗恨千秋。”
听了何楷的话，赵义恍然大悟，由北而南，竟是一个赵宋和家族由盛到衰的历史，慌忙伏地称谢。
每一次体验都是失败和耻辱，而对于向北方发展则是赵宋家族从靖康之后几百年的梦。北方才是家族的发祥地，才是家族重兴的希望所在，作为赵家子孙，他再也不能往南逃遁了，并应当让子孙记住先祖的辉煌，让子孙发誓不再南迁一步。于是，他让工匠把北面的城墙向外扩展五丈，把北门改建成正门，并建造了瓮城，同时封死已经建好了的南门。
从此，原来的北城墙墙基，成了一条横跨荷花池上的长堤，而封死的南门内外长满了荒草树木。
