當年南下攻打百越之地，並建立南越國的趙佗。其族中長輩曾經是呂不韋的門客，受到呂不韋的恩惠。
趙佗家族也與呂不韋家族私交甚好。
秦末之時，南海郡尉任囂病重，他臨死前把時任龍川縣令的趙佗召來，向他闡述了可以依靠南海郡傍山靠海、有險可據的地理優勢建立國家，以抵抗中原各路起義軍隊的進攻。
巴蜀之地也動亂不斷，唯有身處嶺南之地的南海軍封鎖了五嶺的四關，橫浦關、誆浦關、陽山關、湟溪關。
斷絕四條進入嶺南的新道，構築了扞衛番禺的三道防線，南雄防線，清遠防線，石門要塞防線。
只要不攻破這三道防線，是無法進入番禺縣的。
呂不韋的族人們與趙佗時常有書信往來，得知消息後，立刻舉族搬遷到嶺南地區。
自呂不韋以後，其族人們將《呂氏春秋》奉爲家族至寶，乃每一位族中子弟必須研讀的書籍。
此書以“道家學說”爲主幹，以法家、儒家、墨家、農家、兵家、陰陽家思想學說爲素材，熔諸子百家學說於一爐。
可以說精通《呂氏春秋》之人，必定學識淵博，滿腹經綸。
呂氏家族以《呂氏春秋》爲自己的家傳經學，加上與南越武王趙佗關係莫逆，漸漸在南海發展壯大，族中子弟多有進入南越朝廷爲官。