1921年吕彦直学成回国，先在上海东南建筑公司任职，承揽了上海银行公会等大型建筑工程的设计，后独立创办“彦记建筑事务所”，聘请挚友黄檀甫为助手。期间，他的建筑设计多为小巧玲珑、舒适别致的花园式洋房，其间开始研究中国古典式建筑，并努力融合中西建筑艺术的精华，逐渐形成自己的建筑风格。

1925年3月12日，民主革命先驱孙中山先生在北京与世长辞。葬事筹备委员会根据逝者的遗愿，决定将孙先生的遗体安葬风景秀丽、四季常春的南京紫金山（亦称钟山）南麓，并于1925年4月23日登报悬奖征求中山陵设计图案，要求海内外应征建筑师提交建筑图案及一切详图，承诺“头奖二千五百元，二奖一千五百元，三奖一千元。”吕彦直满怀对孙中山先生的敬慕之情积极应征，专程到紫金山之阳作了徒步考查，绘制地图，掌握了翔实的地理、地质资料。

征求设计图案的消息见报后，葬事筹备委员会收到应征图案40多种，经中外专家和全体顾问评判，又经筹备委员会联席会议讨论，一致认为吕彦直的设计图案结构严谨，布局合理，外形精美而壮观，充分发挥了中国传统建筑艺术的想象力，一看就令人思慕追远，产生景仰之情。陵园由广场、牌坊、墓道、陵门、碑亭、祭堂、墓室等组成，规模宏大，气势磅礴。且墓室置于祭堂之后，合乎中国的传统观念，堂中多色玻璃及几线阳光透入，又有西洋风格，形式及气魄极似中山先生的气概精神，所有设计均符合征求条件。鉴于此，葬事筹备委员会决定采用吕彦直的设计图案，授予一等奖，并聘请他担任中山陵建筑师，主持设计建筑详图及监工事务。吕彦直的胜出，结束了外国人垄断近代中国大型建筑的历史。

南京中山陵于1926年1月动工兴建，占地8万余平方米。中山陵关键部位的石材，均使用了山东崂山的大理石。陵园坐落南京紫金山第二高峰小茅山之阳，西邻明孝陵，东毗灵谷寺，岗峦前列，屏障后峙，整个建筑结构居高临下，山陵一体，聚散巧妙，有机统一，将神思妙想与自然环境融汇得天衣无缝，浑然一体。中山陵平面图呈“自由钟”（亦称警世钟）型，在中轴线上依次建有牌坊、陵门、墓道、碑亭、台阶、祭堂和墓室，以孙中山先生铜像为钟的尖顶，半月形广场为钟顶圆弧，而陵墓顶端墓室的穹隆顶，就像一颗溜圆的钟锤，形似逼真，巧工天成，极具想象力和联想力。人们对这个宏伟建筑评价甚高，交口称赞吕彦直的设计含义深刻，寓意“暮鼓晨钟，警钟长鸣”。瞻仰中山陵，自然联想到孙中山先生的临终遗训：“革命尚未成功，同志仍需努力。”然而吕彦直对这些赞誉并未推舟取宠，谦虚而直率地说，起初并没有一定要把中山陵设计成一个“自由钟”的图案，不过是根据紫金山的地形作出来的，偶然地合到“幕鼓晨钟”的意思罢了。

对于吕彦直的这一设计，后继专家总结认为共有四个特点：一是结构完整，聚散适度。设计中结合钟山的形态，把孤立而尺度不大的牌坊、陵门、碑亭、祭堂和墓室贯穿于一条中轴线上，用大片的绿地和宽广的石阶，联成一个大尺度的整体，显得庄严而雄伟。二是中西一体，珠联璧合。祭堂采用中国宫殿式建筑为基调，吸收西洋建筑的长处，墓室则完全采用西洋建筑技法，同时运用牌坊、陵门、碑亭等中国古代陵墓的传统形制，再饰以华表、石狮、铜鼎等部件，使整个建筑群既富有中华民族特色，而又彰显了西洋建筑风格。三是气势恢宏，视角见奇。陵墓建筑在山坡上，用392级石阶相连，石阶中缀以八个平台，坡度逐渐加大，视角不断变换，例如由博爱坊望祭堂仰角为9°，而从碑亭望祭堂仰角则为19°，瞻仰者沿石阶拾级而上，顿生庄严肃穆之感、景仰崇敬之情，而到达大平台，再回首俯视，却不见石阶，仅见平台连成一片，如同平地一般，令人无不称奇。四是简朴庄重，寓意深远。建筑古雅纯正，结构朴实坚固，色彩庄重，整个建筑布局呈一大钟形，“尤有‘木铎警世’之想”（凌鸿勋语），“适成一大钟形，尤为有趣之结构”（李金发语），“形势及气魄极似中山先生之气概及精神”（王一亭语）。

1927年吕彦直应征设计的广州中山纪念堂图案，堪称中国传统建筑风格与西方建筑结构完美结合的典范，以其标新立异的创新思维，在28000份中外建筑师征集图案中脱颖而出，摘得首奖桂冠，并担任建筑师。

广州中山纪念堂坐落于1921年5月5日孙中山就任中华民国非常大总统的总统府旧址，占地6.3公顷。广州中山纪念堂于1928年初开工建设，1931年竣工。中山纪念堂高49米，建筑面积达8300多平方米，不但规模宏大，而且建筑结构更加巧妙，连同挂楼可容4700多位观众的大堂内，竟看不到一根支撑顶盖的柱子。实际上柱子有八根，均隐藏于周围内墙，支撑着4个跨度约30米的大型钢结构桁架，上面再承载着八个主桁架，构成一个八角形顶盖，酷像一把张开的没有伞柄的雨伞一样。整个顶盖以桁架为骨干，分3层砌成：最下层是云纹色彩的斜形方格；中层镶嵌花玻璃天窗；最上层是一个乳黄色的弧形圆顶。光线通过大面积嵌花玻璃射入堂内，使偌大的会堂不用亮灯，亦可视物。由于钢桁架跨度大，构成的空间也非常大，人们坐在堂中的每个座位上，都不会影响视线。更令人称奇的是，这座容积巨大的集会场所，进出只需5分钟，遇有突发事件，集会者即可迅速疏散撤离。大堂北面是舞台，东西南有连接一体的挂楼，专设6座巨梯供观众上下，堂内四周的墙壁上面有彩色斗拱和花板作装饰，转角处有半圆朱红石柱，下配云石柱座。大堂还有11个进出口通往外边宽阔的走廊，可谓设计缜密，考虑周全。中山纪念堂的建成，在中国建筑史上具有里程碑意义

两大恢宏建筑的横空出世，奠定了吕彦直在中国现代建筑史上的至高地位。