Năm 1859, Pháp đánh chiếm Sài Gòn - Gia Định. Cũng khoảng thời gian này, về phía Tây Nam Sài Gòn, hình thành một xóm đạo tên Chợ Đũi.

Ngôi nhà thờ đầu tiên của xóm đạo Chợ Đũi được khởi công xây dựng năm 1900, trên một khu đất cao, ở góc đường Frère Louis (nay là đường Nguyễn Trãi) và Frère Guilleraut (nay là đường Tôn Thất Tùng). Nhà thờ khánh thành vào năm 1903, ban đầu mang tên nhà thờ Chợ Đũi, hay quen gọi với tên nhà thờ Huyện Sĩ vì toàn bộ chi phí xây dựng do ông Huyện Sĩ(1) đóng góp. Về sau, ngôi nhà thờ chính thức mang tên nhà thờ Huyện Sĩ. 

Nhà thờ do linh mục Bouttier thiết kế, theo kiểu tân gothique với vòm trần và cửa có dạng cung nhọn. Đây là một trong số ít công trình sử dụng vật liệu đá granite Biên Hòa ở mặt tiền, cửa vào, cũng như ở phần đế và nhất là các cột gian chính điện.

Nhà thờ Huyện Sĩ là một trong những nhà thờ xây dựng vào những năm cuối thế kỷ 19 ở Sài Gòn với mô típ trang trí phong phú. Khuôn viên có nhiều cây cối như me, tùng, sa-kê kề bên núi Đức Mẹ Lộ Đức, đài Thiên Thần bổn mạng và tượng Thánh Giuse trên nền bê-tông ốp sỏi, tạo cho ngôi nhà thờ khoảng không gian thông thoáng, tĩnh lặng trong một thành phố náo nhiệt, sầm uất.