Trường Nhật Bản tại TP. Hồ Chí Minh được thành lập vào năm 1997 bởi Hiệp hội Doanh nghiệp Nhật Bản tại TP. HCM (JCCH), trực thuộc Tổng Lãnh sự quán Nhật Bản tại TP. Hồ Chí Minh. Đến năm 2016, cùng với sự phát triển nhanh chóng của nền kinh tế Việt Nam và làn sóng đầu tư mới từ các doanh nghiệp Nhật Bản, tổng số học sinh của trường (bao gồm cả bậc Tiểu học và Trung học cơ sở) đã vượt mốc 500 em.

Từ khi thành lập đến nay, ngôi trường đã nhiều lần được mở rộng nhằm đáp ứng sự gia tăng số lượng học sinh cũng như những thay đổi trong hệ thống giáo dục Nhật Bản. Tòa nhà mới được quy hoạch và thiết kế theo tiêu chuẩn xây dựng trường học của Nhật Bản, bao gồm cả các yêu cầu về diện tích xây dựng, nhằm đảm bảo cho học sinh người Nhật tại địa phương được học tập trong môi trường tương đương với các trường học tại Nhật Bản.