Mengikut kajian sejarah bahawa Masjid Kampung Hulu adalah masjid yang mula mula sekali dibina dalam zaman pemerintahan Belanda iaitu pada tahun 1728 Masihi bersamaan 1141 Hijrah dan merupakan masjid yang tertua di negeri Melaka. Masjid Kampung Hulu ini dibina oleh Dato’ Shamsudin di atas sekeping tanah wakafnya dengan perbelanjaan daripada pengasasnya sendiri. Masjid ini telah diperkukuh daripada batu pada tahun 1892. Walaupun agama Islam berkembang pesat pada zaman Kesultanan Melayu Melaka, masjid era tersebut telah musnah kerana diperbuat daripada kayu.
Pada masa sekarang, masjid ini telah dibina dengan bentuk seragam sama seperti masjid-masjid yang lain didalam negeri Melaka. Dengan ciri-ciri seni bina campuran iaitu Cina, Melayu dan Sumatera yang berbentuk segi empat persegi dan mempunyai 3 lapis bumbung dan menara yang berbentuk Pagoda. Masjid ini adalah dibawah pentadbiran Maim dan bahagian bangunan masjid adalah dibawah Pentadbiran Muzium Negeri Melaka ( Perzim ).