Prima che fosse stabilito il sistema moderno delle prefetture, il Giappone era diviso in decine di kuni (国, paesi). Per riferirsi ad esse viene utilizzato il termine occidentale province. Ogni provincia era divisa in gun o ancora prima in kōri (郡, contee).
Le province vennero originariamente stabilite sia come unità amministrative, che come regioni geografiche. Durante il periodo Asuka (538–710 d.C.) il Giappone fu organizzato nel sistema denominato gokishichidō (五畿七道?, "cinque provincie e sette circuiti"). Nel tardo periodo Muromachi, le loro funzioni come unità amministrative vennero gradatamente soppiantate dai domini dei daimyō sengoku. Sotto il governo di Toyotomi Hideyoshi, le province come unità amministrative vennero totalmente rimpiazzate con i feudi dei daimyo. Nel periodo Edo i feudi divennero conosciuti come han. Le province restarono come unità geografica e le persone si riferivano spesso ad un luogo indicandolo con la coppia provincia/han.
Durante la restaurazione Meiji gli han vennero legittimati come unità amministrative ma furono rapidamente rimpiazzati dai fu (prefetture urbane) e ken (prefetture rurali). Allo stesso tempo le province come parte del sistema di indirizzi non furono abolite, ma al contrario aumentate. Alla data del 1871 il numero di prefetture era di 304, mentre quello delle province era di 68, senza includere l'Hokkaidō e la provincia di Ryūkyū. I confini tra le molte prefetture erano non solo molto complicati, ma non corrispondevano a quelli delle province. Le prefetture furono gradualmente fuse fino a ridurre il loro numero a 37 nel 1881; alcune di queste furono allora nuovamente divise portando il totale a 45 nel 1885. L'aggiunta delle prefetture dell'Hokkaidō e di Okinawa portarono al totale corrente di 47 prefetture.
Fino ad oggi (2005) non è stato emesso alcuno ordine ufficiale che abolisca le province. Nonostante ciò sono oggi considerate obsolete. Comunque i loro nomi sono ancora spesso usati come parte dei nomi di luoghi naturali, di compagnie e di marchi. All'inizio del 2000 il governatore della prefettura di Nagano ha proposto di rinominare la sua prefettura come "Shinshu" (un nome derivato dalla provincia di Shinano).
Le province sono classificate in kinai (con la capitale), ed in sette o otto do (circuiti). Notate comunque che i do in questo contesto non devono essere confusi con le moderne linee di traffico come il Tōkaidō da Tokyo a Kyōto o Kōbe. Inoltre l''Hokkaidō in questo contesto non deve essere confuso con la prefettura di Hokkaidō, sebbene queste due entità si sovrappongano geograficamente.