Des communautés juives vivaient depuis l'Antiquité, avant les conquêtes musulmanes du VIIe siècle, dans la péninsule arabique, en Perse, en Asie centrale, au Moyen-Orient, en Afrique du Nord, dans l'Europe du sud, régions qui s'islamiseront au moins en partie, pour une période plus ou moins longue ; en effet, le territoire de l'islam s'est étendu au-delà de son aire d'origine, l'Arabie, jusqu'au Khorasan (les actuels Afghanistan et Turkménistan) à l'est, et en Espagne à l'ouest ; pendant quelque temps des musulmans ont gouverné, en Europe, la Sicile et la Crète.
Les conquérants n'imposent pas la conversion à l'islam aux Gens du livre, juifs et chrétiens[1], qu'ils considèrent comme dépositaires d'une partie de la Vérité révélée mais des conversions forcées et des massacres auront lieu sporadiquement tout au long de leur histoire ; les polythéistes, pour la plupart arabes (habitants de la péninsule arabique), subissent en revanche des conversions forcées. Les juifs en terre d'islam, comme les autres monothéistes, chrétiens, puis zoroastriens, acquièrent un nouveau statut légal, celui de dhimmis, reposant sur un contrat de « protection » et de soumission, qui sera interprété diversement selon les lieux et les époques. L'abolition du statut de dhimmi date du milieu du XIXe siècle dans la plus grande partie du monde musulman.
La « terre d'islam » a été pendant de longs siècles une terre de refuge pour des milliers de juifs européens persécutés, en particulier lors des expulsions de juifs au Moyen Âge.
Cependant, aujourd'hui, le nombre de juifs résidant dans les pays musulmans a été drastiquement réduit - l'Iran et la Turquie étant les deux pays dans lesquels vivent les plus grandes communautés juives de quelques milliers de personnes.