Une naine brune est, d'après la définition provisoire adoptée, en 2003, par l'Union astronomique internationale, un objet substellaire dont la vraie masse est inférieure à la masse minimale nécessaire à la fusion thermonucléaire de l'hydrogène mais supérieure à celle nécessaire à la fusion thermonucléaire du deutérium[1], correspondant à une masse située entre 13 et 75 fois la masse de Jupiter (MJ)[2]. En d'autres termes, il s'agit d'un objet insuffisamment massif pour être considéré comme une étoile mais plus massif qu'une planète géante. Il y a un accord sur la limite supérieure en deçà de laquelle une naine brune ne peut entretenir la réaction de fusion nucléaire de l'hydrogène : moins de 0,07 masse solaire pour une composition chimique solaire. La limite inférieure quant à elle ne fait pas unanimité ; un critère couramment retenu est la capacité à fusionner le deutérium, ce qui correspond à environ 13 MJ pour une métallicité solaire.
La classification spectrale des naines brunes a motivé une extension de celle des étoiles : elles ont pour type spectral M (rouge), L, T, voire Y pour les plus froides.
L'énergie lumineuse d'une naine brune est quasi exclusivement tirée de l'énergie potentielle gravitationnelle, transformée en énergie interne par contraction, contrairement à une étoile de la séquence principale qui tire son énergie des réactions nucléaires. La contraction s'achève lorsque se produit la dégénérescence de la matière, la naine brune a alors un diamètre de l'ordre de celui de la planète Jupiter. En l'absence d'autre source d'énergie, une naine brune se refroidit au cours de son existence, et parcourt les types spectraux M, L et T ; ceci diffère d'une étoile de la séquence principale dont la température effective et le type spectral restent sensiblement constants.
Bien que leur existence fût postulée dès les années 1960, c'est seulement depuis le milieu des années 1990 qu'on a pu établir leur existence.