In un futuro misterioso, organismi cristallini chiamati Gemme abitano un mondo che è stato distrutto da sei meteore. Ad ogni Gemma viene assegnato un ruolo per combattere contro i Lunariani, una specie che li attacca per frantumare i loro corpi e usarli come decorazioni. Phosphophyllite, nota anche come Phos, è una giovane e fragile Gemma che sogna di aiutare i propri amici nello sforzo bellico. Invece, viene detto loro di compilare un'enciclopedia a causa della loro delicata condizione. Dopo essersi imbarcato a malincuore in questo compito, Phos incontra Cinnabar, una gemma intelligente che è stata relegata a pattugliare l'isola isolata di notte a causa del veleno corrosivo creato dal loro corpo. Dopo aver visto quanto sia infelice Cinnabar, Phos decide di trovare un ruolo che possa piacere a entrambe le Gemme rifiutate. Houseki no Kuni segue gli sforzi di Phos per essere utile e proteggere le loro compagne Gemme.