Losing my Religion nació del proceso de aprendizaje del guitarrista Peter Buck con una mandolina, instrumento que había adquirido y con el cual practicaba mientras se grababa en su intento por aprender a tocarlo. De ahí nacieron la base y el estribillo del tema.