This seems new to me aswell but according to the RAE reclamo has nothing to do with a complaint. I know this sounds outrageous but look at the definitions:
reclamo.
m. Ave amaestrada que se lleva a la caza para que con su canto atraiga a otras de su especie.
m. Voz con que un ave llama a otra de su especie.
m. Instrumento para llamar a las aves en la caza imitando su voz.
m. Sonido de este instrumento.
m. Voz o grito con que se llama a alguien.
m. Señal hecha en los impresos o manuscritos para atraer la atención del lector.
m. Propaganda de una mercancía, espectáculo, doctrina, etc.
m. Cosa que atrae o convida.
m. Impr. Palabra o sílaba que solía ponerse en lo impreso, al fin de cada plana, y era la misma con que había de empezar la plana
siguiente.
acudir alguien al ~.
- loc. verb. coloq. Ir adonde ha oído que hay algo conveniente a su propósito.
And of reclamación:
reclamación.
(Del lat. reclamatĭo, -ōnis).
f. Acción y efecto de reclamar.
f. Oposición o contradicción que se hace a algo como injusto, o mostrando no consentir en ello.
So the main difference is that reclamo has nothing to do with a complaint.
Now, colloquially there is a slim difference between the two that are widely used as synonyms.
Reclamación is referring to the action of doing a complaint. Complaining even if the translation is not literally that. You could totally use Libro de reclamos and the one they used is correct too (at least colloquially).
I think it depends on the region, or some obscure grammatical usage referring to the preference of actions.
In any case I am very surprised that reclamo isn't a queja. Only definition that gets close to it is "Voz o grito con que se llama a alguien".
As per comments I think that reclamo is really used as origin of the conjugation of reclamar.
Ver conjugación
reclamar1.
(Del lat. reclamāre, de re y clamāre, gritar, llamar).
tr. Clamar o llamar con repetición o mucha instancia.
tr. Pedir o exigir con derecho o con instancia algo. Reclamar el precio de un trabajo. Reclamar atención.
tr. Llamar a las aves con el reclamo.
tr. Der. Dicho de la autoridad: Llamar a un prófugo.
tr. Der. Dicho del juez competente: Pedir el reo o la causa en que otro entiende indebidamente.
intr. Clamar contra algo, oponerse a ello de palabra o por escrito. Reclamar contra un fallo, contra un acuerdo.
intr. poét. resonar.
prnl. Dicho de ciertas aves de la misma especie: Llamarse unas a otras. U. t. c. tr.
reclamar2.
(De reclame1).
a ~.
- loc. adv. Dicho de izar una vela o halar un aparejo: Hasta que las relingas de aquella o los guarnes de este queden muy tesos.
Now I think it is a mere coincidence that reclamo is a word all by itself and that the conjugation of reclamar is reclamo.
You can see that on the definition of reclamar that it is to challenge something, or to ask for your rights.
The main difference is that reclamación is explicitly to correct something that was done wrongly, or something that was perceived as unfair. Or to oppose to it, to make a complaint against it. And that reclamar is only the action of doing so, maybe the action is not reinvindicating something that was unfair, it may only be a complaint about the place being too clean.
To make myself clear: All reclamaciones are complaints but not all "yo reclamo" are complaints. (I conjugated it to make clear that they are different as just a noun)
So technically Libro de reclamos is incorrect
Sorry for the long answer. I hope it was helpful.