Aperto nella prima metà del XV secolo al termine dell'attuale via Valentinská, il cimitero svolse la sua funzione dall'aprile 1478 al maggio 1787, data incisa sull'ultima lapide in ordine di tempo intitolata a Moses Beck. Le sepolture antecedenti si trovano sparse per la città, sotto gli edifici dei quartieri storici praghesi. Il numero di lapidi è di circa 12.000, ma il dato esatto delle sepolture, ipotizzato a 100.000 persone, è imprecisabile poiché per esigenze di spazio le tombe furono poste una sopra l'altra fino a raggiungere ben dodici livelli sovrapposti.
Le iscrizioni sulle stele riportano in ebraico il nome del defunto e del padre - per le donne anche del marito - le date del decesso e della sepoltura, i meriti in vita, a volte in forma poetica; i rilievi talvolta simboleggiano il nome, se corrisponde a un animale come Orso, Gallo o Lupo, o la professione del defunto, con strumenti chirurgici per i medici, forbici per i sarti, un libro per gli stampatori, mani benedicenti o brocche per i sacerdoti e per i loro aiutanti. La lapide più antica è del rabbino Avigdor Karo (1439), letterato e poeta che assistette alla rivolta popolarec contro gli ebrei nel 1389 e scrisse un'elegia in ricordo dell'evento; si segnalano anche la lapide del rabbino Jehuda ben Bezalel (1609) detto Rabbi Lów, al quale la leggenda attribuisce la creazione del Golem - gigante animato in terracotta, trasformatosi da servitore in mostro distruttore - quella del sindaco del quartire Mordechaj Markus Maisel e quella di Heudele Basevi. Secondo un'usanza semita, che risale all'esodo degli ebrei guidati da Mosè nel deserto del Sinai, sulle tombe sono posti dei sassi a trattenere i biglietti di carta con i messaggi per i parenti o gli amici defunti.