Sáng ngày 08.01.1862, Cha Croc và Cha Tri, người đang phải lẩn tránh nhưng cũng đã từng cải trang vào gặp các tín hữu đang bị giam cầm, đã có mặt tại nơi nhà ngục Phước Lễ chứng kiến thi thể của 288 tín hữu vừa bị thiêu sinh khi quan quân triều đình phóng hoả đốt ngục trước khi rút lui. Các cha đã cho đào ba ngôi mộ lớn để an táng các tín hữu đã chết vì Đạo Chúa.
Tháng 10 năm 1865, Linh mục Thừa sai Jules Jean-Baptiste Errard đến nhận nhiệm sở Bà Rịa, cha tìm gặp các nhân chứng và thân nhân của các vị tử đạo, ghi lại tên tuổi theo từng họ đạo và nơi bị giam giữ. Cha cũng cho cải táng hài cốt các vị từ ba ngôi mộ trước đây và an táng chung vào một ngôi huyệt đào ngay trên nền ngục thất cũ. Trong dịp sang Hồng Kông chữa bệnh, cha đã đặt làm một ngôi mộ nổi trên mặt đất bằng đá cẩm thạch đưa về thay cho ngôi mộ bằng gạch trước đây. Bốn phiến cẩm thạch mang những dòng chữ được tạc khắc ghi nhớ cuộc khổ nạn và cái chết của các nhân chứng đức tin. Cha cho cất một ngôi nguyện đường ngay trên phần mộ, từ đó đã là nơi các cha thường xuyên đến dâng lễ, và cũng có các nhóm hành hương từ nhiều nơi tìm đến cầu nguyện.
Nhà thờ Mồ Tử Đạo Bà Rịa nằm cách Nhà thờ Chánh Toà hiện nay khoảng 300m, trên khu đất trước đây là nghĩa trang giáo xứ. Dù chỉ là một ngôi nguyện đường khiêm tốn, không có dáng vẻ gì đặc biệt, nhưng đây chính là nơi cất giữ cả một ký ức hào hùng của cộng đoàn tín hữu Bà Rịa.
Dù các vị tử đạo ở đây chưa được hiển tôn trong toàn Giáo Hội – người ta chỉ biết các Ngài qua những tư liệu ngắn ngủi như bà Maria Liệu, 76 tuổi, chết tại ngục Long Kiên, ông Giuse Vệ, 75 tuổi, ở ngục Phước Lễ hay cặp song sinh Antôn Trước – Antôn Sau chào đời trong ngục Phước Thọ (Đất Đỏ) và tử đạo khi mới 3 tháng tuổi – nhưng cái chết của các Ngài đã vun trồng sự sống cho bao thế hệ, đang làm cho đức tin nên sống động trong từng cuộc sống của người tín hữu Bà Rịa hôm qua, hôm nay và mãi mãi về sau.
