บริเวณที่ดินโบราณสถานแก่งตอย เดิมคงมีสภาพเป็นวัดแต่ร้างรก และมีการมาก่อสร้างวัดในบริเวณดังกล่าวใหม่ เมื่อประมาณปี พ.ศ. 2478 โดยการก่อสร้างวัดได้คลุมบริเวณของโบราณสถานนี้ทั้งหมด

          ลักษณะทางสถาปัตยกรรม ศิลปกรรม แก่งตอยมีโบราณสถานอยู่รวมกลุ่มกันทั้งหมด 4 จุด คือ ซากฐานโบสถ์ เป็นโบราณสถานก่อด้วยอิฐ มีใบเสมาหินทรายล้อมรอบ วิหารมี 2 หลัง หลังหนึ่งมีการก่อสร้างโครงหลังคาครอบไว้ใหม่แล้ว ส่วนอีกหลังหนึ่งเป็นซากฐานก่ออิฐสอดินตั้งอยู่คู่กัน ซากเจดีย์ก่อเป็นฐานสี่เหลี่ยมโดยใช้หิน ทราย และอิฐ