Каложская или Борисоглебская церковь была возведена в 1ой половине 12 века в честь святых Бориса и Глеба. Это ключевая достопримечательность города, так сказать, его визитная карточка. Каложа – уникальное строение Гродненской архитектурной школы, сохранившаяся до наших дней. К сожалению, и она сохранилась лишь отчасти: ее своды и купол сгинули давно, а во время оползня в 1853 году целиком пала южная стена. Поэтому часть стен церкви изготовлена из типичного кирпича, а крыша - из рядового кровельного железа.

Церковь стоит на самом кромке берега: от обрыва южную стену отделяет около двух метров. С 1995 по 2005 годы намеренно для сохранения церкви городские власти при содействие ЮНЕСКО (Борисоглебская церковь включена в список памятников мировой культуры) проводили работы по упрочению берега. Сейчас здание вне опасности.

Каложа – функционирующая церковь: каждый день в ней проводятся службы. Несмотря на очень маленькие размеры - 13*25 метров – церковь изнутри смотрится просторной, благодаря тонким стенам и особой конструкции опор, которые имеют эллипсовидную форму. Стены Борисоглебской церкви произведены из плоского кирпича – плинфы и декорированы майоликовой плиткой и плоскими валунами. Кроме того, в стены встроено большое количество полых глиняных сосудов - голосников, что производит акустику церкви уникальной. Такая отделка, а также голосники является отличительной чертой Гродненской школы зодчества, весьма общераспространенной во времена Галицко-волынского княжества.