Роден е в Естландска губерния. Завършил школата за гвардейски прапоршчици и кавалерийски юнкери през 1856 г. В 1870 г. достигнал чин полковник от руската армия. През 1872 г. бил назначен за командир на 118-и пехотен Шуйски полк. С него участвувал в Освободителната война и боевете за освобождението на Плевен. Тук при втория щурм, на 18 (30). VII. 1877 г., Каулбарс бил начело на 1-ви батальон от своя полк в атаката при Радишевските височини. Още при първите изстрели на противника бил ранен, но не напуснал боя и не позволил на войниците да го отнесат в превързочния пункт. Нова тежка рана го принудила да остане на място. Чувствувайки своя край, той по-искал да го обърнат с лице към неприятеля и да му дадат револвер. Заявил, че даром няма да отдаде своя живот. След това заповядал да го оставят и да вървят напред в боя. Героичната му смърт станала пример за мъжество и достойно изпълнен воински дълг.
