В 1811 г., получив чин тайного советника и должность сенатора, Кампенгаузен был назначен главой только что образованного ведомства – Государственного контроля, призванного стать важной частью исполнения «Плана финансов». В близком сотрудничестве со Сперанским барон Кампенгаузен разработал порядок и устав деятельности нового учреждения, которым ему предстояло руководить. Первоочередной задачей нового главного управления стала полная и всеохватывающая проверка предшествующей финансовой отчётности, прежде всего связанной с военными действиями. Чиновники ведомства были загружены огромным объёмом работы. Сам Балтазар Кампенгаузен, отличавшийся исключительно аккуратным и добросовестным отношением к своим обязанностям, в июне 1823 г., когда ему было поручено кроме основной должности, ещё и временно управлять Министерством внутренних дел, в отчаянии писал Алексею Аракчееву: «Помилуйте, мой милостивец, что такое со мной делается! Мне поручили два министерства, из коих каждое таково, что одно может занимать самого здорового и сильного человека; у меня же глаза сделались все красные, я скоро ослепну…» Для поправки своего здоровья барон Кампенгаузен просил императора предоставить ему отпуск, чтобы отдохнуть если не на юге, то хотя бы в Прибалтике или Финляндии, но, вероятно, разрешения на отъезд не получил и отдыхал летом на даче под Петербургом.

      В июне 1823 г. Балтазар Кампенгаузен принял от графа Виктора Кочубея должность и был назначен временно управляющим Министерством внутренних дел, с перспективой вскоре занять место министра. Но в начале августа того же года, находясь на даче, Кампенгаузен был выброшен из коляски понёсшими