Бывшая улица Пастуховская была проложена по первому Генеральному плану 1782 года, но, очевидно это не совсем так: она появилась еще раньше. Главным аргументом, указывающим на особую древность улицы Белинского, является частный дом под номером 44. Это небольшое простое строение с тремя маленькими окнами является одной из древнейших курских построек, сохранившихся до настоящего время. В это сложно поверить, но здание было построено во второй половине XVII века. Дом находится на краю пригорка, видимо, благодаря этому неудобному для строительства положению он так и не был никем снесен. Также за более чем три века здание почти не перестраивалось, только одни из хозяев сделали деревянную пристройку. Старейший курский дом и сегодня остается жилым.
В наше время на Белинского сохраняется несколько зданий, построенных еще до революции, но исторические строения распределены по улице совсем неравномерно; так, хуже всего сохранился отрезок, находящийся между улицами Дзержинского и Красной Армии, но и здесь хватает примечательных построек. Начинается улица Белинского с дома по адресу: Дзержинского, 66/1, который является одним из самых интересных с архитектурной точки зрения в городе. Дело не только в том, что здание было построено по авторскому проекту П. Ф. Платонова, но и в его эклектичности. Изначально планировалось, что дом будет в стиле конструктивизма, но в середине 30-х годов ХХ века авангардные течения в архитектуре подверглись резкой критике. Из-за этого и проект дома Платонова пришлось резко менять. В итоге получилось так, что в одном доме соединились конструктивизм и неоклассический стиль. Строительство дома началось в 1935 году, а уже в 1937 году сюда стали заселяться жильцы.
На улице Пастуховской в дореволюционное время прожило много известных курян. Например, на перекрестке с Дзержинского раньше находился большой дом, в котором последние годы жизни провел первый курский гражданский губернатор Степан Данилович Бурнашев, возглавлявший регион в 90-е годы XVIII века. Позже в этом же доме жил первый всесословный голова Курска Прокопий Устимович.
Также на улице Пастуховской жил известный поэт, переводчик и государственный деятель екатерининской эпохи Ипполит Богданович, который провел здесь последние годы жизни, переехав в Курск в 1798 году. Поэт проживал в двухэтажном здании, принадлежавшем дворянке А. Н. Машиной. Дом был снесен еще в середине XIX века, а на его месте было возведено здание духовного училища. В этих же местах провел свое детство и знаменитый ботаник, основатель заповедника «Стрелецкая степь» Василий Васильевич Алёхин. Будущий ученый происходил из купеческой богатой семьи, однако с домом, где 17 января 1882 года Василий Алёхин, не все ясно: по мнению ряда краеведов, родителям великого ботаника принадлежал трехэтажный дом, в котором сегодня располагается администрация Курского района (Белинского, 21).
По адресу: улица Белинского, 5, находится дом курского купца Р. Л. Пахомова, построенный в XIX веке. После революции красивое здание из красного кирпича было национализировано. В 1918–1919 годах в доме размещался первый курский городской комитет РКСМ (комсомол). В настоящее время здание является жилым - внутри дом разделен на пять квартир.
На улице Белинского можно встретить архитектуру различных эпох. Так, между эклектичным домом авторства Платонова и дореволюционным зданием купца Пахомова находится девятиэтажный дом, построенный в 2003 году. Здание относится к категории элитной недвижимости. Напротив него находится дом по адресу: Белинского 4, это жилое здание было сдано в эксплуатацию в 1998 году. Оба эти дома построены по авторским проектам и в едином стиле.
Историческими зданиями может похвастаться второй квартал улицы Белинского, находящийся между улицами Красной Армии и Пионеров. Этот отрезок улицы раньше начинался зданием 3-й полицейской части с депо пожарной команды. До настоящего дня эти объекты не уцелели. К счастью, до настоящего времени сохранилось красивое двухэтажное здание по адресу: Белинского, 18. Первым владельцем этого дома был купец Переплетенко. После кончины хозяина его вдова сдала здание в аренду Александро-Мариинскому городскому приходскому мужскому училищу. Учебное заведение было двухклассным, сохранились сведения, что здесь обучалось 34 ученика.
В доме под номером 29 до революции жил богатый купец И. В. Лавров, который занимался продажей зерна, торговал мукой и кожевенными товарами. На территории усадьбы Лаврова находилась паровая вальцовая мельница, не сохранившая сегодня. Хорошо хотя бы, что сохранить удалось саму усадьбу. Сегодня территорию бывшей купеческой усадьбы занимают офисные помещения и мебельная мастерская. Несколько лет назад здесь работал караоке-бар «Вихайе», а в советское время располагалась торговая база «Росгалантерея». В целом в дореволюционное время улица Пастуховская была тихой и уютной. В отличие от соседней улицей Золотаревской (сегодня - Гайдара), богатой промышленными предприятиями, на Пастуховской работала только маленькая гильзовая фабрика, которая принадлежала Моделю.
Среди исторических зданий улицы Белинского стоит назвать дом потомственного почетного гражданина Г. И. Лаврова, в котором позже располагалось специализированное пусконаладочное управление научно-производственного объединения «Транспрогресс» (Белинского, 23), дом А. И. Нехорошевой (Белинского, 7), дом В. А. Щуровского (Белинского, 17), дом купца А. С. Павлова (Белинского, 19).