Бывший первый секретарь Тюменского обкома КПСС, бывший министр строительства предприятий нефтяной и газовой промышленности СССР.

Родился 5 октября 1919 года в поселке Дебальцево Бахмутского уезда Екатеринославской губернии (ныне город Донецкой области Украины) в семье рабочего.

По окончании школы в 1937 году поступил в Харьковский институт инженеров железнодорожного транспорта. Однако учёба прервалась участием в советско-финской войне, куда отправился добровольцем. В 1939 году вступил в ВКП(б)/КПСС.

После окончания института в 1942 году работал инженером на Северо-Донецкой железной дороге. В 1942-1944 годах – секретарь Харьковского обкома ЛКСМ, инструктор ЦК ВЛКСМ (1942-1943 годы – на период оккупации Харькова), вновь секретарь Харьковского обкома ЛКСМ. С 1944 года на партийной работе: инструктор и заведующий сектором обкома, Харьковского обкома КП(б) Украины. В 1945-1948 года – слушатель партийной школы при ЦК КП(б) Украины. В 1948-1951 годах – второй секретарь Орджоникидзевского райкома КП(б) Украины города Харькова.

В 1951-1956 годах – секретарь, в 1956-1961 годах – второй секретарь Иркутского обкома КПСС. С апреля 1961 по декабрь 1973 года – первый секретарь Тюменского обкома (в январе 1963 - декабре 1964 года - сельского обкома) КПСС. Руководил Тюменской областью более 12 лет.
Под его руководством в 60-70-е годы на территории Тюменской области был реализован грандиозный проект по разведке и освоению месторождений углеводородного сырья.


С 11 декабря 1973 по 13 января 1984 года – Министр строительства предприятий нефтяной и газовой промышленности СССР.

Член ЦК КПСС в 1976-1990 годах. Депутат Верховного Совета СССР 6-11-го созывов (1962-1989 годы).
В 1983 году за большие заслуги в области строительства предприятий нефтяной и газовой промышленности и в связи с досрочным вводом в эксплуатацию магистрального газопровода Уренгой – Помары – Ужгород на установленную мощность Щербине Борису Евдокимовичу присвоено звание Героя Социалистического Труда с вручением ордена Ленина и золотой медали «Серп и Молот».


С 13 января 1984 по 7 июня 1989 года – заместитель Председателя Совета Министров СССР. Одновременно в 1986-1989 годах – председатель Бюро Совета Министров СССР по топливно-энергетическому комплексу.

В апреле 1986 году был назначен председателем Правительственной комиссии по ликвидации последствий аварии на Чернобыльской АЭС.

В декабре 1988 года был назначен председателем Правительственной комиссии по ликвидации последствий землетрясения в Армении.

С июня 1989 года — персональный пенсионер союзного значения.

Скончался 22 августа 1990 года. Похоронен в Москве на Новодевичьем кладбище.

Награжден 4 орденами Ленина, орденом Октябрьской Революции, 2 орденами Трудового Красного Знамени, медалями. Почётный житель города Дебальцево Донецкой области Украины (2009, посмертно).