历代以来，黑龙江地理疆域主要围绕大小兴安岭、张广才岭和三江流域发展演变，没有发生大的变动。到了近代，黑龙江地区的地理边界变化呈现出国界后移、省界变迁和区划演变三个特点。

一、清代以前的黑龙江地区

黑龙江作为行政区域名称始于清代，而之前的漫长岁月里，这片土地上生活的东胡(山戎)、濊貊、肃慎(息慎)等民族先民已经与中原民族产生了广泛交流，相互影响，创造出辉煌灿烂的古代文明。早在帝舜时代，即有“息慎氏来朝，贡弓矢”的记载，周景王时宣布“肃慎，吾北土也”。夏商周时期，生息在黑龙江地区的先民有肃慎人和索离人等，就已向中原朝贡。公元前4—3世纪，夫余政权建立，地跨今黑龙江省东部和南部。秦以后，在黑龙江地区生息活动的先后有挹娄人、夫余人、鲜卑人、勿吉人和靺鞨人等。隋唐时期，黑龙江地区在河北道的统辖之下，先后设立了渤海、黑水、室韦3个都督府。武周时，居住在今牡丹江流域的粟末靺鞨部酋长大祚荣，逐渐征服周边靺鞨各部，于698年创立“震国”。713年唐廷册封大祚荣为左骁卫将军、渤海郡王，授忽汗州都督，亦称渤海都督，自此“去靺鞨号，专称渤海”。至762年，唐廷册封大钦茂为渤海国王，诏令渤海为国，由羁縻州府升为属国。至9世纪，渤海国力达到顶峰，被誉为“海东盛国”。渤海国创造了灿烂的渤海文明，其管辖范围最盛时“方五千里”，南至今朝鲜半岛东北部，东至日本海，西抵今内蒙古自治区境，北达今黑龙江。境内仿行唐朝的府州县行政制度，设有5京、15府、62州、100余县。地跨今黑龙江东部和南部。726年，唐在黑水靺鞨(今黑龙江中下游、松花江下游地区)设黑水都督府。792年，唐设室韦都督府，地辖今黑龙江西部。渤海国于926年被契丹所灭，享国229年。辽代(契丹于947年改称辽)黑龙江地区西部和东部分属上京道和东京道管辖。金代，今黑龙江省行政区域的绝大部分属金上京路统辖，金立国之都上京会宁府遗址位于今黑龙江省阿城市白城。金朝在黑龙江流域的统治，以上京路下辖三路，即恤品路、胡里改路、蒲峪路；并设泰州和肇州。元朝时，东北地区属于辽阳行中书省管辖，其辖境大体包括今东北三省与河北省的东北部以及黑龙江以北、乌苏里江以东的广大地区。今黑龙江省地区分属开元路和水达达路管辖。明朝时期，东北地区实行了具有军事戍守特点的都司、卫、所制。今黑龙江地区初为辽东都司管辖。1409年以后由奴儿干都指挥使司管辖。

二、黑龙江省行政区域的产生和清代的行政建置

清代黑龙江地区行政制度，大体沿袭明制而略加改变，长时期内一直实行军府制(亦称“军政制度”)，设置将军、都统、副都统镇守，直至清末的1907年(光绪三十三年)才开始设置行省的建制。17世纪中叶，沙俄开始武装入侵中国黑龙江流域。为抵御沙俄势力对黑龙江流域的入侵，1652年，清廷派梅勒章京率兵驻守宁古塔(今海林县境内)地方，翌年升为昂邦章京。于是，宁古塔、盛京两昂邦章京并存，东北地区被划分为两大军事驻防区域，即两个行政区域。1662年，改称“镇守宁古塔等处地方将军”，简称宁古塔将军。今黑龙江地区位于宁古塔将军辖区之内。将军既是地方最高军政长官，又是地方最高民政长官。1683年12月，清廷为抗击沙俄入侵，于黑龙江左岸瑷珲旧城设镇守黑龙江等处地方将军(简称黑龙江将军)，划出宁古塔将军所辖之西北地区，归黑龙江将军统辖，形成盛京、宁古塔、黑龙江三将军并立，“自是东北三分，吉江并列”。这是黑龙江自成一个军事、行政区域并以“黑龙江”命名的开端。黑龙江将军之下先后设有黑龙江(瑷珲)、墨尔根、齐齐哈尔、呼伦贝尔、呼兰、布特哈、通肯等7城副都统和兴安城副都统衔总管。1862年(同治元年)开始，黑龙江将军辖区内取消副都统，相继设立道、府、厅、州、县等地方行政建置。黑龙江将军辖区初期，广袤数千里。东至毕占河、南至松花江，与吉林将军辖区接壤；北至外兴安岭与俄罗斯为界；西至喀尔喀接车臣汗部界。19世纪中叶以来，沙俄再次武装入侵黑龙江地区。19世纪50年代，沙俄趁清王朝处于内忧外患国力大衰之际，大肆武装入侵黑龙江，并不断向清政府提出了领土要求，先后逼迫清政府签订了《瑷珲条约》、《北京条约》等一系列不平等条约，先后侵占黑龙江以北、外兴安岭以南，乌苏里江以东中国东北领土大约100万平方公里。晚清同治、光绪年间，黑龙江地区逐步取消封禁，放荒招垦，人烟渐稠，民事日繁，遂添设府、厅、州、县建制。1907年4月(清光绪三十三年三月)，清廷裁撤奉天、吉林、黑龙江将军，设立奉天、吉林、黑龙江三省。黑龙江行省的行政区域承袭黑龙江将军管辖范围，东南和南部与吉林行省毗连，西南与奉天行省为邻，西部与蒙古接壤，北部和东北部以黑龙江与俄国为界。全省总面积约57万余平方公里，总人口127.3万，省会驻齐齐哈尔城。行省以下分设府、厅、州、县，并设道区分辖府、厅、州、县。厅(州)分为直隶厅(州)和散厅(州)。至1911年(清宣统末年)，全省分设3道、7府、6厅、1州、7县及郭尔罗斯后旗、杜尔伯特旗、扎赉特旗和依克明安旗。

三、民国时期黑龙江省的行政建置

中华民国成立后，黑龙江省名称和行政区划沿袭旧制不变。至1914年末，黑龙江省共辖3道、23县、5设治局、4旗；吉林省管辖属今黑龙江境内有2道、18县。1915年，中俄签订《呼伦贝尔条约》，将呼伦贝尔定为特别区，直接归中国中央政府节制，受黑龙江省省长监管，复设呼伦贝尔副都统。1920年，黑龙江省长公署决定，呼伦厅改为呼伦县。1925年，设置呼伦道，驻呼伦县，辖呼伦、胪滨、室韦、奇乾4县。从1917年起，中国政府逐渐收回对中东铁路“附属地”的管辖权，1920年10月31日，北京政府颁布《东省特别区法院编制条例》，规定中东铁路附属地改成东省特别区。1921年2月5日，成立东省特别区哈尔滨市政管理局，掌管中东铁路沿线各地市政。1926年设置哈尔滨特别市和哈尔滨市政局等。1915年至1929年，随着经济发展和人口增加，黑龙江地区陆续增设30个县和设治局。黑龙江省共有42县、11设治局。吉林省分设42县，在今黑龙江境内有22县。黑龙江省在裁撤道区的同时，将呼伦、黑河道改为呼伦、黑河市政筹备处，辖原道属各县。

四、东北沦陷时期黑龙江省的行政建置

1931年九一八事变后，东北地区行政区划，按照日本侵略者进行严密统治的需要，逐步把省划小。1934年10月1日伪满政府公布所谓“地方行政改革制度”和“省官制”。将东北4省肢解为10省和2特别市(后改为14省、2特别市和1特别区)。至伪满洲国覆亡前夕，今黑龙江省境内共设有滨江、龙江、三江、黑河、北安、东满6省，共辖5市、76县、3旗。

五、抗战胜利后至1949年黑龙江省行政区域变化

1945年8月31日，国民党政府颁布收复《东北各省处理办法纲要》，重行划分东北行政区划，将今黑龙江省境内划分为松江、合江、黑龙江、嫩江4省。1945年底至1946年初，黑龙江地区处于国共双方激烈争夺各立政权之际。1945年10月至1946年4月，在中共东北局的领导下，黑龙江地区先后建立了合江、松江、黑龙江、嫩江、绥宁五省和哈尔滨市建制。各省管辖10个至20个县(市)左右，为便于开展工作，在省县之间设立了专区。但为了适应解放战争形势发展变化的需要，省(区)建制调整变动比较频繁，战争后期调整合并为合江、松江、黑龙江、嫩江4省和哈尔滨特别市。4省共辖82个市、县、旗。各省分设的专区，除边远地区的黑河专区外，均已撤销，由省直接管县。1949年以后黑龙江省行政区域变化，1949年4月21日，东北行政委员会发布《重划东北行政区划令》，决定黑龙江地区的合江、松江、黑龙江、嫩江4省和哈尔滨市合并为松江、黑龙江2省。5月中旬，撤销合江省并入松江省，哈尔滨市改为松江省辖市。

六、新中国成立后黑龙江省行政区域变化

1954年6月，中央人民政府颁布《关于撤销大区一级行政机构和合并若干省、市建制的决定》，撤销松江省建制，与黑龙江省合并为黑龙江省，同时将哈尔滨市改为省辖市并入黑龙江省。同年8月两省正式合并，省会设在哈尔滨市。同时，将原黑龙江省所属的白城、洮南、镇赉、大赉、安广、开通、瞻榆7县，划归吉林省管辖。新的黑龙江省，南与吉林省接壤，西与内蒙古自治区为邻，北、东隔黑龙江、乌苏里江与苏联相望。全省总面积46万余平方公里，总人口为1250万。共辖3个专区、5个市、64个县、2个旗、1个矿区。1960年以后的一段时间，部分专区和市县的划分和裁并反复性较大。至1966年底，全省分为6个专区、2个特区和8个较大的市。6个专区共辖65个县和1个特区；9个设区的市(特区)共辖54个区、4个镇。1967年，全省上下普遍成立革命委员会，将各专区均改为地区，由设立派出机构的专区变为一级区划实体的地区，成为一级政权单位。1969年7月，中共中央、国务院决定，将内蒙古自治区所属呼伦贝尔盟(突泉县、科尔沁右翼中旗除外)划归黑龙江省管辖。1979年7月，按照中共中央、国务院的决定，将原呼伦贝尔盟及所属各市、旗全部划归内蒙古自治区。1985年，黑龙江省共辖4个地区、10个地级市、6个县级市、63个县、64个市辖区、4个地区辖区。作为边疆省份，黑龙江省的边界线亦因中俄东段国界的最终划定而发生变动。从1992年至2005年中俄达成一系列协定，最后的勘界工作于2007年完成。2008年10月14日，中国和俄罗斯在黑瞎子岛上举行“中俄界碑揭牌仪式”，备受瞩目的黑瞎子岛，一半领土回归中国，黑龙江省的行政区域至此最终确定。自上世纪90年代以来，省内所辖的市(地)、县(区)的亦大调整。截至2019年8月，全省共辖12个地级市、1个地区行署；有67个县(市)，其中县级市21个；有891个乡镇，其中乡345个、镇546个；有314个街道办事处。全省土地总面积47.3万平方千米(含加格达奇和松岭区)，总人口3751.3万人。