本病须与下列病鉴别：
1.CML 巨脾、血中出现幼稚粒细胞、骨髓有核细胞增生活跃的MF易与CML相混淆。但CML具备以下特征可资鉴别：①CML脾脏明显肿大时，白细胞多>50×109/L。②血中的幼稚粒细胞比例较高。③中性粒细胞碱性磷酸酶积分减低。④外周血的红细胞及血小板的异形性不明显，一般无泪滴样红细胞和畸形血小板。⑤即使CML晚期合并。MF，骨穿一般无“干抽”现象，骨髓切片中纤维组织增生也不像特发性MF那样明显，常呈局灶性或较轻。⑥脾穿刺物涂片中以成熟粒细胞为主，而MF则粒、红、巨核系均增高。⑦CML病人Ph染色体和bcr/abl基因重组阳性。
2.骨髓转移癌 常伴幼粒、幼红细胞血象，可有贫血。一般病程短、脾肿大较轻，骨髓中可找到癌细胞，部分患者可找到原发病灶。有时癌症转移后可产生继发性MF，但纤维化往往较局限。
3.多毛细胞白血病 多毛细胞白血病患者也有巨脾和贫血，骨髓穿刺也常呈“干抽”，未作深入检查时，易与TMF混淆。但多毛细胞白血病有全血细胞减少，血液和骨髓中均有较多带有纤毛的淋巴细胞。骨髓病理检查多毛细胞多呈散在或簇状分布，胞质丰富、透明、胞核间距离宽，成“蜂窝状”，网状纤维少。外周血无泪滴样红细胞和畸形血小板。
4.再生障碍性贫血(AA) MF晚期发生全血细胞减少时需和AA鉴别。后者脾脏不肿大，血中无幼粒、幼红细胞，红细胞形态正常，骨髓活检结果与MF明显不同，AA有时骨髓可呈增生状态，但绝无巨核细胞和纤维组织增生。
5.急性溶血性贫血 急性溶血性贫血时，白细胞计数可以增高，外周血中出现不成熟粒细胞和幼红细胞，脾脏可有轻度肿大。但急性溶血性贫血胆红素和尿胆原升高。
6.真性红细胞增多症晚期 PV晚期有5%～15%病例与原发性骨髓纤维化的表现相同。不过，在此之前，有多年红细胞增多的病史，和与之相关的特殊的临床表现和血液学发现。
