1937年，正是“卢沟桥事变”前夕，北平美术界看起来还是一片兴旺气象，大多数人没有意识到大难的逼近。黄宾虹的到来，使美术史家称为“南黄北齐”（黄宾虹、齐白石），以及“南张北溥”（张大千、溥心畬）的画家得以齐聚一地，构成近现代中国美术史一大奇观。

黄宾虹原本奔着北平习画者众，生活水平不高而来。乃至到来不久，“卢沟桥事件”爆发，北平沦陷于日本军铁骑之下，南返无计，只得蜗居于石驸马后宅的一家四合院内。

北平画坛热闹景象的底下，黄宾虹发现派别林立，尽管他讲学于多所学堂，仍然有着“北漂”的那种强烈的孤独无助感。于是，教书之暇，破铜烂铁、断简残编，便成了他的避风港。好友瞿兑之说他“日走厂肆搜求名迹与异书，恳恳款款，终日埋首于幾案间，不问外事，惟遇有与谈艺术者，辄津津不能自休”。

1941年，黄宾虹突然被日军拘捕，后来在他的杂记本中记载了这段往事。有人推断是日本人看中他的学问，而他几次推脱出任伪职、出席活动，惹恼了对方所致。1943年，黄宾虹虚岁80，日本人又想为他举办80大寿庆祝会，仍被他坚决拒绝。整个沦陷时期，黄宾虹创作的画皆署“予向”，取东汉的向长隐居不仕之典故，直到抗战胜利后，复用“宾虹”款。

老人的杂记本中记有一事。这本杂记本曾于2009年浙江省美术馆开馆展览会上展出。由于字小，不易注意，兹录于下，其中有字不易辨识，以“□”示之：

“十一月廿一日（星期二）上午八时往研究所（指古物陈列所，黄宾虹与张大千、于非厂讲学的国画研究院设于此），经长安街，有曹英伦骑脚车，见余前一狼犬，□□欲捉之，突称此犬为他所有。……