永井荷風が亡くなったのは一九五九年（昭和三十四年）四月三十日、その三周忌を期して霞ヶ関書房というところから『回想の永井荷風』という本が刊行されている。
種田政明を代表とする「荷風先生を偲ぶ会」による編纂で、書名、出版時期からして荷風と接した人たちによる回想が多いのはいうまでもないが荷風と会っていない人による荷風追想文、いわゆる「会わざるの記」も散見される。このことは荷風のばあい意外ではない。自宅を訪れた人に「いま先生は外出しています」といって追い返したといううわさばなしは荷風自身『断腸亭日乗』にしるしている。こうして巷間伝えられる人嫌い、孤高、姸介なその性格が会うのをためらわせたのだった。
画家の高畠達四郎は荷風に一度会ってみたいと思いながら、いやな顔をされるかもしれないし、うるさがられ、邪魔もの扱いされるのはまっぴらだと考えているうちにとうとう会う機会を失くしてしまったと書いている。
民社党の衆議院議員だった吉川兼光は「むさぼり読んだ」というほど荷風に魅せられていて、ある日菅野に住む荷風宅をたずね「ごめんなさい」と声をかけたところ内からは声がなく、隣家から障子ごしに「先生はたったいま出かけたところですよ」との返事があり、たぶん八幡駅前のうどん屋にいるだろうとのこと、このとき吉川は荷風自身から「いまいない」といわれる目に遭わなかっただけよかった、ホッとしたと述べている。その後、もう一度たずねてみようと思いながら、そのたびに気おくれがして決心がにぶった、とも。
文芸評論家の野田宇太郎は意を決してひとりひそかに萱野の荷風邸のまえに立ったが、一気に玄関をあけられず、夕暮近く、もじもじしているうちに正面の戸ががらりと音を立てて開いたそのとき野田はとっさに身をひるがえしてうしろの電柱のかげに身を隠した。まったく他愛のない子供みたいな自分の行動だとわかっていても「相手が荷風さんといふと私はいまでも自分が子供のようになってしまふ」のだった。
荷風は小説に随筆に自身を巧みに語った作家である。ただしそれがどこまでが演出で、どこまでが生身の作者なのか、感じ方、見極めは読者によって異なる。それほどの巧みさで語っていて、読者ははたして自分の判断がどうなのか、生身の荷風に接して確かめてみたいと思いながら、いっぽうで裏切られるのを怖れもする。荷風という人と作品の魅力がもたらす不安が「会わざるの記」を生んだのである。
