爰に古人の遺言数十話、小子窃（ひそか）に数言を後（しりえ）に附録して下に画をなし、傍に国字を以て解し、題して『訓蒙画解集』とし、童蒙の眼を覚さんとて之に云うのみ。

「序文の訳言」より

1747年（延年四）、江戸四谷に生まれる。かなり早い時期から芝新銀座に住んでいた。
江漢は、芝の地に思い入れが深く、後年に画姓を「司馬」としたのもこの地に由来する。本名は安藤藤吉次郎といった。

幼い頃から画才があり、はじめ狩野派に学んだ江漢は、その後平賀源内と交わるうちに蘭学者や画家たちとのつきあいが増え、次第に洋風画に目を向けるようになる。

1788年（天明八）、江漢は洋画技法に磨きをかけるため、絵画修行の旅に出た。
彼には、旅絵師としての特ダネと特技があった。そのひとつが折り畳み式の"覗き眼鏡"である。これは眼鏡絵として作られた銅版画をより立体的に見せるための装置である。

江漢は、自製銅版画の江戸名所絵数点と、地球図などが載っていた蘭書を持ち、旅すがら、人々に得意の銅版画を覗き眼鏡でのぞかせ、地球図片手に地動説を説いて歩いたという。
道中庶民との交流を始め、長崎出島への潜入、生月島補鯨見聞など、旅で出会うすべてのものに旺盛な好奇心を持ち、愉快に、ときに辛辣な視点で旅路の出来事を綴った、『江漢西遊日記』からは、江漢のワンダーフォーゲルぶりがうかがえる。

一方、蘭学者の間では、銅版画の創製者として大いに自家宣伝している江漢に対しやっかみ半分に、「唐ゑやのでっち猿松」「銅屋（あかがねや）の手代こうまんうそ八」などとささやかれていた。

さらに体制が松平定信体制へと変わり、寛政異学の禁で蘭学に対する幕府の扱いが厳しくなると彼の周りの蘭学者も次第に離れていき、立場が追いこまれていった。しかし、そこでふつうの人なら断念してしまうところを、江漢は彼の出版した『西遊旅譚』で、幕府から削除するよう命じられていた箇所を空欄のままこれ見よがしに再刊する。

晩年は、周囲のように俗世間のピエロにはなりたくないと、死んだように見せかけて身を隠してしまうのだった。