三楽は本姓斉藤氏。天保10年（1839）江戸浅草田原町３丁目、武具骨董商尾張屋吉右衛門の三男として生まれた。母はおちせという。幼名は亀松、のち芳次郎。芸名は芳丸、三楽も芸名である。

三楽が横浜に定住する前は誠に数奇を極め波乱に富んでいた。幼少から小僧奉公を転々とし、髪結職人となる。寄席の芸人を夢見て商座にもでる。明治５年横浜へ入った三楽は、仕事にもありつけず乞食に成り下がった者を神社仏閣、山手や公園地に見つけては一人一人に「勤労の喜び」を示唆しアシを洗わせた。

三楽の服装は赤ビロードで作った「だんぶくろ」を着込み、赤帽子を被ったため「赤帽子三楽」としてたちまち評判となった。三楽は横浜の紳商から次々と寄付をもらい、その金で太田村に平屋のバラックを何棟か建て、乞食を517名収容した。「洗心」の二字を染め抜いた浅黄色のハッピを着せ、縄ない、ワラジ編み、マッチの内職、紙屑拾いなどさまざまな仕事を行わせ、乞食の親分と呼ばれた。

明治26年(1893)、三楽は遂に久保山に「慈善堂」を建て、付近に百余坪空地を買い入れ、乞食救済、貧民への施しを続けたが、資金が続かず数年ののちに挫折してしまった。

三楽は生前中、二丈五尺(8ｍ以上)の大きな自分の銅像を立てようとしたが、どこでどう違ってしまったのか、結果的には六尺そこそこの石像となってしまい、現在では当寺の先代の墓の隣にひっそりと立っている。

現代で言う「社会福祉の祖」三楽は明治39年12月11日、淋しく没し墓は根岸共同墓地にあるという。