県道81号線がなぞって走る名張川の支流である青蓮寺川の上流域にあり、谷の長さは8kmに及ぶ。一帯を構成するのは室生にて1500万年前に起こった火山の噴火によって堆積した安山岩であり、それが幾年もの歳月を掛けて侵食され続けたことで今日の景観が形作られた。また、柱状節理による壮大な崖が両岸に聳え立つ。
屏風岩・天狗柱岩・鬼面岩・鹿落岩などと名づけられた奇岩群が人の目を楽しませるほか、茶屋滝・抹揚淵などの名所も見られる。また、一帯は野生動物と植生の宝庫でもあり、特に紅葉の季節には山が真っ赤に色づくことから、関西・中京方面からの観光客で賑わう。
なお、香落渓の一部を含む青蓮寺川の最上流域は、奈良県宇陀郡曽爾村に属している。
香落渓は、室生赤目青山国定公園の指定区域となっている。