広尾線鉄道記念館は広尾の町中にある旧広尾駅の駅舎を利用したのが広尾線鉄道記念館です。こちらには標識も看板もありませんので、行く際にはあらかじめ情報収集が必要です。
バスのチケット売り場と待合室となっている旧広尾駅の駅舎の一角が記念館となっています。「夢をありがとう、さよなら広尾線」と書かれた大きな鉄道写真の奥には広尾線ができる前の南十勝の様子や鉄道による沿線の発展の模様、そして広尾線の廃止とバスによる転換、そして旧広尾駅の写真や広尾町の写真、当時を再現したジオラマ模型、駅員の制服や各種鉄道用具をこぢんまりと展示しています。
かつては記念館裏のホーム側にディーゼルカーや客車、有蓋貨車、車掌車などが展示されていましたが、老朽化のため今では車両もすべて撤去されて駐車場になってしまい、今ではここがかつて鉄道の駅だったことを忍ばせるものは今でも残る改札しかありません。
また駅周辺は鉄道記念公園として整備され、蒸気機関車の車輪や踏切等が展示されています。