Församlingen har medeltida ursprung. Den 20 februari 1772 utbröts Kungshamns församling och 1909 Malmöns församling.
Församlingen var till 1 maj 1917 annexförsamling i pastoratet Tossene, Askum och Bärfendal som från 1772 även omfattade Kungshamns församling och från 1909 Hunnebostrands och Malmöns församlingar. Från 1 maj 1917 till 2010 var församlingen annexförsamling i pastoratet Kungshamn, Askum och Malmön som från 1924 även omfattade Smögens församling. Församlingen uppgick 2010 i Södra Sotenäs församling.