Được coi là ngôi nhà ấn tượng nhất của thành phố Martinsville, Scuffle Hill ban đầu được xây dựng vào năm 1905-06 cho Benjamin F. Stevens, cựu giám đốc điều hành của công ty thuốc lá Liggett & Myers. Stevens chia sẻ ngôi nhà với con rể và con gái của mình, ông bà Pannill F. Rucker. Bản thân Rucker cũng là một nhà sản xuất thuốc lá địa phương khá giả. Ngôi biệt thự có hai mươi phòng, ban đầu được gọi là Oak Hill, đã bị cháy vào 1917. Những bức tường còn sót lại đã được gia đình Ruckers kết hợp vào ngôi nhà hiện tại, một công trình Phục hưng Georgia hoành tráng với nội thất tinh xảo. Những người ở sau này bao gồm giám đốc điều hành ngành nội thất Rives S. Brown và ông trùm dệt may Walter L. Pannill, người đã đổi tên nơi này thành Scuffle Hill. Kể từ 1959 ngôi nhà đã trở thành nhà xứ của Giáo hội Episcopal Christ. Mặc dù không có tên kiến trúc sư nào gắn liền với Scuffle Hill, ngôi nhà vẫn là biểu tượng thành công đáng nể của địa phương.  Nó cũng góp phần vào Khu lịch sử East Church Street–Starling Avenue.