조정식, 배성재에 “싫어하는 게 아니라 어렵다”