此语有个故事是说王巩的一位叫柔奴的歌女。王巩因乌台诗案受累被贬岭南，他的歌妓柔奴毅然与他一起到被贬地。后来王巩回到北方。叫柔奴为苏轼劝酒，苏轼问她，岭南怕是不好吧？柔奴回答：此心安处，便是吾乡。这句表现出柔奴对待困苦，逆境乐观，豁达的人生态度。对于当时的一些名士，这种心境也很少有人达到，对于女子，实为不易。苏轼听后非常感动，为她作词一首，《定风波 南海归》。