关于“艾山”名字的由来，有一段有趣的民间传说：相传玉帝外甥二郎神杨戬，因犯天愆，遭贬被罚。玉帝勒令其在日落前担山填平东海。杨二郎担山追赶太阳，行走间被山石绊一踉跄，二郎神怨道：“此山碍路。”因此，此山得名“碍山”。后因山上多生艾草，遂又称“艾山”。二郎神所挑扁担前后两筐掉下的两块石头，一石在前，为太阳所照呈赤色，称东石；一石在后，为二郎神身影遮挡呈青色，称西石。

还有一种传说：二郎神担山行走途中，突然觉得鞋中有东西硌脚，于是在一座山头上坐下，脱下两只鞋子磕了磕，掉出两块石头，一块石头在东便是东石，一块石头在西便是西石。二郎神所坐的山头便是艾山，他一屁股坐下形成一个山坳，把艾山分成南北两座山峰，东石和西石在艾山东西两侧，好似艾山的两个耳朵。明清时著名的“胶州八景”中称此景为“石耳争奇”。