值得注意的是，無論是反對與支持興建回教中心的人，均着眼於美國人一向歌頌的寬容精神。有人認為，任何遏制宗教自由的舉動，均違反美國人的價值觀。「九一一是仇恨勝過寬容的一場不幸事件，有甚麼地方比世貿大樓更適合教導人們寬容的精神？」反對者亦否認自己帶有宗教及文化的偏見。七十七歲的漢森，其任職消防員的兒子在救人時英勇犧牲。他強調，反對興建回教中心並非因為心胸狹窄，而是因為將一幢尊崇回教的建築物，建在世貿遺址附近，等於對受害者家屬再傷害一次。

有人則從更深層次的文化角度剖析問題，著名回教問題專家斯潘塞（Robert Spencer）撰文指出，清真寺並非信眾舉行宗教活動的場所那麼簡單，綜合歷史事件，清真寺的建立在一定程度上表達了對回教徒征服之意。無論是阿克薩清真寺與山圓頂清真寺之於猶太教、大馬士革的奧馬雅清真寺之於天主教無不如此。從這個角度出發，在世貿遺址附近建立回教中心，意義非同小可。

斯潘塞又質疑，拉烏夫在九一一後，曾把矛頭直指華府，聲稱美方「要清楚認識到他們對回教徒造成的傷害」，而非發動恐襲的並非極端聖戰分子。因此雖然他聲稱要「向九一一死難者致意」，但是到底其心目中的「受害者」所指為何？

斯潘塞的指摘是否屬實是一回事，但回教中心惹起的爭議卻清楚顯示一點︰九一一在美國人心目中仍然非常敏感，甚至可說是不能討論的禁忌。去年初世貿大樓遺址的擁有者紐約州和新澤西州港務局宣布，未來將不會用「自由塔」這個名字，而沿用世貿大樓一號樓的舊名稱，旋即引發爭議，認為港務局有心「抹掉歷史」；更有甚者，有傳北京一間公司將進駐新大樓的六十五樓、六十九樓和六十四樓部分位置，當時就有紐約小報借題發揮，說港務局不惜「抹掉歷史」，是為了討好這個大客戶。

可以看到，連與九一一恐襲完全扯不上關係的一間中國公司，尚且引發諸多揣測，更遑論要在世貿中心遺址附近興建回教中心。由此看來，就算該中心依照計劃建成，最終只會繼續引發爭議，加劇美國國內不同宗教和族群之間的矛盾和對立，最終只會與「幫助回教與其他宗教團體縮窄分歧」的初衷背道而馳。