传说，达摩是天竺国香至王的第三个儿子，自幼释迦牟尼的大弟子摩诃迦业之后的第二十七代佛祖般若多罗为师。
有一天，达摩向他的师傅求教说：“我得到佛法以后，应到何地传化?”般若多罗说：“你应该去震旦(即中国)”。
又说：“你到震旦以后，不要住在南方，那里的君主喜好功业，不能领悟佛理”。
达摩遵照师父的嘱咐，准备好行李，架起一业扁舟，乘风破浪。武帝是一个佛教信徒，主批自我解脱。达摩是禅宗大乘派，主张面壁静坐，普渡众生。由于他们的主张不同，每谈论起佛事，二总是不投机。这时达摩感到南京不是久留活动的地方，于是便告辞萧衍，渡江北上。
中国有个高僧，名叫神光，是河南荥阳系人。当时神光在南京雨花台讲经说法，当地群众讲，“神光讲经，委婉动听，地生金莲，顽石点头”。围观听讲的人是里三层，外三层，水泄不通，达摩离开梁武帝北上，路过雨花台，见到神光在那里讲经说法，他就顺便挤在人群中，侧耳倾听。达摩听讲，听到有些地方点点头，听到有些地方摇摇头。点头表示赞同神光讲的观点，摇头表示对神光讲的观点不赞同。神光在讲解中，发现达摩摇头，认为这是对自己的最大不尊，便问达摩：“你为什么摇头?”对佛学的认识二人因有分歧意见，达摩便主动让步，离开雨花台渡江北上去了。
达摩去后，听讲的群众有人对神光说：“刚才那个人你知道他是谁?他就是印度高僧菩提达摩，精通佛法，学识渊博。”神光听了以后，感到惭愧之极，师父到了跟前，刚才自己太没礼貌了。于是他就赶快追达摩，赔礼道歉。达摩在前边走，神光在后面紧追，一直追到长江岸。达摩急着过江，停立江岸，只见水域茫茫既没有槁，也没有船，连个人影也不见。这怎么过江呢?达摩十分焦虑。谁知“天无绝人之路”。正在这无可奈何之际，达摩突然发现岸边不远的地方坐着一个老太太，身边放了一捆草，看样子好象也是在等船过江。达摩暗自盘算：这位老人偌大年幻，为何孤苦伶仃，无人护送照料?也罢!向老人家求助了。于是他迈步走上前去，恭恭敬敬地向老人施了一礼，说道：“老菩萨，我要过江，怎奈无船，请您老人家化棵卢苇给我，以便代步。”
老人抬起头来，仔细地端详达摩。见他两只突鼓的眼睛炯炯有神，满脸络腮胡子，卷曲盘旋，身材魁梧，举止坦然，形象端庄，仪表非凡。老人暗自点头称许，便顺手抽出一根卢苇与达摩。达摩双手接过卢苇，向老人告谢而去，及至江边，他把卢苇放在江面上，只见一杂灵苇花，昂首高扬，五片卢苇卢叶，平展伸开，达摩双脚踏于卢苇之上，飘飘然渡过了长江。
神光不顾疲劳，尾追达摩，及到江边，看到达摩一苇渡江，就气急败坏地跑到老人面前不问青红皂白，抱起老人身边一捆卢苇，扑通一志，扔到水中，双脚中学上卢苇捆子，匆忙过江。谁知说也奇怪，这捆卢苇不但不向前行进，反而很快沉入水中。神光见势不妙，急忙涉水而出，险些溺入水中。神光带着浑身泥水，冲向老人，轻起责问：“你给他一根卢苇就渡过江，我拿你一捆卢苇为什么还过不去呢?”老人不慌不忙从容不迫地答道：“他是化我的卢苇，助人有份;你是抢我的卢苇，物各有缘，无缘无故，弃能相助?”老人说吧，转瞬间悠然不见，浩荡的江面上空无一人。这时神光自知有失，惭叹不已，呼天不灵，呼地不应，悲凄非常，懊悔而归。
达摩过江以后，手持禅杖，信步而行，见山朝拜，遇寺从禅。北魏孝昌三年(公元527年)到达了嵩山少林寺。达摩看到这里群山环抱，丛林茂密，山色秀丽，环境清幽，佛业兴旺。谈吐吻洽。心想，这真是一片难得的佛门净土。于是，他就把少林寺作为他落迹传教的道场。，广集僧徒，首传禅宗。自此以后，达摩便成为中国佛教禅宗的初祖，少林寺被称为中国佛教禅宗祖庭。现在少林寺碑廊里还有达摩一苇渡江图像碑。古人有诗赞曰：
路行跨水复逢羊，独自凄凄暗渡江。
日下可怜双象马，二株嫩桂久昌昌。
