答案是“尔”字。

因为“尔”字加上“人”（单人旁）就是“你”字，而没有加“人”的时候本身还是“尔”，在古文中“尔”也有“你” 的意思，所以符合“有人无人都是你”这一谜面。