Vodní dýmka se poprvé pravděpodobně objevila v Indii, před více než čtyřmi sty lety. Ačkoliv se jednalo o velmi jednoduchý model, který se skládal z vydlabaného kokosového ořechu a zasunutého dutého stébla trávy (tzv. narcíl), princip byl v podstatě stejný jako u dnešních dýmek.

Z Indie se dýmka postupem času rozšířila i do dalších částí tehdejšího světa. Nejdříve do Egypta (zde nargíl), odkud pak putovala do ostatního arabských zemí a do Persie. Právě v Persii doznala dýmka výrazných změn. Rostlinný materiál, ze kterého se váza dříve dělala, byl nahrazen keramikou a místo brčka se začala používat hadice. Po objevu tabáku byla navíc k nádobě přidána bronzová miska (korunka).

Ovšem svou současnou podobu získala dýmka až v Turecku (zde nargíle). Většina zásadních úprav byla provedena v období vlády sultána Murada IV. (1623-1640), kdy byla dýmka na vrcholu své popularity a kdy se stala neodmyslitelnou součástí tehdejších kaváren. Od té doby se už příliš nezměnila.

V západní a střední Evropě a v Americe se dostaly vodní dýmky do širšího podvědomí veřejnosti koncem 19. a počátkem 20. století. Tou dobou byly dokonce natolik módní, že se s nimi dámy z vyšší společnosti nechávaly fotografovat a dýmka se stala na nějakou dobu pravidelnou součástí různých čajových dýchánků. Později, s boomem cigaret a nástupem rychlého životního stylu, se na dýmku opět poněkud zapomnělo. V dnešní době u nás a v dalších mnoha zemích světa prožívá svou druhou renesanci, také díky vzniku velkého počtu čajoven a podobných zařízení.