Pomenovanie územia - Palestína sa začalo používať po prvýkrát po neúspešnej vzbure Bar Kokhbu (Bar Kochbu) v druhom storočí, keď rímsky cisár Hadrián v snahe prerušiť akékoľvek spojenie medzi pôvodným kráľovstvom a rímskou kolóniou rozhodol o premenovaní územia. Pôvodný názov znel Kanaán. Rimania vybrali pomenovanie Palastina, ktoré malo zlomiť židovských obyvateľov, pretože označovalo ich biblických nepriateľov Filištíncov. V rovnakom čase premenoval pre Židov posvätný Jeruzalem na Aelia Capitolina. Biblia takisto toto územie nazýva ako Zem Hebrejov (Gn 40,15), Zem Izraela (Oz 9,3), Zasľúbená zem (Žid 11,9), Svätá zem (Zach 2,16).

Samotný názov Palestína je dodnes veľmi sporný a nie je jasné, čo presne označuje. Pochádza zo slova gréckeho pôvodu „Pelišet“, pomenovania, ktoré sa často objavuje v Biblii. Niekedy sa termín vyskytuje aj ako Palaistína, či Philistia, čiže krajina obývaná Filištíncami (alebo aj Pelištejcami; súčasť záhadných, tzv. morských národov). Angličtina prebrala označenie vo forme „Philistine“. Filištínci sa sťahovali na južné pobrežie Kanánu v niekoľkých vlnách.