O Dicionário de Termos Médicos, de Manuel Freitas e Costa, edição da Porto Editora, acolhe as duas formas, tanto para o adje{#c|}tivo como quando se trata do substantivo (nome).

Diz que o adje{#c|}tivo poplíteo ou popliteu é «relativo ou pertencente à curva da perna ou à região popliteia»; em relação ao substantivo (nome) poplíteo ou popliteu, músculo, considera que se trata de «músculo curto, triangular e achatado, situado na parte posterior do joelho, inervado pelo nervo tibial e que é flexor e rotador interno da perna».

O Dicionário Médico, de L. Manuila, A. Manuila e outros, edição da Climepsi Editores, regist{#|r}a poplíteo (e não tem entrada para popliteu), mas depois diz que, como adje{#c|}tivo, é «relativo à parte posterior do joelho. Ex.: cavado popliteu» e, na qualidade de substantivo (nome), «o músculo popliteu»; e acrescenta «V[er] músculo poplíteo».

O Dicionário da Língua Portuguesa 2008, da Porto Editora, regist{#|r}a poplíteo (e póplite), mas não acolhe popliteu.

Os dicionários brasileiros (Eletrônico Houaiss e Aulete Digital) também regist{#|r}am poplíteo, mas não acolhem popliteu.

Perante isto, parece-me que a forma preferível é poplíteo.