Até agora, estes dispositivos (HMD - Head-Mounted Display) são a maneira mais eficaz e interativa de tirar partido da mais entusiasmante aplicação da tecnologia 360º: a RV.
​
​
​
​
​
​
​
Colocando-os, tudo o que se vê é o vídeo e se se os aliar a um par de headphones, entr noutro mundo, imerso noutra realidade, como se fosse o Neo de Matrix.
A verdade é que o display de vídeo nos HMDs apresenta vários desafios técnicos, pois os vídeos 360º têm grande resolução e uma vista omnidirecional, quando apenas o FOV proporcionado pelos HMDs (aproximadamente 120º) é necessário. Para prevenir simulator sickness e promover boa qualidade de experiência (QoE), o tempo que o sistema demora a responder aos movimentos da cabeça deve ser tão rápido quanto o débito de atualização (refresh rate) do HMD, cerca de 120Hz, o que corresponde a um tempo de 10ms. Esta condição impede a implementação de uma transmissão tradicional, no qual o cliente notifica o servidor sobre as mudanças e espera pela receção do conteúdo ajustado, pois isso afetaria negativamente a QoE.
​
​
​
​
​
​
​
​
​
​
Atualmente o servidor envia o vídeo completo e o HMD extrai o viewport em tempo real, de acordo com os movimentos da cabeça, o que é um grande desperdício de largura de banda. Já foram propostas várias soluções.
Uma delas é “cortar o vídeo às fatias” (tiling) e enviar essas fatias (tiles) para o cliente. Essas tiles podem ser enviadas com a mesma resolução, em que se enviam só as que correspondem ao viewport e as que se encontram sobrepostas às últimas, ou com resoluções diferentes, em que todo o vídeo é enviado, mas a resolução decresce à medida que a distância entre as tiles do viewport e as outras aumenta. Não se pode enviar apenas as viewport tiles porque no caso do cliente movimentar a cabeça, veria apenas preto.
O tiling apoia-se no protocolo MPEG-DASH SDR, que descreve o vídeo como uma coleção espacial de vídeos sincronizados e que permite transmitir ao utilizador o viewport com a melhor resolução possível, dependendo da largura de banda disponível.
​
​
​
​
​
​
​
​
Outra solução para streaming seria utilizar um sistema preditivo (viewport-adaptive streaming system) que estimaria os pontos da esfera que seriam mais prováveis de serem viewports no vídeo. Estes pontos designam-se regiões de interesse (ROI - Region Of Interest) e as suas estimativas são baseadas em predição de movimento e análise de comportamento dos utilizadores. Assim, são enviadas algumas versões de todo o vídeo, com ROIs diferentes, sendo que estas apresentam maior qualidade. Se o viewport estiver longe da ROI, troca-se para um segmento com uma ROI mais próxima e a cada troca de viewport é corrido um algoritmo que seleciona outro segmento por forma a estarem disponíveis sempre o mesmo número de segmentos.
​
​
​
​
​
​
HMDs
Direcções de visualização usando HMDs.
Dois tiles, com resoluções diferentes (esquerda) e iguais (direita).
Sistema viewport-adaptive streaming system.
Mobile VR (RV Móvel)
Para o caso do Mobile VR, existem dois modelos populares: Samsung Gear VR e Google Cardboard. O Samsung Gear VR é considerado o VR HMD móvel de alta-gama devido aos sensores internos que acompanham o movimento da cabeça com mais precisão do que qualquer outra opção móvel. O Google Cardboard, apresenta-se como a maneira mais simples e acessível de tornar o VR acessível a todos. Apesar de não ser considerado um aparelho topo de gama, a sua vantagem é que funciona com qualquer smartphone e é relativamente mais barato que o Gear VR.
High-Fidelity VR (RV de alta fidelidade)
Para o caso do High-Fidelity VR, existem três modelos populares: Oculus Rift, HTC Vive e Sony Playstation VR. 8 Dependendo de um computador topo de gama, o Oculus Rift conecta-se às suas portas DVI e USB, e rastreia os movimentos da cabeça para fornecer imagens 3D às telas. Embora a qualidade seja semelhante ao Oculus, a Vive é considerada, por jogadores de videojogos, como o melhor HMD de alta fidelidade. Além dos seus 70 sensores e rastreamento de cabeça de 360 graus, o Vive oferece uma taxa de atualização de 90Hz que ajuda a reduzir a latência. O PlayStation VR é um HMD especializado para consola. Apesar de não ter tanta publicidade como o Rift ou o Vive, tem uma vantagem competitiva no mercado VR porque funcionará instantaneamente com as consolas PS4 e não requer um computador de topo. Dado que existem cerca de 40 milhões de PS4 no mercado atualmente, a mudança da Sony para a VR é importante para toda a indústria de VR.
Existem dois tipos de HMDs para o qual é possível visualizar a 360º e VR: Mobile VR (RV móvel) e High-Fidelity VR (RV de alta fidelidade).
