Metodologia científica e estatística

Como ler este capítulo

Fundamento

Este resumo é inspirado no capítulo 8 (Outcome Studies in Trauma, de Mohit BHANDARI) do Rockwood and Green's Fractures in Adults, 10ª edição (2025), complementado pelo capítulo 27 do Skeletal Trauma (avaliação de desfechos), pelo capítulo 33 do The Adult Hip (desfechos relatados pelo paciente no quadril) e por exemplos clínicos de testes diagnósticos do Campbell's Operative Orthopaedics, 15ª ed. A edição do Rockwood and Green consultada é digital e não traz página impressa; por isso as citações dele indicam capítulo, tabela e figura.

O tema parece distante da sala de cirurgia, mas a pergunta que ele responde é a mais prática de todas: quanto posso confiar neste resultado? Toda a metodologia gira em torno de um inimigo, o viés, e de um acidente, o acaso. Os desenhos de estudo são formas cada vez mais eficientes de neutralizar o viés (a randomização é a arma mais forte, porque equilibra até os fatores que ninguém mediu); a estatística é a forma de medir o tamanho do acaso (valor de p, intervalo de confiança, erros tipo I e II). A pirâmide de evidências e o GRADE apenas organizam essas duas ideias em uma escala.

As bancas do TARO cobram esse capítulo com perguntas curtas e de definição: o que fica no topo da pirâmide, como se ranqueia uma revisão sistemática, qual ferramenta mede a certeza da evidência e onde mora a força do ensaio randomizado. Quem entende o mecanismo (por que a randomização importa, por que o sigilo de alocação é diferente do cegamento) não precisa decorar nenhuma dessas respostas.

Medicina baseada em evidências: a ideia

Fundamento

De onde veio

O Rockwood and Green, 10ª ed. (cap. 8), conta que o "movimento dos desfechos" começou há mais de duas décadas e meia, quando se reconheceu que decidir pela experiência e opinião de um único cirurgião era insustentável; a pesquisa de desfechos fica sob os guarda-chuvas da pesquisa de efetividade comparativa e da medicina baseada em evidências, e hoje avança para a pesquisa centrada no paciente. O Skeletal Trauma (cap. 27, p. 727) recua a história: em 1914, CODMAN cunhou o termo "end result" e defendia reavaliar todo paciente ao fim de 1 ano; a ideia ficou adormecida por décadas.

O que é praticar ortopedia baseada em evidências

Para o Rockwood and Green, a ortopedia baseada em evidências é a aplicação equilibrada da evidência à decisão clínica e integra três coisas: a expertise e o julgamento do cirurgião, as percepções do paciente e os valores da sociedade e a melhor evidência de pesquisa disponível. A Figura 8-7 atualiza o modelo com quatro elementos: achados de pesquisa, valores e preferências do paciente, circunstâncias clínicas e expertise.

Evidência não é sinônimo de ECR: a melhor disponível pode ser uma série de casos. O que define o cirurgião baseado em evidências, nas palavras do capítulo, é que, para uma decisão clínica, ele conhece a força da evidência e, portanto, o grau de certeza (ou de incerteza). É exatamente essa ideia que o GRADE vai formalizar mais adiante.

Por que estudos de alta qualidade mudam a prática

O capítulo dá dois exemplos de decisões guiadas por estudos grandes: irrigar a fratura exposta com soro e não com sabão, e não usar ultrassom pulsado de baixa intensidade (LIPUS) na fratura diafisária fresca da tíbia. Antes do ensaio TRUST, havia muitos ensaios pequenos e de baixa qualidade sugerindo benefício, o que sustentava vendas de cerca de US$ 250 milhões por ano. O TRUST randomizou 501 pacientes em 43 centros para LIPUS ou LIPUS simulado (placebo) e não achou diferença em consolidação nem função; uma metanálise pôde então concluir com "alta certeza" que o LIPUS não ajuda, e o BMJ recomendou contra o uso. A generalização para a pseudartrose é menos certa: não se deve "estender demais" um ensaio.

A pirâmide e os níveis de evidência

Cobrança confirmada · 1 questão

A hierarquia e a lógica por trás dela

Entre os desenhos de estudo existe uma hierarquia: ensaios randomizados no topo, estudos observacionais controlados no meio, estudos não controlados e opinião na base (Rockwood and Green, 10ª ed., cap. 8, Figura 8-1). O critério não é prestígio nem custo; é a validade do desenho. Os desenhos que mais limitam o viés ficam no ápice, e os intrinsecamente enviesados ficam na base.

A pirâmide responde a duas perguntas que a prova adora separar. Se a pergunta é "o que está no topo da pirâmide", a resposta é a metanálise de ensaios randomizados (a síntese). Se a pergunta é "qual estudo primário está no topo", a resposta é o ensaio clínico randomizado: revisão sistemática e metanálise não são estudos primários, são estudos que reúnem estudos primários. O capítulo é explícito: "quando se considera um único estudo, o ensaio randomizado continua sendo o desenho mais poderoso para limitar o viés" na pesquisa clínica comparativa.

Descritivos e analíticos

O Rockwood and Green separa os desenhos em dois grandes grupos (Figura 8-2). Os descritivos procuram descrever a distribuição de algo numa população (por exemplo, a incidência de fraturas do acetábulo de alta energia num estado americano): séries de casos, relatos de caso, inquéritos transversais e coortes (retrospectivas ou prospectivas) usadas para descrever. Os analíticos testam uma hipótese, geralmente a diferença entre tratamentos ou exposições ou a relação entre variáveis. Entre os analíticos, há os observacionais (coorte e caso-controle) e os experimentais (o ensaio randomizado). A diferença essencial é quem decide o tratamento: no observacional, o médico ou o paciente; no experimental, o acaso.

Os níveis de evidência do JBJS

Desde 2003, o Journal of Bone and Joint Surgery publica o nível de evidência de cada artigo; a classificação foi atualizada em 2015 (MARX) e usa cinco níveis para quatro tipos de estudo: terapêutico, prognóstico, diagnóstico e econômico. O Journal of Orthopaedic Trauma também passou a informar o nível.

Três detalhes da tabela costumam virar pegadinha:

• O nível I muda conforme o tipo de pergunta. Para tratamento, é o ECR; para prognóstico, é a coorte de incepção (pacientes reunidos num ponto inicial comum da doença e seguidos adiante). Por isso a "coorte tipo incepção" aparece como distrator em questão sobre a pirâmide terapêutica: ela é excelente, mas para outra pergunta.
• O braço controle de um ECR vira estudo prognóstico nível II, porque descreve a evolução natural de quem não recebeu a intervenção.
• Rebaixamento por qualidade: o rodapé da tabela avisa que um estudo pode ser rebaixado se a qualidade for baixa; um ECR de baixa qualidade pode ser melhor classificado como nível II.

O nível não substitui a leitura crítica

O capítulo insiste numa ressalva: classificar o estudo na hierarquia não dispensa avaliar o rigor. Um ECR nível I pequeno e de má qualidade pode valer menos do que uma coorte prospectiva nível II multinacional e bem feita. Mantidas as demais condições, porém, um ECR multicêntrico de artroplastia contra fixação interna no colo femoral (nível I) merece mais confiança do que duas séries de casos, cada uma com uma técnica (nível IV). O retrato da literatura é modesto: em 51 artigos do JBJS avaliados por BHANDARI, a maioria era terapêutica (68,6%) e nível IV (56,9%), e a concordância entre avaliadores com e sem formação em epidemiologia foi substancial.

Revisão sistemática e metanálise

Cobrança confirmada · 1 questão

O que cada uma faz

Para o Rockwood and Green, 10ª ed. (cap. 8), a revisão sistemática usa uma abordagem sistemática e, portanto, reprodutível para buscar, triar, extrair dados e sintetizar a informação dos estudos disponíveis. Ela pode ou não incluir uma metanálise, que é o agrupamento quantitativo dos resultados de vários estudos para responder a uma pergunta clínica focada. A diferença entre a revisão sistemática e a revisão narrativa tradicional está no método explícito e reprodutível; o capítulo registra que revisões sistemáticas rigorosas recebem mais que o dobro de citações das demais (13,8 contra 6; p = 0,008).

A grande vantagem da metanálise é aumentar o tamanho amostral total e, com isso, chegar a uma estimativa mais precisa do efeito. O exemplo do capítulo é claro: sete ECRs compararam placa volar e fixação percutânea com fios na fratura distal do rádio; cinco não acharam diferença em 1 ano, dois acharam benefício estatisticamente significativo da placa. Somando os 875 pacientes, a metanálise produziu uma estimativa com certeza suficiente para orientar a decisão. É a resposta ao problema do ensaio pequeno, que, como se verá, é sobretudo um problema de erro tipo II.

Uma síntese vale o que valem os estudos sintetizados

Aqui está o ponto mais cobrado. A metanálise de ECRs de alta qualidade é o padrão-ouro atual para traduzir evidência em prática, mas seu valor cai quando estudos de má qualidade (como séries de casos) entram no agrupamento; metanálises de estudos não randomizados são propensas a viés e têm validade limitada. O capítulo resume a ideia numa frase: qualquer estudo metanalítico é tão bom quanto os ensaios que o compõem. A Tabela 8-7 lista os dois erros típicos da metanálise: grandes diferenças entre os estudos agrupados (heterogeneidade) e estudos ruins agrupados, que dão resultado menos válido.

Daí a regra da Tabela 8-1, escrita no rodapé: a revisão sistemática é ranqueada pelo nível de evidência dos estudos de que é composta. Uma revisão sistemática de ECRs é evidência de nível I; uma revisão sistemática de séries de casos continua sendo evidência de baixo nível, por mais elegante que seja a estatística.

Credibilidade e certeza

O capítulo separa duas qualidades que se confundem. A credibilidade é o quanto a revisão sistemática e a metanálise são metodologicamente robustas (busca, seleção, extração, análise). A certeza é o quanto se pode acreditar nos efeitos agrupados, em tamanho e direção, e reflete sobretudo a qualidade dos estudos primários. Uma revisão impecável de estudos ruins tem alta credibilidade e baixa certeza. É para medir a certeza que existe o GRADE.

Metanálise em rede

Com três ou mais tratamentos aceitos, a metanálise em rede compara-os diretamente (ensaios cabeça a cabeça) e indiretamente (pelo efeito de cada um contra um comparador comum) e pode ranqueá-los; o ranqueamento pela curva SUCRA é criticado como simplificação excessiva. Na rede das fraturas expostas da tíbia (15 comparações, 6 tratamentos), a conclusão de certeza moderada pelo GRADE foi que a haste intramedular reduz procedimentos secundários.

GRADE: a certeza da evidência

Cobrança confirmada · 1 questão

O que é o GRADE

O GRADE Working Group (Grading of Recommendation, Assessment, Development, and Evaluation) criou a abordagem GRADE para dar uma estrutura para determinar a certeza dos resultados (Rockwood and Green, 10ª ed., cap. 8). Ela considera aspectos dentro e entre todos os estudos incluídos para "graduar" a certeza da evidência resumida, levando em conta risco de viés, precisão, consistência e aplicabilidade à população. O capítulo apresenta o GRADE como um atalho confiável para o leitor que não consegue avaliar um a um os estudos de uma metanálise grande, e cita a ferramenta on-line GRADEpro para montar a tabela-resumo.

Como a nota é construída

A lógica é de ponto de partida e ajustes. O desenho define a nota inicial; depois a nota desce por problemas e, raramente, sobe por força da associação.

Repare no raciocínio: um ECR começa alto, mas cai com limitação séria, imprecisão ou viés de relato; um observacional começa baixo, mas sobe com efeito enorme e consistente. O GRADE traduz em números a ressalva de que o nível do desenho não basta.

O próprio livro tem uma pequena inconsistência interna nos rótulos: a Tabela 8-3 usa a escala alta, moderada, baixa e muito baixa, enquanto o texto fala em certeza "baixa, moderada, alta ou muito alta". Para a prova, vale a escala da tabela, que é a do GRADE Working Group.

Um exemplo de tabela GRADE

O IC vai de pequeno benefício a pequeno prejuízo e cruza o zero: com certeza alta, o LIPUS não acelera a carga.

GRADE e os outros nomes da sopa de letras

O Rockwood and Green cita PRISMA, Cochrane e GRADE como grupos de padronização do relato e da metodologia das revisões e metanálises, e reserva ao GRADE a função específica de graduar a certeza. O capítulo 9 do mesmo livro menciona o CONSORT-AI como padrão de relato de pesquisa com inteligência artificial; os livros consultados não definem o AMSTAR. A pergunta "qual ferramenta avalia o grau de certeza da evidência" tem uma única resposta sustentada: GRADE.

O The Adult Hip (cap. 80) mostra a mesma separação nas diretrizes de tromboprofilaxia: o ACCP gradua à parte a força da recomendação (1 forte, 2 fraca) e o nível da evidência (A alta, B moderada, C baixa ou muito baixa), enquanto a AAOS dá uma nota global (forte, moderada, fraca, inconclusiva ou consenso).

O ensaio clínico randomizado

Cobrança confirmada · 1 questão

Por que randomizar

O Rockwood and Green, 10ª ed. (cap. 8), chama o ensaio randomizado de o desenho mais poderoso para limitar o viés na pesquisa comparativa, e diz textualmente que a força do ensaio randomizado está enraizada no processo de randomização. Para entender o porquê, volte à razão de existir do estudo. Um ensaio terapêutico quer medir o efeito de uma intervenção sobre eventos como pseudartrose, infecção ou morte. Mas esses eventos dependem também de fatores prognósticos prévios: idade, gravidade da fratura, comorbidades, hábitos e uma série de características que ninguém lista.

A randomização é o processo pelo qual cada paciente que entra no ensaio tem probabilidade igual de ser alocado para qualquer um dos tratamentos. É o único método que equilibra os fatores prognósticos conhecidos e desconhecidos entre os grupos. Com o prognóstico equilibrado, a diferença observada no desfecho passa a ser atribuível ao tratamento.

O exemplo do capítulo é o estudo observacional de cirurgia precoce (antes de 24 horas) contra tardia na fratura do quadril. Quem opera cedo pode ser simplesmente mais saudável: o atraso muitas vezes existe para compensar problemas clínicos. A análise pode tentar ajustar estatisticamente as comorbidades medidas, mas fatores não medidos (fragilidade, nível socioeconômico) continuam desequilibrados. A randomização remove essa preocupação.

Sigilo de alocação: tão importante quanto a randomização

Logo depois, o texto afirma: "tão importante quanto a randomização é o conceito de sigilo de alocação" (allocation concealment, alocação ocultada). Sigilo de alocação significa haver um processo que impede prever para qual braço o próximo participante será alocado. Se o cirurgião souber (ou adivinhar) que o próximo envelope é "haste", pode, consciente ou não, incluir ou excluir o paciente conforme achar que ele se beneficiará, e a randomização perde o sentido antes mesmo de começar.

As estratégias recomendadas são um serviço remoto de randomização por telefone 24 horas ou on-line. Os envelopes selados (às vezes opacos), historicamente usados nos ensaios cirúrgicos, são teoricamente sigilosos, mas, no mundo real, podem ser violados.

Cegamento: outra coisa, em outro momento

O capítulo faz questão de separar: sigilo de alocação é distinto de cegamento. O sigilo protege o momento da alocação; o cegamento acontece depois da alocação, quando certos envolvidos (ou todos) não sabem qual tratamento o participante recebeu. Podem ser cegados médicos, pacientes, avaliadores de desfecho e analistas de dados.

• Dizer apenas "simples-cego" ou "duplo-cego" não basta; o estudo deve especificar quem foi e quem não foi cegado. DEVEREAUX encontrou 17 definições diferentes de "duplo-cego" entre 91 internistas e pesquisadores.
• Em ensaios cirúrgicos, cegar o cirurgião ou o paciente muitas vezes não é factível; mesmo assim, uma revisão de ensaios ortopédicos mostrou avaliadores de desfecho cegados em apenas 44% e analistas de dados nunca cegados.

Note a consequência para a prova: o cegamento e o placebo são desejáveis e reduzem viés de desempenho e de avaliação, mas não são a essência do ensaio randomizado. Muitos ECRs cirúrgicos excelentes não têm placebo nem cegamento do cirurgião. O FAITH, comentado adiante, é exemplo disso: os dois braços eram cirúrgicos (o efeito placebo era semelhante entre eles) e não houve cegamento de cirurgiões, pacientes ou avaliadores.

Intenção de tratar

O equilíbrio dos fatores prognósticos precisa ser mantido também na análise. O princípio da intenção de tratar (ITT) analisa cada paciente no grupo para o qual foi inicialmente alocado, independentemente do tratamento que de fato recebeu. No exemplo do capítulo, o paciente randomizado para haste fresada que acabou com fixador externo definitivo continua no braço da haste fresada.

A ITT tem duas vantagens: preserva o equilíbrio criado pela randomização e emula o mundo real, onde trocas de tratamento acontecem. A análise por protocolo (Figura 8-3), que analisa cada paciente pelo tratamento "realmente recebido", pode ser feita como análise secundária, mas tem maior risco de viés, porque desfaz o equilíbrio dos fatores prognósticos.

O guia do usuário e a lista de checagem

A Tabela 8-10 do Rockwood and Green resume a leitura crítica de um ECR em perguntas. Validade: os pacientes foram randomizados? A randomização foi sigilosa? Foram analisados nos grupos randomizados? Os grupos eram semelhantes nos fatores prognósticos? Pacientes, clínicos e avaliadores estavam cegos? O seguimento foi completo? Resultados: qual o tamanho do efeito e qual sua precisão? Aplicabilidade: servem ao meu paciente? A lista de DETSKY (Tabela 8-2) pontua o relato em cinco domínios (randomização, desfecho, critérios, tratamento e estatística), com 20 pontos para ensaio positivo e 21 para negativo; no domínio randomização, valem a alocação aleatória, sua descrição e o grupo oculto ao investigador.

Ensaio randomizado baseado em expertise

Nos ensaios cirúrgicos convencionais, o paciente é randomizado para um procedimento e cada cirurgião deve fazer o que for sorteado. Surge o viés de expertise diferencial: nem todo cirurgião é igualmente bom nas duas técnicas (por exemplo, hemiartroplastia e artroplastia total no colo femoral). No ensaio baseado em expertise, o paciente é randomizado para um cirurgião (ou grupo) que se compromete a fazer apenas a técnica que domina. Vantagens (DEVEREAUX): elimina esse viés, reduz cointervenções e trocas de procedimento e diminui a preocupação ética.

O FAITH como modelo

O FAITH comparou parafusos canulados múltiplos com parafuso deslizante e placa lateral na fratura do colo femoral, randomizando com alocação sigilosa 1.108 pacientes em 81 centros. Não houve cegamento de cirurgiões, pacientes ou avaliadores (o que aumenta o risco de viés), mitigado por adjudicação independente dos desfechos e cegamento dos analistas. Os dois grupos eram cirúrgicos, de modo que o efeito placebo foi provavelmente semelhante. A análise seguiu a ITT, e o desfecho primário (reoperação em 24 meses) foi definido a priori e não mudou. A conclusão: sem diferença global entre os dois implantes.

Os estudos observacionais

Fundamento

O problema central: quem escolheu o tratamento

Nos estudos observacionais (não randomizados), o tratamento foi decidido pelo médico ou pelo paciente, e as diferenças de desfecho podem refletir diferenças entre os pacientes e não o efeito dos tratamentos. Características basais não reconhecidas ou não medidas impedem o equilíbrio dos fatores prognósticos, e os estudos não randomizados podem superestimar ou subestimar o efeito (Rockwood and Green, 10ª ed., cap. 8).

O exemplo do capítulo é contundente. Na comparação entre artroplastia e fixação interna na fratura do quadril, havia dados de mortalidade em 13 estudos não randomizados (3.108 pacientes) e 12 randomizados (1.767 pacientes). Os não randomizados superestimaram o risco de mortalidade em 40% (risco relativo 1,44 contra 1,04 nos randomizados; Figura 8-4). A lição geral: estimativas de ensaios randomizados tendem a ser mais conservadoras.

Isso não torna os observacionais inúteis. Eles geram hipóteses e são indispensáveis para estudar exposições potencialmente nocivas (como o tabagismo), em que alocar alguém deliberadamente para a exposição seria antiético.

Coorte prospectiva

A coorte prospectiva identifica um grupo de pacientes num ponto semelhante no tempo e o segue adiante; os desfechos são definidos antes do início e avaliados em intervalos regulares. Pode haver um grupo controle identificado ao mesmo tempo e seguido pelo mesmo período. Mesmo sem comparação, uma coorte de lesões complexas informa prognóstico, desfechos e complicações esperadas, desde que os dados sejam consistentes, incluam características basais e desfechos importantes e o seguimento seja mantido. O banco de MATTA das fraturas do acetábulo, com mais de 25 anos e mais de 800 pacientes, é o exemplo: serve de referência para outros estudos e para o consentimento informado (evitou a artroplastia total em 79% dos pacientes aos 20 anos).

Caso-controle

Quando o desfecho é raro (como a mortalidade após artroplastia eletiva do quadril), a coorte necessária para capturar eventos suficientes seria proibitivamente grande. O caso-controle resolve isso invertendo a direção: os casos (com o desfecho) são identificados retrospectivamente (por exemplo, em bancos de dados) e pareados (idade, sexo, gravidade) com controles sem o desfecho; comparam-se então os fatores de risco entre os grupos. A validade depende da exatidão do registro dos dados.

No exemplo do capítulo, 159 mulheres com a primeira fratura do quadril foram pareadas 1:1 com 159 controles (sexo, idade e residência). Os fatores associados foram a segurança percebida (odds ratio 5,8), o uso de psicotrópicos (2,6) e a tendência a cair (2,3). Alguns desses fatores (como a segurança percebida) podem não estar bem registrados nos prontuários e enviesar o resultado. Repare que o caso-controle naturalmente produz odds ratio, porque parte do desfecho e não da exposição.

Série de casos retrospectiva

Mais barata e rápida, a série retrospectiva é limitada pela verificação enviesada dos casos e do relato dos desfechos. Mortalidade hospitalar está bem registrada; satisfação e função, quase nunca. Ainda assim, a série dá informação inicial útil sobre segurança e complicações de técnica ou implante novo, e é mais válida quando os critérios de inclusão são claros, os pacientes são consecutivos, o cuidado perioperatório é uniforme, os desfechos são objetivos e avaliados de forma independente e o seguimento é completo.

Os vieses que atravessam os desenhos

Juntando o capítulo, os vieses se organizam por momento do estudo: na formação dos grupos, o viés de seleção pela indicação (só a randomização com sigilo de alocação o neutraliza) e o viés de expertise diferencial; no seguimento, cointervenções e perdas; na medida do desfecho, o avaliador que conhece o braço e a verificação imprecisa de casos e controles; na análise e no relato, a análise por protocolo, a pescaria de desfechos, os subgrupos post hoc e o viés de relato, que rebaixa a nota no GRADE.

Estatística básica: hipótese, p e intervalo de confiança

Fundamento

A hipótese nula

A pergunta de um estudo comparativo costuma ser "qual tratamento é superior?", e respondê-la de forma objetiva exige inferência estatística. O Rockwood and Green, 10ª ed. (cap. 8), usa a analogia do tribunal: assim como o julgamento começa com a presunção de inocência, o estudo comparativo começa com a presunção de "nenhuma diferença", a hipótese nula. A análise estatística tenta quantificar a probabilidade de essa hipótese ser verdadeira. Nunca se tem certeza absoluta; só se calcula uma probabilidade. Quanto mais divergentes os efeitos entre as intervenções, menor a probabilidade de serem iguais. Se essa probabilidade cair abaixo de um limiar razoável (embora arbitrário), conclui-se que os tratamentos provavelmente diferem; na literatura médica, esse limiar é p < 0,05.

O exemplo da moeda: a hipótese nula é que cara e coroa têm a mesma chance. Dez caras seguidas têm probabilidade de 0,5 elevado a 10, pouco menos de 1 em 1.000 (p < 0,001). Rejeita-se a hipótese nula de moeda honesta; em linguagem de pesquisa, o resultado é "estatisticamente significativo".

Estatística descritiva

Nos estudos analíticos, a estatística descritiva resume as características basais na primeira tabela do artigo, onde se confere se os grupos começaram com prognóstico semelhante. Dicotômicas vão em número ou proporção; contínuas, com tendência central e dispersão.

• Média = soma das medidas dividida pelo número de observações; mediana = o valor do meio; moda = o valor mais frequente.
• Com distribuição normal, a média é o melhor resumo. Sem normalidade, ou com variáveis ordinais (dor de 0 a 5), prefere-se a mediana.
• O desvio-padrão é a raiz quadrada da variância. Dados não normais são mais bem descritos pela amplitude (menor e maior valor) ou pelo intervalo interquartil (amplitude sem os quartis inferior e superior).

Intervalo de confiança

O valor de p diz se há diferença; o intervalo de confiança de 95% diz quão precisa é a estimativa do efeito. Em princípio, o IC define a faixa em que o valor verdadeiro está com 95% de confiança. No exemplo do capítulo, se a haste reduziu a infecção em 50% em relação à placa com IC de 25% a 75%, pode-se dizer com 95% de confiança que o efeito verdadeiro está entre 25% e 75%. IC estreito = estimativa mais precisa e efeito mais consistente entre os participantes. Quando o IC de uma diferença cruza o zero (como na Tabela 8-4 do LIPUS), o efeito verdadeiro pode ser nenhum.

Medidas de efeito: RR, RRR, RRA, NNT e OR

Fundamento

Do descritivo ao comparativo

Mais úteis que a descrição de cada braço são as medidas que expressam o efeito relativo de um tratamento sobre o outro. Para desfechos dicotômicos (morte, reoperação), usam-se o odds ratio e o risco relativo; deles derivam a redução do risco relativo (RRR), a redução do risco absoluto (RRA) e o número necessário para tratar (NNT), definido como o número de pacientes que precisam ser tratados para prevenir um evento negativo. Segundo o capítulo, RRR e RRA são as medidas que mais influenciam a decisão do paciente. Para desfechos contínuos (dor, escalas de função), o efeito é expresso pela diferença de médias ou medianas. Um exemplo do capítulo: o risco de reoperação após haste fresada da tíbia fechada é 0,67 vez o risco após haste não fresada.

A tabela 2 por 2

Dois raciocínios ajudam a não errar. Primeiro, a RRR impressiona mais do que a RRA, porque ignora o risco basal: reduzir um risco de 50% para 10% e reduzir um de 0,5% para 0,1% dão a mesma RRR de 80%, mas a RRA no segundo caso é minúscula e o NNT, enorme. Segundo, o NNT é o inverso da RRA, nunca da RRR. No exemplo, RRA de 40% gera NNT de 2,5.

O odds ratio compara chances (eventos sobre não eventos) e não riscos (eventos sobre total). Quando o evento é raro, OR e RR se aproximam; quando é frequente, como no exemplo, divergem (0,11 contra 0,2). É a medida natural do caso-controle, como no estudo das fraturas do quadril (odds ratio de 5,8 para a segurança percebida).

Os testes estatísticos

Fundamento

Escolha pelo tipo de dado

A escolha do teste depende do tipo de variável, da distribuição (normal ou não) e da relação entre as amostras (independentes ou pareadas):

• Duas médias de amostras independentes, distribuição normal: t de STUDENT. Verificar antes a normalidade, que é pré-requisito.
• Dados não normais: testes não paramétricos, como MANN-WHITNEY U ou WILCOXON da soma de postos.
• Amostras não independentes (joelho direito contra esquerdo do mesmo paciente): t pareado; a versão não paramétrica é o WILCOXON dos postos sinalizados.
• Três ou mais médias (tempo de internação com placa, haste e fixador externo): ANOVA, após verificar a normalidade. A ANOVA diz se há diferença, mas não entre quais grupos; para isso, testes post hoc (comparações pareadas).
• Proporções de eventos dicotômicos (pseudartrose, infecção, morte): qui-quadrado, melhor com muitos eventos. Se uma das contagens for muito baixa (menor que 5), o qui-quadrado fica pouco confiável e o adequado é o exato de FISHER.

Associação entre duas variáveis

Para prever uma variável dependente por uma independente (o tempo de internação pelo tipo de GUSTILO), usa-se a regressão linear, y = a + bx, com b como coeficiente de regressão; aqui a hipótese nula é de nenhuma relação (e não de "nenhuma diferença"). A força da relação entre duas variáveis contínuas é dada pelo coeficiente de correlação r, que vai de -1 (relação linear negativa perfeita) a +1 (positiva perfeita), com zero indicando ausência de relação.

Erros tipo I e II, poder e tamanho de amostra

Fundamento

A matriz dos erros

Mesmo um ensaio impecável pode errar, por causa da própria natureza do teste de hipótese; por isso reproduzir achados e agrupá-los em metanálises importa. A Figura 8-6 do Rockwood and Green organiza os quatro cenários.

Erro tipo I (alfa): o falso positivo

O erro tipo I é concluir que o resultado é verdadeiro quando ele é falso: achar diferença que não existe. Por convenção, a ortopedia adota alfa de 0,05, o que significa esperar um falso positivo em cerca de 5% das vezes. O ideal é aplicar esse limiar a uma única comparação, o desfecho primário. Sem desfecho primário definido, o pesquisador tende a testar muitos desfechos (a "dragagem" ou "pescaria" de dados), e algum dará p < 0,05 por puro acaso. Existem técnicas de ajuste para comparações múltiplas, que devem ser usadas.

O exemplo de BHANDARI é memorável: um estudo de dois modelos de artroplastia total do joelho não cimentada avaliou 21 desfechos e achou 13 significativos; sem desfecho primário declarado, o risco de pelo menos um falso positivo era de 66%. O leitor desconfia intuitivamente quando 1 de 50 desfechos dá significativo.

Erro tipo II (beta): o falso negativo

O erro tipo II é concluir que não há diferença quando há. Por causa de ensaios pequenos e de alto risco de viés, é o erro mais comum e difundido na literatura ortopédica. Aceita-se em geral beta de 20% (0,2), o que corresponde a um poder de 80%; abaixo disso, o risco de falso negativo é inaceitável. LOCHNER revisou 117 ECRs de trauma: o poder médio foi de 24,65% (de 2% a 99%), e o risco potencial de erro tipo II nos desfechos primários chegou a 91%. Um estudo concluiu "sem diferença" entre haste fresada e não fresada na tíbia com poder de apenas 32%: a ausência de prova não era prova de ausência.

O SPRINT mostra o perigo do estudo pequeno. Com 1.226 pacientes (400 expostas e 826 fechadas), o resultado final mostrou que a haste fresada reduziu a reoperação nas fraturas fechadas (RRR de 35%). Nos primeiros 35 pacientes, porém, a haste fresada parecia aumentar a reoperação em 165%; só depois de 543 pacientes com fratura fechada os resultados passaram a refletir a vantagem final. Se o ensaio tivesse parado com menos de 100 pacientes, a conclusão seria enganosa.

Poder e tamanho de amostra

O poder é a probabilidade de detectar uma diferença entre dois tratamentos quando ela existe; calcula-se como 1 - beta. Com beta de 20%, o estudo detecta a diferença verdadeira 80% das vezes. Amostras pequenas não têm poder e desperdiçam recursos; amostras grandes demais drenam recursos de outras perguntas. Todo estudo deve justificar seu tamanho amostral.

O tamanho mínimo depende de três ingredientes: o poder predeterminado, o tamanho estimado do efeito e o erro tipo I aceitável. Poder e alfa são fixados pelo pesquisador (convenções de 80% e 5%); o efeito é estimado, de forma algo subjetiva, a partir de dados publicados.

A tabela ensina as duas leis do tamanho amostral: quanto menor o efeito, maior a amostra (de 16 para 289 pacientes ao reduzir o efeito de 20% para 5%), e quanto mais raro o evento, maior a amostra para a mesma redução relativa (de 3.213 para 352.881 quando a embolia passa de 10% para 0,1%). Desfechos dicotômicos raros exigem amostras gigantescas; é por isso que tantos ensaios ortopédicos ficam sem poder.

Fragilidade

O índice de fragilidade reconhece que a significância estatística também é um espectro: é o número de eventos que precisariam virar não eventos para um resultado significativo deixar de ser significativo. Na literatura ortopédica, o índice médio é 2: o resultado significativo do estudo ortopédico médio depende de dois eventos.

Subgrupos e diferença clinicamente importante

Fundamento

Quando acreditar numa análise de subgrupo

Análises de subgrupo costumam ser post hoc e, sendo muitas, geram falsos positivos (erro tipo I); por terem poucos pacientes, também dão falsos negativos. Segundo o Rockwood and Green, 10ª ed. (cap. 8), acredita-se nelas quando há hipótese a priori com plausibilidade biológica, o efeito é um entre poucos testados, a magnitude é grande, o efeito é estatisticamente significativo e clinicamente importante e, em metanálises, aparece dentro dos estudos e de forma consistente. BHANDARI mostrou que, em 72 ECRs cirúrgicos, a maioria dos subgrupos era post hoc, só 3 usaram teste de interação e todas as diferenças achadas foram parar no resumo ou na conclusão. O FAITH é o contraexemplo bem feito: os subgrupos favoráveis ao parafuso deslizante (fraturas desviadas, fumantes e basicervicais) tinham hipótese prévia e foram tratados como de baixa credibilidade, geradores de hipóteses.

A diferença mínima clinicamente importante

A diferença mínima clinicamente importante (MCID, ou MID) é a menor diferença entre dois tratamentos perceptível ao paciente; aplica-se sobretudo a escalas subjetivas de dor e função. Ela separa significância estatística de importância clínica. Na metanálise de placa volar contra fios de KIRSCHNER na fratura distal do rádio, a função em 1 ano foi estatisticamente melhor com a placa, mas a diferença não atingiu o MCID: provavelmente imperceptível ao paciente, logo sem vantagem clínica. A regra do capítulo: para ser considerada superior, a intervenção deve superar o MCID tanto na diferença média quanto no intervalo de confiança de 95%.

Testes diagnósticos

Relevância clínica

Sensibilidade e especificidade como ideias de uso

O Rockwood and Green, 10ª ed. (cap. 8), ao listar as propriedades dos instrumentos, resume as duas medidas pela função clínica: sensibilidade é a capacidade de "descartar" (rule out) a doença, e especificidade, a de "confirmar" (rule in). O raciocínio por trás: um teste muito sensível quase não deixa escapar doentes, então seu resultado negativo é confiável para afastar a doença; um teste muito específico quase não acusa sadios, então seu resultado positivo é confiável para confirmá-la.

O Skeletal Trauma (capítulo de síndrome compartimental, p. 440) dá a aplicação mais ortopédica do conceito: o limiar de 30 mmHg para a pressão de perfusão é mais conservador do que os dados experimentais (lesão entre 10 e 20 mmHg) e foi mantido porque aumenta a sensibilidade, isto é, maximiza a chance de encontrar todos os verdadeiros positivos, garantindo a fasciotomia antes do dano permanente. Aceita-se mais falso positivo para não perder nenhum caso, porque o custo do falso negativo (necrose muscular) é muito maior.

Valores preditivos e razões de verossimilhança

Os valores preditivos respondem à pergunta do paciente: dado o resultado, qual a chance de ter a doença? O Rockwood and Green (cap. 26) traz o escore de WELLS aplicado a 298 pacientes de trauma: para detectar risco moderado ou alto de TVP, sensibilidade de 67%, especificidade de 90%, VPP de 31% e VPN de 99%. O VPP baixo convive com o VPN altíssimo porque a doença é pouco prevalente: o negativo tranquiliza, o positivo ainda erra muito. O sinal com maior VPP para TVP é o aumento de mais de 2 cm na panturrilha, com razão de verossimilhança de apenas 1,8.

A razão de verossimilhança aparece no Campbell's Operative Orthopaedics, 15ª ed. (cap. 24, p. 822), no algoritmo de TURNER para a artrite séptica: o braço de "descartar" tem RV negativa menor que 0,1 e o de "confirmar", RV positiva maior que 10. Esses são os limiares que tornam um teste decisivo. Para a qualidade de um estudo diagnóstico, a Tabela 8-1 exige, no nível I, pacientes consecutivos, padrão de referência consistente e cegamento.

Desfechos relatados pelo paciente

Fundamento

Por que medir o que o paciente sente

O Rockwood and Green, 10ª ed. (cap. 8), lembra que muitos desfechos objetivos da literatura ortopédica não são importantes para o paciente: um degrau articular na fratura do pilão pode parecer insatisfatório na radiografia e não ter efeito detectável na função ou na qualidade de vida. O Skeletal Trauma (cap. 27, p. 727 e 728) lembra que os estudos antigos, como o de ANDERSON (1975) no antebraço, usavam categorias arbitrárias (excelente, bom, insatisfatório) e mediam o que importava ao ortopedista; como bons resultados pelo médico não significam bons resultados para o paciente, cresceram os desfechos relatados pelo paciente (PROs).

Uma definição precisa do Skeletal Trauma: a coleta pode ser por entrevista, mas só é PRO se o entrevistador capta a visão do paciente, e não quando usa as respostas para fazer um julgamento profissional. O The Adult Hip (cap. 33, p. 458) define PROs como questionários validados colhidos diretamente do paciente e diz que o paciente é o verdadeiro "especialista" para avaliar o impacto da doença no seu dia a dia; Suécia, Reino Unido e Nova Zelândia tornaram os PROs obrigatórios em toda artroplastia total do quadril.

Confiabilidade, validade e responsividade

Instrumentos subjetivos precisam ser validados antes de entrar num ensaio. As definições dos dois livros se completam:

• Confiabilidade: para o Rockwood and Green, a reprodutibilidade quando o instrumento é aplicado várias vezes ao mesmo cenário, pela mesma pessoa (intraobservador) ou por outra (interobservador); para o Skeletal Trauma, a capacidade de ser livre de erro de medida, incluindo também a consistência teste-reteste.
• Validade: para o Rockwood and Green, a acurácia em estimar o valor verdadeiro, com domínios de validade de face, de conteúdo, de construto e consistência interna; para o Skeletal Trauma, a capacidade de medir o domínio que se propõe a medir, num processo contínuo, nunca "tudo ou nada".
• Responsividade: capacidade de detectar mudanças ou diferenças clinicamente significativas.

Genéricos e específicos, teto e chão

Os genéricos servem a qualquer condição e permitem comparar doenças muito diferentes (sobreviventes de politrauma contra de infarto), mas podem não ter sensibilidade para pequenas mudanças: um genérico não pergunta sobre parestesias ou intolerância ao frio depois de uma fasciotomia do antebraço. Os específicos detectam melhor essas mudanças. Os dois tipos são complementares e devem ser usados juntos.

O efeito teto ocorre quando o instrumento é fácil demais e quase todos atingem o escore máximo; o efeito chão, quando é difícil demais e quase todos ficam no mínimo. O Rockwood and Green cita o estudo de MIRANDA com 80 fraturas pélvicas, em que a gravidade não alterou o SF-36 nem o escore pélvico de Iowa, provavelmente pelas lesões de partes moles associadas (efeito chão). O Skeletal Trauma aponta o teto como a principal preocupação dos genéricos nas lesões musculoesqueléticas.

Os instrumentos e onde os livros divergem

As divergências entre os livros são de ênfase e de contagem, e vale conhecê-las:

• SF-36. O Rockwood and Green (Tabela 8-11) registra a versão 2 com 35 itens mais 1 distribuídos em oito domínios e observa que sua confiabilidade é menor que a desejável para interpretação individual, mas adequada para grupos. O Skeletal Trauma descreve 36 questões em oito subescalas (dor corporal, papel físico, papel emocional, função social, função física, energia, saúde mental e percepção geral de saúde), pontuadas de 0 a 100 e combinadas nos componentes físico e mental.
• EQ-5D. O Rockwood and Green o classifica como medida de utilidade; o Skeletal Trauma critica que, na dor, só há três respostas (nenhuma, moderada, extrema), sem opção "leve" para a dor crônica controlada; o The Adult Hip ressalta que gera um único índice, útil em custo-benefício, mas com pouca especificidade clínica.
• Escore de HARRIS. O Rockwood and Green o lista entre os instrumentos de membro ou articulação; o Skeletal Trauma, entre os escores regionais tradicionais (que levam de 10 a 30 minutos); o The Adult Hip detalha que é preenchido pelo cirurgião, foi o "primeiro passo para os PROs" e sofre de efeito teto, o que limita seu uso em pesquisa de efetividade comparativa.
• Escolha do instrumento. O Skeletal Trauma recomenda combinar um escore regional com um PRO de saúde geral (e MFA ou SMFA se houver receio de efeito teto); o Rockwood and Green diz o mesmo: genéricos e específicos se complementam.

PROMIS e registros

O Skeletal Trauma e o The Adult Hip descrevem o PROMIS (NIH), construído com teoria de resposta ao item e aplicado por teste adaptativo por computador: as perguntas seguintes dependem das anteriores, o que reduz os efeitos teto e chão. O The Adult Hip acrescenta que registros como o sueco e o FORCE-TJR americano já coletam PROs, e que eles talvez tivessem detectado antes os problemas das próteses metal-metal.

Valor e análise econômica

Fundamento

Valor = desfecho por custo

O Rockwood and Green, 10ª ed. (cap. 8), define valor como "desfechos alcançados por dólar gasto". No numerador ficam os desfechos importantes para o paciente (na ausência de diferenças em morte ou infecção, dor, função e qualidade de vida, medidas por instrumentos validados); no denominador, o custo, que depende da perspectiva (o paciente vê dias parados e gastos do próprio bolso; o administrador, implantes e tempo de internação).

Utilidade e QALY

O Skeletal Trauma (cap. 27, p. 730) explica o cálculo. A utilidade vai de 1,0 (saúde perfeita) a 0 (morte) e é estimada pela troca de tempo (trocar 12 meses de saúde comprometida por 9 de saúde perfeita dá 0,75) ou pela aposta padrão (aceitar 80% de cura contra 20% de morte dá 0,8). O QALY é a utilidade multiplicada pela expectativa de vida, e a razão de custo-efetividade incremental compara procedimentos. Na escala do JBJS (Tabela 8-1), o estudo econômico nível I é uma simulação (MONTE CARLO, MARKOV) com dados nível I, horizonte de vida inteira e análise de sensibilidade probabilística.

Fechamento

Fundamento

O capítulo cabe em duas perguntas que o leitor faz a qualquer artigo: o desenho neutralizou o viés? e o tamanho da amostra venceu o acaso? A primeira se responde pela pirâmide e pelos pilares do ensaio randomizado; a segunda, pelo valor de p, pelo intervalo de confiança, pelo poder e pelo MCID. Uma revisão sistemática herda o nível dos seus estudos; o GRADE traduz em certeza o que o desenho e a execução permitem afirmar; o ECR vale pela randomização com sigilo de alocação e pela análise por intenção de tratar; e o resultado estatisticamente significativo só muda a conduta se for preciso, robusto e clinicamente importante para o paciente, medido por instrumentos validados.