Validação de constructo e experiência de uso de um simulador de artroscopia de ombro de baixo custo

Palavras-chave

artroscopia - treinamento por simulação - ombro - técnica de treinamento

Introdução

Ensinar residentes na sala de cirurgia é didático, mas pode aumentar o custo, a morbidade e mortalidade dos pacientes.[1] [2] [3] [4] [5] Scott e Dunnington[6] em uma revisão do currículo cirúrgico nos EUA, recomendaram em seu artigo “Move the Learning Curve out of the Operating Room”, que o treinamento cirúrgico deveria se tornar mais eficiente se apoiando em simulações, retorno de aprendizado e formas objetivas de avaliação de ganho de habilidades.

O desenvolvimento de habilidades artroscópicas pode ser particularmente difícil para alguns cirurgiões.[7] O simulador provê oportunidades ilimitadas para treino, porém com custo que pode passar de 80 mil dólares tornando inviável para várias instituições de ensino.[4] [8]

Modelos secos podem ser fáceis de construir, baratos, e despertam interesse nos treinandos e demonstram eficiência similar aos de realidade virtual,[8] [9] [10] [11] [12] [13] o modelo aqui estudado, foi desenvolvido com este formato e conceito de usar materiais de baixo custo. O passo a passo de materiais e montagem do modelo já foi publicado,[14] e o presente estudo propõe a validação deste modelo ([Fig. 1]).

Fig. 1 (a) Fixação da fita de simulação de manguito rotador, (b) Demonstração das posições das estruturas, (c) Posicionamento dos pontos de referência da glenóide. Fonte: Autor (2021).

Material e Método

Estudo experimental transversal aprovado pelo Comitê de Ética em Pesquisa do Hospital do Trabalhador/SESA/PR com parecer n° 1.994.655.

Projeto consiste na validação do modelo de artroscopia de ombro pela metodologia de constructo comparando entre grupos de diferentes níveis de treinamento (cirurgiões, residentes e acadêmicos de medicina). O método de constructo de validação tem o foco verificar se o modelo demonstra a diferença na destreza e velocidade na realização de diferentes atividades padronizadas, e avaliando se há melhora nos escores e velocidade com a repetição dos exercícios propostos.

Neste estudo foi utilizado um total de 30 indivíduos divididos nos seguintes grupos: Dez acadêmicos de medicina do sexto ano da Universidade Federal do Paraná. (sorteados pelo número de matricula e convidados a participar). Dez residentes de ortopedia do terceiro ano e dez cirurgiões de ombro do Hospital de Clínicas / Hospital do Trabalhador (não randomizados pois eram o universo total)

Todos indivíduos convidados assinaram o Termo de Concordância Livre e Esclarecido e, independente do grau de treinamento, foram instruídos no funcionamento do modelo com um vídeo de cerca de três minutos.

Todos os testes foram filmados e analisados pelos autores.

O artroscópio era inserido por um portal clássico de visualização, e um portal padrão pelo intervalo rotador pré-confeccionado e colocado um probe. O indivíduo era orientado a tocar pontos marcados na articulação com números de forma sequencial.

A segunda atividade foi utilizar o probe para engatar no orifício do elástico ali montado e tracionar até a linha desenhada no elástico coincidir com o rebordo do acrômio do modelo ([Fig. 2]).

Fig. 2 Demonstração do uso do modelo (a) Modelo de treinamento em artroscopia de ombro pronto; (b) modelo em uso com artroscópio; (c) exercício de triangulação com “probe” em decúbito lateral; (d) exercício de manipulação de tecido por tração do elástico (supra espinhal) em cadeira de praia. Fonte: Autor (2021).

O procedimento era reproduzido duas vezes por cada um dos indivíduos, sendo 600 segundos (10 minutos) o tempo limite para completar cada teste. Após o término foi solicitado a todos os participantes o preenchimento de um questionário de Likert.

Os critérios analisados foram tempo para cumprir as tarefas, contagem do número de vezes de olhares para baixo (“lookdowns”), comparação do escore de GOALS. Todos os parâmetros foram avaliados em ambos os testes tanto inter quanto intra grupos. As mensurações de tempo foram realizadas em segundos, e os parâmetros segundo o escore de GOALS foi desenvolvido com quesitos que atribuem notas 1, 3 e 5 para cada item de performance sendo cinco a nota máxima e um a mínima.[15] [16]

Adaptação do escore de GOALS

Quesito 1 - Percepção de profundidade

1. Constantemente passa do alvo, movimentos muito amplos, demora para corrigir

3. Um pouco de exagero no movimento ou perda do alvo, rápido para correção

5. Posiciona os instrumentos no plano correto para atingir o alvo

Utilizamos o tempo de triangulação. Até nove segundos cinco pontos, de dez a vinte segundos três pontos e mais de vinte segundos um ponto.

Quesito 2 - Dextricidade bimanual

1. Usa apenas uma mão, ignora a mão não dominante, coordenação ruim entre as mãos

3. Usa ambas mãos, mas não otimiza interação entre elas

5. Usa ambas as mãos de forma complementar, de maneira a otimizar a atividade

Utilizamos o tempo de tempo para introduzir o probe no orifício. Até nove segundos cinco pontos, de dez a vinte segundos, três pontos e mais de vinte segundos um ponto.

Quesito 3 - Eficiência

1. Ineficiente nos esforços: muitas tentativas de movimento; constantemente mudando foco ou persistindo sem progresso

3. Lento, mas movimentos planejados são razoavelmente organizados

5. Confiante, eficiente e seguro; mantém foco na tarefa até que se resolva

Utilizamos o número de tentativas até o probe ser adequadamente posicionado no orifício para tracionar o elástico. Uma tentativa cinto pontos, duas a cinco tentativas três pontos, mais de cinco tentativas um ponto.

Quesito 4 - Manipulação de tecidos

1. Movimentos grosseiros, rasga os tecidos, lesa os tecidos adjacentes, controle ruim do “grasper”, o “grasper” frequentemente solta o tecido

3. Manipula o tecido de forma razoável, pouco trauma nos tecidos adjacentes

5. Manipula bem os tecidos, aplica tração apropriada, lesão mínima aos tecidos adjacentes

Utilizamos o tempo para puxar a fita do manguito. Até cinco segundos cinco pontos, de seis a dez segundos três pontos e mais de dez segundos um ponto.

Quesito 5 - Autonomia

1. Inapto a completar a tarefa, mesmo com orientação verbal

3. Apto a completar a tarefa com moderada orientação

5.Apto a completar a tarefa sem orientação

Utilizamos a quantidade de orientações. Nenhuma orientação cinco pontos, se completou com orientações três pontos e se não completou um ponto.

Ao final dos testes, os participantes foram solicitados a preencher uma Escala de Likert (modificada para este estudo).

Todos os testes estatísticos foram realizados no programa livre R studios®.

Para a comparação entre os valores da primeira e segunda tentativas o teste de Wilcoxon foi utilizado. Na comparação pareada intergrupos foi aplicado o teste de Mann-Whitney e entre os três grupos foi utilizado teste de Kruskal-Wallis.

Resultados

Do grupo de acadêmicos quatro eram do sexo masculino e seis do sexo feminino com idade média de 23,5 anos. Dos residentes nove eram do sexo masculino e 1 do sexo feminino com média de 29,3 anos. Nos cirurgiões, todos do sexo masculino com idade média de 36,1 anos.

Na comparação intergrupos, o tempo médio para o primeiro teste, no grupo de cirurgiões, foi de 102,59 segundos, contra 221 segundos no grupo de residentes e 265 segundos no grupo de alunos, demonstrando diferença estatística. Assim como quando cirurgiões e residentes, cirurgiões e alunos foram pareados, mas não entre residentes e alunos. No segundo teste, houve diferença média de 59 segundos no grupo de cirurgiões, 86 segundos no grupo de residentes e 146 segundos entre os alunos, e novamente não foi encontrada diferença estatística apenas na comparação entre o grupo de residentes e alunos ([Figs. 3] e [4]).

Fig. 3 Comparação tempos intergrupos primeira tentativa. Fonte: O Autor (2021).

Fig. 4 Comparação tempos intergrupos segunda tentativa. Fonte: O Autor (2021).

Na comparação intragrupo, entre o primeiro e o segundo teste, o grupo cirurgiões apresentou diferença média estatisticamente significativa de 102,59 segundos para 59 segundos. No grupo de residentes, o tempo médio diminuiu de 265,9 para 184,7, mas sem diferença estatística p = 0,08. No grupo de alunos, a diminuição do tempo foi de 376,5 no primeiro teste para 146 no segundo teste (p = 0,0039).

Para a comparação entre os três grupos, observou-se diferença significativa no primeiro (p = 0,00037) e no segundo teste (p = 0,0048).

O escore GOALS no grupo de cirurgiões apresentou aumento médio de 20,2 para 22,4 do primeiro para o segundo teste (p = 0,05); no grupo de residentes, o passou de 13,4 para 15,8 (p = 0,16); e o grupo de alunos de 9,4 para 15,6 (p = 0,009).

A comparação dos escores do GOALS no primeiro teste entre cirurgiões e residentes, cirurgiões e alunos e residentes e alunos mostrou que houve diferença estatística (p = 0,0035, p = 0,0002, p = 0,012, respectivamente). No segundo teste, manteve-se a diferença entre cirurgiões e residentes e cirurgiões e alunos (p = 0,011, p = 0,0045). Entretanto, entre o grupo de residentes e estudantes não foi observada diferença (p = 0,73) ([Fig. 5]).

Fig. 5 Variação escore GOALS entre o primeiro e segundo teste. Fonte: O Autor (2021).

O grupo cirurgiões apresentou uma diminuição média no número de lookdowns de 2,6 para 1,2 do primeiro para o segundo teste, respectivamente (p = 0,29). No grupo de residentes, observamos uma diminuição média de 10 lookdowns no primeiro teste para 4,2 no segundo teste (p = 0,05), e no grupo de alunos, de 8,6 para 3,6 comparando a primeira e a segunda tentativa (p = 0,009).

A resposta a escala de Likert foi de que o simulador era um ítem de utilidade tanto no treinamento dos cirurgiões quanto um ítem de que seria útil, e poderia substituir simuladores virtuais. O simulador apenas não foi bem aceito como um substituto adequado para treino em cadáveres ([Tabela 1]).

Tabela 1

	Questão	Discordo Fortemente	Discordo	Neutro	Concordo	Concordo Fortemente
		%	%	%	%	%
CIRURGIÕES	1. O simulador tem utilidade no treinamento de cirurgiões iniciantes na área de artroscopia?				10	90
	2. O treinamento em simulador é uma atividade motivante/prazerosa?				20	80
	3. O simulador de baixo custo pode substituir um simulador virtual?			20	30	50
	4. A implementação do treinamento em simulador no programa de residência médica pode melhorar a formação em artroscopia?					100
	5. O simulador de baixo custo pode substituir o treinamento em cadáver?		30	20	40	10
Residentes	1. O simulador tem utilidade no treinamento de cirurgiões iniciantes na área de artroscopia?					100
	2. O treinamento em simulador é uma atividade motivante/prazerosa?			10	10	80
	3. O simulador de baixo custo pode substituir um simulador virtual?				40	60
	4. A implementação do treinamento em simulador no programa de residência médica pode melhorar a formação em artroscopia?					100
	5. O simulador de baixo custo pode substituir o treinamento em cadáver?	10	20	30	30	10
Acadêmicos	1. O simulador tem utilidade no treinamento de cirurgiões iniciantes na área de artroscopia?				30	70
	2. O treinamento em simulador é uma atividade motivante/prazerosa?			10	30	60
	3. O simulador de baixo custo pode substituir um simulador virtual?			30	60	10
	4. A implementação do treinamento em simulador no programa de residência médica pode melhorar a formação em artroscopia?				20	80
	5. O simulador de baixo custo pode substituir o treinamento em cadáver?		20	40	30	10

Discussão

Para validar um dispositivo de simulação cirúrgica, um dos principais métodos é a diferenciação de proficiência, ou seja, se o mesmo modelo for testado por grupos de indivíduos com diferentes níveis de aprendizado, o desempenho deve ser diferente tal metodologia se baseia no desenho de constructo. Neste método, o modelo deve demonstrar diferença entre grupos de diferentes níveis de habilidades assim como evolução nas habilidades com a repetição de tarefas.[17] [18] [19] [20] [21] [22] [23] Em nossa comparação entre os três grupos, tanto o primeiro quanto o segundo teste mostraram diferença nos parâmetros, distinção que se manteve na comparação pareada dos grupos, exceto entre residentes e estudantes. Em outro estudo, um experimento utilizando um modelo laparoscópico com uma caixa de papelão e tablet montado na parte superior demonstrou que o grupo de cirurgiões foi consistentemente mais rápido do que o grupo de residentes seniores e juniores, resultados compatíveis com os nossos.[24]

Quando comparamos o desempenho de residentes e alunos em nosso estudo, não foi observada diferença. Percebemos, no entanto, que, diferentemente do grupo de cirurgiões, o grupo de residentes apresentou grande variação nos parâmetros estudados, incluindo dois outliers com tempo muito maior, fato que pode estar relacionado ao treinamento não ser uniforme neste grupo.

Para determinar se o modelo proporciona a melhoria das habilidades, o desempenho deve melhorar com o treinamento.[19] [22] [25] [26] [27] Na repetição das tarefas, o grupo de cirurgiões e o de alunos teve uma diminuição significativa no tempo. Embora o grupo de residentes tenha conseguido diminuir cerca de 70% das vezes, não houve melhora estatística (p = 0,08). Entretanto, um participante aumentou o tempo em quatro vezes, caracterizamos esse indivíduo como outlier e removendo este resultado houve diferença. Esta melhora no desempenho demonstra que o simulador pode ter a capacidade de melhorar as habilidades artroscópicas.

Em um estudo de validação semelhante ao nosso, mas com modelo de caixa, foram avaliados cirurgiões, residentes e estudantes realizando procedimentos seis vezes e o progresso no tempo foi analisado. Os residentes e alunos foram, respectivamente, 56% e 127% mais lentos que os cirurgiões para concluir as tarefas propostas, e mantendo essa diferença até o último teste, corroborando o presente estudo.[22]

Ao analisar a evolução do tempo para realização das tarefas, o grupo de cirurgiões teve uma melhora de 44%, residentes 39% e alunos 45% sendo significativo para todos os grupos, achados consistentes com os nossos, mas que diferiram no grupo de residentes, fato que pode ter ocorrido devido ao nível de treinamento irregular entre nossos residentes, conforme já mencionado.[22]

Para uma avaliação mais objetiva dos resultados, optou-se por utilizar o escore GOALS, que, apesar de ter sido criado para avaliação de cirurgias laparoscópicas,[18] já havia sido utilizado na avaliação de um simulador de artroscopia de ombro e um modelo de treinamento em flavectomia endoscópica.[15] [28] Para ser o mais objetivo possível, criamos uma escala de tempo ou número de tentativas para realizar tarefas específicas e a correlacionamos com cada item do escore GOALS e na comparação intergrupos observamos diferença entre todos os grupos no primeiro teste. Os mesmos resultados foram observados no segundo teste comparando cirurgiões e residentes, mas não residentes e estudantes.

No estudo de flavectomia endoscópica já citado, comparando cirurgiões e estudantes com o escore de GOALS, demonstrou diferenças entre os grupos, corroborando os achados deste estudo.[28] Em um modelo de joelho, semelhante ao nosso e utilizando o escore ASSET, estudantes e cirurgiões foram comparados e mostraram diferença estatística, confirmando novamente a hipótese de que o construto permite a diferenciação entre indivíduos com diferentes níveis de experiência.[13] Para o ombro encontramos um único estudo que utilizou o escore GOALS que avaliou estudantes de medicina do primeiro ano e sua evolução com o uso do dispositivo e os autores apresentaram melhora significativa como em nosso estudo.[15]

Outro parâmetro visual objetivo adotado foi o número de lookdowns.[29] [30] No grupo de cirurgiões, houve apenas uma pequena diferença de 2,6 a 1,2 (p = 0,29) na evolução do primeiro para o segundo teste, que pode ser explicado pelo fato de os sujeitos já estarem acostumados a realizar cirurgias artroscópicas, diferente dos grupos de residentes que apresentou uma diminuição média de 10 lookdowns do primeiro teste para 4,2 no segundo (p = 0,05) e no grupo de alunos, de 8,6 para 3,6 do (p = 0,009). Na validação de um simulador de joelho, os autores encontraram uma média de 47 lookdowns no grupo de estudantes, contra 16,9 no grupo de cirurgiões, maior proporção e diferença em relação ao presente estudo. Por se tratar de uma proposta semelhante, a discrepância nas observações pode ser explicada por ser apenas um teste por indivíduo, sem chance de aprendizado no grupo de alunos e o procedimento mais complexo de meniscectomia, que pode justificar o maior número de olhares dos cirurgiões.[30]

Um ponto fundamental para que um simulador funcione bem é o nível de aceitação por parte de quem vai utilizar.[31] Utilizamos a escala Likert, e os participantes foram unânimes em afirmar que o simulador é útil na formação de cirurgiões e também que foi uma atividade agradável. Resultado semelhante no estudo da flavectomia e no modelo de.[28] [30] Avaliando modelo de caixa para artroscopia os autores observaram que 90% dos participantes inexperientes concordaram. No entanto, no grupo, apenas 58% dos indivíduos acharam válido. O modelo utilizado por esses autores não era um anatômico, mas uma caixa com furos, e as tarefas não eram correlacionadas a cirurgias. Assim, apesar de melhorar a coordenação motora para atividades sem visão direta, provavelmente não transmitiu a sensação de estar com um paciente real.[21]

O item com maior discordância foi se o simulador poderia substituir o treinamento em cadáveres com, 30% de discordância entre os cirurgiões e residentes, enquanto 20% dos estudantes discordaram, correspondendo aos achados de outros autores.[28] [30] O cadáver continua sendo o padrão-ouro para simulação, proporcionando anatomia idêntica, sensação tátil semelhante, limitada apenas pela falta de sangramento e contração muscular ativa.

Concordamos com McDougal[19] que diz que a simulação cirúrgica não substituirá a necessidade de aprendizagem curricular habitual, com tutores e experiência prática, mas que deve permitir a obtenção de habilidades básicas, deixando a interação com os pacientes para melhorar essas habilidades.

O presente estudo apresenta limitações, o número de cirurgiões e residentes treinados foi limitado pelo número de indivíduos disponíveis na instituição. A validade não foi comparada com outro tipo de simulador já estabelecido, e não avaliamos se as habilidades adquiridas podem ser transpostas para uma situação real de cirurgia. O simulador foi criado o mais semelhante possível a um ombro, porém, a falta de tecidos moles e sangramento o torna menos confiável. Futuramente, a impressão tridimensional utilizando materiais com diferentes texturas poderá ser utilizada para melhor reproduzir um ambiente cirúrgico real.

Conclusões

Este estudo concluiu que o simulador desenvolvido permitiu a diferenciação entre indivíduos com diferentes níveis de treinamento em cirurgia artroscópica. Permitiu que os participantes aprimorassem suas habilidades dos indivíduos à medida que repetiam as tarefas propostas. Todos os participantes consideraram o simulador uma ferramenta útil no treinamento de cirurgia artroscópica do ombro.

• Referências

• 1 Bridges M, Diamond DL. The financial impact of teaching surgical residents in the operating room. Am J Surg 1999; 177 (01) 28-32
• 2 Scott DJ, Bergen PC, Rege RV. et al. Laparoscopic training on bench models: better and more cost effective than operating room experience?. J Am Coll Surg 2000; 191 (03) 272-283
• 3 Vincent C, Moorthy K, Sarker SK, Chang A, Darzi AW. Systems approaches to surgical quality and safety: from concept to measurement. Ann Surg 2004; 239 (04) 475-482
• 4 Fried GM, Feldman LS, Vassiliou MC. et al. Proving the value of simulation in laparoscopic surgery. Ann Surg 2004; 240 (03) 518-525 , discussion 525–528
• 5 Canbeyli İD, Çırpar M, Oktaş B, Keskinkılıç Sİ. Comparison of bench-top simulation versus traditional training models in diagnostic arthroscopic skills training. Eklem Hastalik Cerrahisi 2018; 29 (03) 130-138
• 6 Scott DJ, Dunnington GL. The new ACS/APDS Skills Curriculum: moving the learning curve out of the operating room. J Gastrointest Surg 2008; 12 (02) 213-221
• 7 Pedowitz RA, Esch J, Snyder S. Evaluation of a virtual reality simulator for arthroscopy skills development. Arthroscopy 2002; 18 (06) E29
• 8 Aslam A, Nason GJ, Giri SK. Homemade laparoscopic surgical simulator: a cost-effective solution to the challenge of acquiring laparoscopic skills?. Ir J Med Sci 2016; 185 (04) 791-796
• 9 Anastakis DJ, Regehr G, Reznick RK. et al. Assessment of technical skills transfer from the bench training model to the human model. Am J Surg 1999; 177 (02) 167-170
• 10 Arealis G, Holton J, Rodrigues JB. et al. How to Build Your Simple and Cost-effective Arthroscopic Skills Simulator. Arthrosc Tech 2016; 5 (05) e1039-e1047
• 11 Travassos TDC, Schneider-Monteiro ED, Santos AMD, Reis LO. Homemade laparoscopic simulator. Acta Cir Bras 2019; 34 (10) e201901006
• 12 Nunes CP, Kulcheski AL, Almeida PA, Stieven Filho E, Graells XS. Creation of a lo-cost endoscopic flavectomy training model. Coluna/Columna 2020; 19 (03) 223-227
• 13 Milcent PAA, Coelho ARR, Rosa SP. et al. Um simulador de artroscopia de joelho acessível. Rev Bras Educ Med 2020; 44 (01) e038
• 14 Dau L, Almeida PA, Milcent PAA, Rosa FM, Kulcheski AL, Stieven Filho E. Artroscopia do ombro – Criação de um modelo de treinamento acessível. Rev Bras Ortop 2022; 57 (04) 702-708
• 15 Henn III RF, Shah N, Warner JJ, Gomoll AH. Shoulder arthroscopy simulator training improves shoulder arthroscopy performance in a cadaveric model. Arthroscopy 2013; 29 (06) 982-985
• 16 Vassiliou MC, Feldman LS, Andrew CG. et al. A global assessment tool for evaluation of intraoperative laparoscopic skills. Am J Surg 2005; 190 (01) 107-113
• 17 Atesok K, Mabrey JD, Jazrawi LM, Egol KA. Surgical simulation in orthopaedic skills training. J Am Acad Orthop Surg 2012; 20 (07) 410-422
• 18 Carter FJ, Schijven MP, Aggarwal R. et al; Work Group for Evaluation and Implementation of Simulators and Skills Training Programmes. Consensus guidelines for validation of virtual reality surgical simulators. Surg Endosc 2005; 19 (12) 1523-1532
• 19 McDougall EM. Validation of surgical simulators. J Endourol 2007; 21 (03) 244-247
• 20 Braman JP, Sweet RM, Hananel DM, Ludewig PM, Van Heest AE. Development and validation of a basic arthroscopy skills simulator. Arthroscopy 2015; 31 (01) 104-112
• 21 Bouaicha S, Jentzsch T, Scheurer F, Rahm S. Validation of an Arthroscopic Training Device. Arthroscopy 2017; 33 (03) 651-658.e1
• 22 Colaco HB, Hughes K, Pearse E, Arnander M, Tennent D. Construct Validity, Assessment of the Learning Curve, and Experience of Using a Low-Cost Arthroscopic Surgical Simulator. J Surg Educ 2017; 74 (01) 47-54
• 23 Lopez G, Martin DF, Wright R. et al. Construct Validity for a Cost-effective Arthroscopic Surgery Simulator for Resident Education. J Am Acad Orthop Surg 2016; 24 (12) 886-894
• 24 Ruparel RK, Brahmbhatt RD, Dove JC. et al. “iTrainers”–novel and inexpensive alternatives to traditional laparoscopic box trainers. Urology 2014; 83 (01) 116-120
• 25 Rosenthal R, Gantert WA, Scheidegger D, Oertli D. Can skills assessment on a virtual reality trainer predict a surgical trainee's talent in laparoscopic surgery?. Surg Endosc 2006; 20 (08) 1286-1290
• 26 Gomoll AH, O'Toole RV, Czarnecki J, Warner JJ. Surgical experience correlates with performance on a virtual reality simulator for shoulder arthroscopy. Am J Sports Med 2007; 35 (06) 883-888
• 27 Dal Molin FF, Mothes FC, Feder MG. Effectiveness of the videoarthroscopy learning process in synthetic shoulder models. Rev Bras Ortop 2015; 47 (01) 83-91
• 28 Kulcheski ÁL, Stieven-Filho E, Nunes CP, Milcent PAA, Dau L, I-Graells XS. Validation of an endoscopic flavectomy training model. Rev Col Bras Cir 2021; 48: e202027910
• 29 Alvand A, Khan T, Al-Ali S, Jackson WF, Price AJ, Rees JL. Simple visual parameters for objective assessment of arthroscopic skill. J Bone Joint Surg Am 2012; 94 (13) e97
• 30 Milcent PAA, Kulcheski AL, Rosa FM, Dau L, Stieven Filho E. Construct validity and experience of using a low-cost arthroscopic knee surgery simulator. J Surg Educ 2021; 78 (01) 292-301
• 31 Tuijthof GJ, Visser P, Sierevelt IN, Van Dijk CN, Kerkhoffs GM. Does perception of usefulness of arthroscopic simulators differ with levels of experience?. Clin Orthop Relat Res 2011; 469 (06) 1701-1708