通过深度学习预测白内障手术后人工晶状体脱位
我们的工作提出了神经网络设计选择，对一项具有挑战性的公共基准测试，即白内障手术（CaDIS）进行了研究，并达到了最高水平。通过有效地处理类别不平衡问题，在三个语义分割任务中实现了强大的性能表现。我们考虑和评估了两种概念上简单的数据过采样方法以及不同的损失函数。我们展示了网络架构和任务上的显着性能提高，特别是在最稀有的工具类上，从而提出了一种在考虑不平衡成分时实现高性能的方法。我们的代码和训练好的模型可在以下链接找到，可以在未见过的手术视频上获得定性结果 |url1| |url2|。
Aug, 2021
本研究利用CNN-LSTM模型结构从眼底图像中诊断出正常或白内障眼病例，该模型在ODIR数据集上测试的准确率高达97.53％，由此有望为眼科疾病的诊断提供快速和可靠的解决方案。
Oct, 2022
通过对白内障手术视频数据的分析，我们利用一种基于去噪扩散隐式模型（DDIM）和无分类器指导（CFG）的条件生成模型，能够根据复杂的多类别多标签条件（如手术阶段和手术工具组合）合成多样化、高质量的样本，并证实这些合成样本的工具能被分类器识别，在真实图像与合成图像之间难以区分，从而解决了数据稀缺问题，提高了针对罕见情况的工具分类任务的分类器性能。这种方法可以为白内障手术的自动化辅助系统提供可靠的真实合成数据。
Aug, 2023
在这篇论文中，我们强调了普通白内障手术中的领域转换问题，并提出了一种名为Barlow Adaptor的新型端到端无监督领域自适应方法，通过对不同领域之间的特征进行对齐，减少冗余和批处理大小需求来改善跨数据集性能。通过在两个白内障手术数据集上的实验证明，该方法的性能超过了现有的无监督领域自适应方法6%。
Jul, 2023
研究了一种针对白内障手术的相位特定的增强现实（AR）辅助系统，该系统通过识别手术阶段提供定制的AR信息，利用多任务学习和时空聚合转换网络，抽取空间特征并结合时间特性，进一步通过临床实验验证了其在手术中的潜力。
Sep, 2023
超宽视野眼底图像在近视相关并发症的筛查、检测、预测和治疗中取代传统眼底图像，其更广阔的视野范围对高度近视眼非常有优势。球等效度（SE）广泛被用作主要的近视结果测量指标，而眼轴长度（AL）作为一个重要的视觉组成部分越来越受到关注，用于评估近视。我们提出了一种通过高阶张量生物标志物建立多变量反应回归模型的统计框架，用于双变量的回归分类和回归回归任务，具体来说，我们提出了一种通过高斯胞联提高卷积神经网络（CeCNN）框架，通过一个估计自启动卷积神经网络的参数得到两个反应之间的依赖性，并使用由背景CNN产生的胞联似然损失。我们验证了提出的CeCNN在添加了依赖信息到背景模型之后具有更好的预测准确性。这种建模和提出的CeCNN算法不仅适用于超宽视野情境，还可以与ResNet和LeNet等其他骨干网络一起有效地应用。
Nov, 2023
近年来，计算机辅助干预和术后手术视频分析的领域正在被深度学习技术所重塑，这些技术取得了外科医生技能、手术室管理和整体手术结果方面的显著进展。本文介绍了最大的白内障手术视频数据集，该数据集满足构建计算机化手术工作流分析和检测白内障手术后异常的多样性需求。我们通过评估白内障手术视频中的跨领域器械分割性能，开展了白内障手术领域适应性研究。数据集和注释将在文章被接受后公开。
Dec, 2023
通过视频进行手术场景感知对于推动机器人手术、远程手术和AI辅助手术至关重要，特别是在眼科领域。然而，缺乏多样化且注释丰富的视频数据集妨碍了智能系统在手术工作流分析方面的发展。为了填补这一空白，我们引入了OphNet，一个大规模的，由专家注释的眼科手术工作流理解视频基准。OphNet具有包含2,278个手术视频的多样化收藏，涵盖了66种白内障、青光眼和角膜手术，对102个独特的手术阶段和150个细粒度操作进行了详细注释。此外，OphNet提供了每个手术、阶段和操作的顺序和层次注释，可以全面理解和提高可解释性。此外，OphNet提供了时间定位注释，有助于手术工作流中的时间定位和预测任务。OphNet的手术视频总共约有205小时，比现有最大的手术工作流分析基准大约20倍。我们的数据集和代码已经在https://github.com/minghu0830/OphNet-benchmark上开放获取。
Jun, 2024