Автоматизированное выявление и подсчет сайгаков (Saiga tatarica) на сверхдетальных спутниковых изображениях с помощью глубоких конволюционных нейронных сетей

Обложка

Цитировать

Полный текст

Аннотация

Разработана технология автоматизированного выявления и подсчета сайгаков (Saiga tatarica) на спутниковых снимках с разрешением 0.3—0.5 м/пиксель (спутники Eros-B 2012; 2013 и Beijing KA 2022) посредством использования двухфазного анализа с помощью глубоких конволюционных нейронных сетей (ГКНС). Сначала путем автоматического разбиения спутникового изображения на участки проверяется наличие/отсутствие скоплений объектов (фаза «классификации»), затем анализируются только те фрагменты спутникового изображения, где был обнаружен хотя бы один сайгак (фаза «выявления»). Метод калибровался посредством обучения нейронной сети на основе результатов предварительной обработки архивных спутниковых изображений 2012 и 2013 гг., проведенной экспертами-зоологами вручную. При тестировании работы ГКНС с «порогом уверенности» в 0.3 на всем модельном спутниковом изображении было выявлено 1 284 сайгака, тогда как экспертом-зоологом вручную 1 412 сайгаков. Для практического использования и оценки эффективности данного метода был проведен подсчет сайгаков на снимке 2022 г., охватывающем две смежные особо охраняемые природные территории (ООПТ), расположенные в Республике Калмыкия и Астраханской области, позволивший представить результаты с разным «порогом уверенности».

Полный текст

Доступ закрыт

Об авторах

В. В. Рожнов

Институт проблем экологии и эволюции им. А.Н. Северцова Российской академии наук

Автор, ответственный за переписку.
Email: rozhnov-v-2015@yandex.ru
Россия, Ленинский проспект, 33, Москва, 119071

А. Л. Сальман

Институт проблем экологии и эволюции им. А.Н. Северцова Российской академии наук

Email: rozhnov-v-2015@yandex.ru
Россия, Ленинский проспект, 33, Москва, 119071

А. А. Ячменникова

Институт проблем экологии и эволюции им. А.Н. Северцова Российской академии наук

Email: rozhnov-v-2015@yandex.ru
Россия, Ленинский проспект, 33, Москва, 119071

А. А. Лущекина

Институт проблем экологии и эволюции им. А.Н. Северцова Российской академии наук

Email: rozhnov-v-2015@yandex.ru
Россия, Ленинский проспект, 33, Москва, 119071

П. А. Сальман

ООО «ЭС-ПАС»

Email: rozhnov-v-2015@yandex.ru
Россия, Ленинградское ш., 15, Москва, 125171

Список литературы

  1. Баскин Л. М. Поведение копытных животных. М.: Наука, 1976. 293 с.
  2. Каримова Т. Ю., Лущекина А. А. Особенности пространственного размещения и этологической структуры популяции сайгака на территории Заказника «Степной» (Астраханская область) // Экосистемы: экология и динамика. 2018. Т. 2. № 1. С. 73—91.
  3. Каримова Т. Ю., Лущекина А. А., Неронов В. М. Арылов Ю. Н., Пюрвенова Н. Ю. Прошлое и настоящее сайгака в России — есть ли будущее? // Экосистемы: экология и динамика. 2022. Т. 6. № 4. С. 5—27.
  4. Каримова Т. Ю., Лущекина А. А., Неронов В. М. Современное состояние и ретроспективный анализ некоторых биологических параметров популяций сайгака, обитающих на территории России и Казахстана // Арид. экосист. 2021.Т. 27. № 2 (87). С. 56—66. doi: 10.24411/1993-3916-2021-10151
  5. Каримова Т. Ю., Лущекина А. А., Неронов В. М., Пюрвенова Н. Ю., Арылов Ю. Н. Биологические особенности популяции сайгака Северо-Западного Прикаспия в периоды разной численности // Арид. экосист. 2020. Т. 26. № 4 (85). С. 51—58. doi: 10.24411/1993-3916-2020-10118
  6. Красная книга Российской Федерации, том «Животные». 2-ое издание. М.: ФГБУ «ВНИИ Экология». 2021. 1128 с.
  7. Кузякин В. А. Учет численности охотничьих животных. М.: Т-во научных изданий КМК, 2017. 321 с.
  8. Машкин В. И. Методы изучения охотничьих и охраняемых животных в полевых условиях. Санкт-Петербург: Изд-во «Лань», 2022. 448 с.
  9. Неронов В. М., Арылова Н. Ю., Дубинин М. Ю., Каримова Т. Ю., Лущекина А. А. Современное состояние и перспективы сохранения сайгака в Северо-Западном Прикаспии // Арид. экосист. 2013. Т. 19. № 2 (55). С. 5—14.
  10. Платонов Н. Г., Мордвинцев И. Н., Рожнов В. В. О возможности использования спутниковых изображений высокого разрешения для обнаружения морских млекопитающих // Изв. РАН. Сер. биол. 2013. № 2. С. 217—226. doi: 10.7868/S0002332913020100
  11. Платонов Н. Г., Рожнов В. В., Мордвинцев И. Н. Использование спутниковых изображений высокого разрешения для обнаружения морских млекопитающих: case study // Дистанционные методы исследования в зоологии. Материалы научной конференции. М.: Т-во научных изданий КМК, 2011. С. 70.
  12. Раймонди Ф., Сольяни Д., Чимини М., Атцени Л., Аугульяро С. Конкуренция между дикими и домашними копытными на водопоях в пустыне Гоби, Монголия // Арид. экосист. 2023. Т. 29. № 3 (96). С. 81—91. doi: 10.24412/1993-3916-2023-3-81-91
  13. Родникова А. Ю., Каримова Т. Ю., Лущекина А. А., Ячменникова А. А., Грибов К. А., Рожнов В. В., Гольцман М. Е. Индивидуум-ориентированная модель популяционной динамики сайгака Северо-Западного Прикаспия // Saiga News. 2019. № 24. С. 23—26.
  14. Рожнов В. В., Ячменникова А. А., Добрынин Д. В. О возможности выявления сайгака (Saiga tatarica) на спутниковых снимках высокого разрешения // Докл. Ак. наук. 2014. Т. 459. № 6. С. 769—773.
  15. Рожнов В. В., Лущекина А. А., Ячменникова А. А., Добрынин Д. В. Как посчитать сайгаков из космоса // Астрах. вест. экол. образ. 2015. Т. 1. № 31. С. 24—33.
  16. Рожнов В., Ячменникова А., Эрнандес-Бланко Х., Сальман П., Чистополова М., Сальман А., Минаев А., Лущекина А. Применение дистанционных методов и искусственного интеллекта для оценки численности популяции сайгака Северо-Западного Прикаспия и использования им пространства // Saiga News. 2023. № 29. С. 26—30.
  17. Сальман П. А. Система мониторинга ледовой обстановки на основе нейросетевой обработки радиолокационных спутниковых изображений. ВКР Магистра. 2021. 122 с.
  18. Сапанов М. К. Экологические последствия потепления климата в Северном Прикаспии // Арид. экосист. 2018. Т. 24. № 1 (74). С. 18—28. doi: 10.24411/1993-3916-1995-10003
  19. Сапанов М. К. Особенности и экологические последствия потепления климата в полупустыне Северного Прикаспия // Поволжск. экол. журн. 2021. № 1. С. 64—78. doi: 10.35885/1684-7318-2021-1-64-78
  20. Ячменникова А. А., Рожнов В. В., Добрынин Д. В. Возможности использования спутниковых снимков высокого разрешения для мониторинга сайгака // Saiga News. 2015. № 19. С. 19—21.
  21. Barasona J. A., Mulero-Pázmány M., Acevedo P., Negro J. J., Torres M. J., Gortázar C., Vicente J. Unmanned aircraft systems for studying spatial abundance of ungulates: relevance to spatial epidemiology // PloS ONE. 2014. V. 9. №12. e115608. doi: 10.1371/journal.pone.0115608
  22. Bishop-Hurley G.J., Swain D. L., Anderson D. M., Sikka P., Crossman C., Corke P. Virtual fencing applications: Implementing and testing an automated cattle control system // Comput. and Electron. in Agricul. 2007. V. 56. № 1. P. 14—22. doi: 10.1016/j.compag.2006.12.003
  23. Chirichella R., Apollonio M., Putman R. Competition between domestic and wild ungulates. Chapter 5 // Behaviour and Management of European Ungulates Caithness. Whittles Publishing. 2014. P. 110—23.
  24. Feng R., Lü X., Xiao W., Feng J., Sun Y., Guan Y., Feng L., Smith J. L.D., Ge J., Wang T. Effects of free-ranging livestock on sympatric herbivores at fine spatiotemporal scales // Landsc. Ecol. 2021. V. 36. P. 1441—1457. doi: 10.1007/s10980-021-01226-6
  25. Fromm M., Schubert M., Castilla G., Linke J., McDermid G. Automated Detection of Conifer Seedlings in Drone Imagery Using Convolutional Neural Networks // Rem. Sens. 2019. V. 11. 2585. doi: 10.3390/rs11212585
  26. Goliński P., Sobolewska P., Stefańska B., Golińska B. Virtual Fencing Technology for Cattle Management in the Pasture Feeding System: A Review // Agricult. 2023. V. 13. № 1. Р. 91. doi: 10.3390/agriculture13010091
  27. Hodgson J. C., Baylis S. M., Mott R., Herrod A., Clarke R. H. Precision wildlife monitoring using unmanned aerial vehicles // Sci. Rep. 2016. V. 6. P. 22574. doi: 10.1038/srep22574
  28. Horcajada-Sánchez F., Escribano-Ávila G., Lara-Romero C., Virgós E., Barja I. The effect of livestock on the physiological condition of roe deer (Capreolus capreolus) is modulated by habitat quality // Scient. Rep. 2019. V. 9. № 1. P. 15953.
  29. Hu J., Wu X., Dai M. Estimating the population size of migrating Tibetan antelopes Pantholops hodgsonii with unmanned aerial vehicles // Oryx. 2020. V. 54. № 1. P. 101—109. doi: 10.1017/S0030605317001673
  30. Kingma D. P., Ba J. L. ADAM: A Method for stochastic optimisation // arXiv preprint arXiv:1412.6980. 2014. Published as a conference paper at International Conference on Learning Representations (ICLR). 2015. San Diego, California, United States. P. 1—15. DOI: 0.48550/arXiv.1412.6980
  31. Lee J., Bang J., Yang S. I. Object detection with sliding window in images including multiple similar objects // Internati. Conf. on Inform. and Commun. Technol. Converg. (ICTC), Jeju, Korea (South), 2017. P. 803—806. doi: 10.1109/ICTC.2017.8190786.
  32. Linnell J. D.C., Cretois B., Nilsen E. B., Rolandsen C. M., Solberg E. J., Veiberg V., Kaczensky P., Moorter B., Panzacchi M., Rauset G. R., Kaltenborn B. The challenges and opportunities of coexisting with wild ungulates in the human-dominated landscapes of Europe’s Anthropocene // Biol. Conserv. 2020. V. 244. 108500. doi: 10.1016/j.biocon.2020.108500
  33. Mikhailov V. V., Sobolevskii V. A., Kolpaschikov L. A. Mask R-CNN-Based System for Automated Reindeer Recognition and Counting from Aerial Photographs // In: Tuzikov A. V., Belotserkovsky A. M., Lukashevich M. M. (eds.) Pattern Recognition and Information Processing. PRIP 2021. Communications in Computer and Information Science. 2022. V. 1562. P. 137-151. Cham: Springer. doi: 10.1007/978-3-030-98883-8_10
  34. Milner-Gulland E.J., Kholodova M. V., Bekenov A., Bukreeva O. M., Grachev Iu. A., Amgalan L., Lushchekina A. A. Dramatic declines in saiga antelope populations // Oryx. 2001. V. 35(4). P. 340-345. doi: 10.1046/j.1365—3008.2001.00202.x
  35. Parker G. R. 1975. A review of aerial surveys used for estimating the numbers of barren-ground caribou in northern Canada // Polar Rec. V. 17. № 111. P. 627—638. doi: 10.1017/S0032247400032708
  36. Preston T. M., Wildhaber M. L., Green N. S., Albers J. L., Debenedetto G. P. Enumerating White-Tailed Deer Using Unmanned Aerial Vehicles // Wildl. Soc. Bull. 2021. V. 45. № 1. P. 97—108. doi: 10.1002/wsb.1149
  37. Prosekov A., Kuznetsov A., Rada A., Ivanova S. Methods for Monitoring Large Terrestrial Animals in the Wild // Forests. 2020. V. 11. P. 808. doi: 10.3390/f11080808
  38. Ramos A., Bousquet Christophe A. H., Sueur C. How leadership could be used to manage domestic and wild ungulate herds // App. Anim. Behav. Sci. 2021. V. 239. P. 105326. doi: 10.1016/j.applanim.2021.105326
  39. Ramos A., Petit O., Longour P., Pasquaretta C., Sueur C. Space Use and Movement Patterns in a Semi-Free-Ranging Herd of European Bison (Bison bonasus) // PLoS ONE. 2016. V. 11. № 2. e0147404. doi: 10.1371/journal.pone.0147404
  40. Rumiano F., Wielgus E., Miguel E., Chamaillé-Jammes S., Valls-Fox H., Cornélis D., Garine-Wichatitsky M.D., Fritz H., Caron A., Tran A. Remote Sensing of Environmental Drivers Influencing the Movement Ecology of Sympatric Wild and Domestic Ungulates in Semi-Arid Savannas, a Review // Rem. Sens. 2020. V. 12. P. 3218. doi: 10.3390/rs12193218
  41. Schroeder N. M., Panebianco A., Gonzalez M. R., Carmanchahi P. An experimental approach to evaluate the potential of drones in terrestrial mammal research: a gregarious ungulate as a study model R // Soc. Open Sci. 2020. P. 7191482191482. doi: 10.1098/rsos.191482
  42. Singh N. J., Milner-Gulland E.J. Monitoring ungulates in Central Asia: current constraints and future potential // Oryx. 2011. V. 45. № 1. P. 38—49. doi: 10.1017/S0030605310000839
  43. Sobolevskii V. A., Kolpaschikov L. A. Mask R-CNN-Based System for Automated Reindeer Recognition and Counting from Aerial Photographs // Pattern Recognition and Information Processing: 15th International Conference, PRIP, Minsk, Belarus, September 21—24, 2021. Revised Selected Papers. Springer Nature. 2022. P. 137.
  44. Tarca A. L., Carey V. J., Chen X., Romero R., Drăghici S. Machine Learning and Its Applications to Biology // PLoS Comput Biol. 2007. V. 3. № 6. e116. doi: 10.1371/journal.pcbi.0030116
  45. Teer J. G., Neronov V. M., Zhirnov L. V., Blizniuk A. I. Status and exploitation of the saiga antelope in Kalmykia, Chapt. 6 / Ed. Taylor, V.J., Dunstone, N. The Exploitation of Mammal Populations: Springer, Dordrecht, Netherlands, 1996. P. 75-87. doi: 10.1007/978-94-009-1525-1_6
  46. Terletzky P., Ramsey R. D. A Semi-Automated Single Day Image Differencing Technique to Identify Animals in Aerial Imagery // PLoS ONE. 2014. 9. № 1. e85239. doi: 10.1371/journal.pone.0085239
  47. Terletzky P. A., Koons D. N. Estimating ungulate abundance while accounting for multiple sources of observation error // Wildl. Soc. bull. 2016. V. 40. № 3. P. 525-536. doi: 10.1002/wsb.672
  48. Triguero-Ocaña R., Barasona J. A., Carro F., Soriguer R. C., Vicente J., Acevedo P.. Spatio-temporal trends in the frequency of interspecific interactions between domestic and wild ungulates from Mediterranean Spain // PLoS ONE2019. V. 14. № 1. e0211216. doi: 10.1371/journal.pone.0211216
  49. Umstatter C. The evolution of virtual fences: A review // Comp. and Elect. in Agricul. 2011. V. 75. № 1. P. 10-22. doi: 10.1016/j.compag.2010.10.005
  50. Vié J. C., Hilton-Taylor C., Pollock C., Ragle J., Smart J., Stuart S. N., Tong R. The IUCN Red List: a key conservation tool // Wildlife in a changing world — An analysis of the 2008 IUCN Red List of Threatened Species / Eds. Vié J. C., Hilton-Taylor C., Stuart S. N.: Gland, Switzerland, IUCN. 2008. P. 1—13.
  51. Wang C. Y., Yeh I. H., Liao H. Y.M. YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information // arXiv preprint 2024. arXiv:2402.13616. https://arxiv.org/pdf/2402.13616.pdf
  52. Wang D., Shao Q., Yue H. Surveying Wild Animals from Satellites, Manned Aircraft and Unmanned Aerial Systems (UASs): A Review // Rem. Sens. 2019. V. 11. P. 1308. doi: 10.3390/rs11111308
  53. Yachmennikova A., Rozhnov V., Dobrynin D., Karimova T., Lushchekina A. Experience of identifying the saiga antelope (Saiga tatarica) on very high resolution satellite images as a method for estimation of their number // Conservation Asia 2018, Bishkek. 2018. The Book of Abstracts. P. 53.
  54. Yang Z., Wang T., Skidmore A. K., de Leeuw J., Said M. Y., Freer J. Spotting East African Mammals in Open Savannah from Space // PLoS ONE. 2014. V. 9. № 12. e115989. doi: 10.1371/journal.pone.0115989
  55. Zengrang X., Ziqian W., Mingming J. Causes of domestic livestock—wild herbivore conflicts in the alpine ecosystem of the Chang Tang Plateau // Environmental Development. 2020. V. 34. P. 100495. doi: 10.1016/j.envdev.2020.100495.
  56. Zhang J., Zhao X., Huang Y., Huang K., Tan T. Semantic windows mining in sliding window based object detection // Proceed. of the 21st Internat. Conf. on Patt. Recogn. (ICPR2012). Tsukuba, Japan. 2012. P. 3264-3267.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Модельный участок территории Северо-Западного Прикаспия, покрытая спутниковым изображением № 1 (а), и само спутниковое изображение № 1, использованное для обучения нейронных сетей, с указанием местоположения выявленных экспертом-зоологом сайгаков (б).

Скачать (211KB)
Метаданные
3. Рис. 2. Область Северо-Западного Прикаспия, отснятая спутником KA Beijing (Twenty First Century Aerospace Technology) 2.12.2022 г.

Скачать (315KB)
Метаданные
4. Рис. 3. Упрощенная схема обработки спутникового изображения при подсчете сайгаков.

Скачать (85KB)
Метаданные
5. Рис. 4. Часть спутникового снимка №1 с изображением стада сайгаков (а); сайгаки, выявленные экспертом-зоологом в ручном режиме (б); ИП фрагменты снимка, выявленные нейронной сетью (в).

Скачать (365KB)
Метаданные
6. Рис. 5. Пример ложного отрицательного выявления: на спутниковом изображении №1 — обведен красной линией (а), после обработки спутникового изображения — в красном квадрате (б); выявленный экспертом-зоологом объект отличается от изображения сайгака, и, вероятно, не является животным.

Скачать (151KB)
Метаданные
7. Рис. 6. Пример ложных положительных выявлений; выявлено изображение стада неизвестных животных (а, б); фрагменты ЛП (уверенность 100% — синие квадраты, уверенность от 70 до 99% — желтые квадраты) покрывают лишь разрозненные участки, на которых плотность животных сопоставима с плотностью сайгаков в стаде (в, г).

Скачать (490KB)
Метаданные
8. Рис. 7. Пример выявления нейронной сетью стада на спутниковом изображении №2 (зеленые квадраты — фрагменты, выявленные с уверенностью 100%; красные квадраты — фрагменты, выявленные с уверенностью от 70 до 99%).

Скачать (199KB)
Метаданные
9. Рис. 8. Пример фильтрации результатов функционирования ГКНС-К: а — первичное выделение изолированных фрагментов (фиолетовый цвет); б — построение буферов вокруг всех фрагментов и окончательное выявление изолированных фрагментов; в — фильтрация изолированных фрагментов; г — формирование территориальных зон для дальнейшей обработки.

Скачать (178KB)
Метаданные
10. Рис. 9. Часть спутникового снимка (спутниковое изображение №1), предварительно прошедшего обработку с помощью ГКНС-К, с изображениями сайгаков, выявленными экспертом-зоологом и нейронной сетью ГКНС-В (красные рамки).

Скачать (156KB)
Метаданные
11. Рис. 10. Часть спутникового снимка №1, не прошедшего обработку с помощью ГКНС-К, с изображениями сайгаков, выявленными экспертом-зоологом (зеленые точки), и объектами, выявленными нейронной сетью ГКНС-В (красные рамки) — выявлено большое количество ложных объектов вдали от стада сайгаков.

Скачать (141KB)
Метаданные

© Российская академия наук, 2024