체널리시스의 조사 책임자 엘리자베스 비스비가 체널리시스의 리액터 소프트웨어의 정확성에 대한 과학적 증거가 부족하다는 것을 인정한 후, 블록체인 감시 회사 사이퍼트레이스의 전문가들이 체널리시스의 분석에서 결함을 드러냈습니다.
2023년 8월 8일 제출된 전문가 보고서는 미국 대 스털리노프 사건에서 비스비의 전문가 보고서에 있는 다양한 실수와 체널리시스의 리액터 소프트웨어가 적용한 휴리스틱의 부정확성을 밝혀냅니다.
체널리시스 리액터는 법 집행 목적으로 블록체인에서 자금을 추적하는 데 사용되는 블록체인 감시 도구입니다. 체널리시스의 리액터가 광범위하게 사용된다면 소프트웨어의 발견이 근거가 없을 경우 민주적 정의 절차에 심각한 위협이 될 수 있습니다.
로만 스털리노프는 비트코인 믹서 비트코인 포그를 운영한 혐의를 받고 있는 초기 비트코인 채택자로, 2021년부터 버지니아 교도소에서 재판을 기다리고 있습니다. 스털리노프는 현재 체널리시스 리액터의 발견에 대해 법원에서 이의를 제기하고 있는 토르 에켈란드에 의해 변호받고 있습니다. 에켈란드의 의견에 따르면 체널리시스는 “블록체인 포렌식의 테라노스”입니다. 사건에 대한 체널리시스의 발견에 대한 여러 전문가 평가가 이를 보여주고 있습니다.
스털리노프에 대한 자금 추적 혐의의 타당성을 결정하기 위한 전문가 보고서에서 사이퍼트레이스의 조사 및 정보 이사인 조넬 스틸은 체널리시스의 행동 클러스터링 휴리스틱 사용을 “무모하다”고 설명합니다.
체널리시스의 행동 클러스터링 휴리스틱은 특정 지갑 소프트웨어를 식별하기 위해 거래의 구조나 타이밍에서 패턴을 감지하는 것을 목표로 합니다. 지갑 서비스의 거래 패턴을 조사함으로써 체널리시스는 해당 서비스에 속하는 주소를 매핑하기 위해 클러스터링 알고리즘을 적용합니다.
비트코인 포그의 경우, 사이퍼트레이스는 행동 클러스터링 휴리스틱의 정확성에서 약 64%의 불일치를 계산했으며, 스틸은 이를 지나치게 포괄적이라고 설명합니다. 체널리시스의 행동 클러스터링 휴리스틱의 부정확성은 공동 지출 및 행동 휴리스틱의 연속적인 실행으로 인해 더욱 심화되어 신뢰할 수 없는 결과를 초래합니다.
스틸은 보고서에서 “특히, 가장 높은 주장 정확도 비율을 가진 FindNext와 FindNext2는 Mt Gox [스털리노프의] 거래와 비트코인 포그 간의 연결을 찾지 못했다”고 계속합니다. 행동 클러스터링과는 달리, FindNext 휴리스틱은 각각 0.62%와 0.02%의 잘못된 발견률을 생성할 수 있습니다.
이스라엘 디지털 포렌식 회사 셀레브라이트와 남아프리카 오픈 소스 정보 회사 말테고를 파트너로 둔 사이퍼트레이스는 체널리시스가 적용한 행동 클러스터링을 사용하지 않으며, 이는 “체인에서 자금 흐름의 진정한 표현이 아니기 때문에 부정확하고 오류가 발생하기 쉽습니다.”
스틸은 또한 단일 엔티티 클러스터링의 체널리시스 사용을 비판하며, 여기서 루트 주소가 “거래된 올바른 주소일 수도 있고 아닐 수도 있는 엔티티에 할당됩니다.” 이러한 데이터의 “묶음”은 검증할 수 없으며 많은 추적 오류를 초래할 수 있으며, 잘못된 긍정 및 부정의 확률이 높아질 수 있습니다.
보고서에 따르면 “법 집행 기관 및 체널리시스의 다른 고객들이 이 주제로 사이퍼트레이스에 접근하여 체널리시스 리액터 사용 중 경험하는 오류에 대한 불만을 표명했습니다.”
스틸은 또한 비스비의 전문가 보고서에서 비트 대신 바이트를 사용하는 것과 같은 여러 오류 목록을 강조하며, 이는 잘못된 수학적 가정을 초래하고 여러 번의 잘못된 변경 주소 식별을 포함합니다. 보고서는 또한 P2PK, P2MS, P2WSH 또는 P2TR와 같은 여러 스크립트 유형이 누락되었으며 “SegWit 주소는 3으로 시작한다”는 잘못된 진술을 강조합니다. 이는 P2SH 주소도 식별합니다.
데이터 무결성 부족을 인용하며, 스틸은 “검증되지 않은 수억 개의 데이터 포인트가 있다”고 추정하며, 이는 “이러한 발견을 바탕으로 다른 사건의 재검토를 정당화할 수 있습니다.”
범죄 사법 절차에서 데이터의 무결성을 보호하기 위해 스틸은 “체널리시스의 속성 데이터는 이 사건이나 다른 사건에서 법원에서 사용되어서는 안 된다: 감사되지 않았고, 모델이 검증되지 않았으며, 수집 경로가 식별되지 않았다”고 권장합니다.
보고서는 모델 검증의 중요성을 강조하며, 이는 데이터 보강의 정확성을 검증하고 모델의 성능에 대한 검사를 제공하는 데 사용될 수 있습니다. 공급자는 “속성 및 클러스터링에 대한 잘 문서화되고 감사 가능한 프로세스”를 가져야 하며, “블랙박스 모델”은 잠재적으로 승인되지 않은 고객 데이터와 “검증되지 않은 사용자 피드백”을 사용해야 합니다.
스틸은 “블록체인 포렌식은 조사 리드를 생성하는 데만 사용되어야 한다. 단독으로는 주요 증거 출처로는 불충분하다. 이 사건에서 주목할 만한 점은 블록체인 포렌식에 대한 어떤 corroborating evidence도 없이 도달한 결론이다.”라고 결론지었습니다.
스틸은 또한 “이 사건에서 사용된 블록체인 포렌식 및 추적 도구가 잘못 사용되어 스털리노프 씨가 비트코인 포그의 운영자라는 잘못된 결론을 내리게 되었다”고 말합니다. 이는 체인에서 그러한 증거가 존재하지 않습니다.
스틸은 이 사건에서 블록체인 포렌식의 실패를 “구조적 문제”라고 부르며 체널리시스와 그들의 방법론에 대한 독립적인 감사를 촉구하여 “이와 같은 잘못된 체포와 FTX와 같은 준수 실패를 방지해야 한다”고 말합니다.
