MindCastSogang/Youtube_news_comments_analysis_ver2
YouTube 뉴스 댓글 감정 분석 — 최종 통합본 기존 분석과 2026-10-07 추가 분석을 댓글 생성일 기준으로 통합했습니다. 총 74,136,841개 댓글, 2014-04-21~2026-09-29, 관측 날짜 3,467일. 구조와 날짜 final/raw/json/YYYY/MM/01-10/news_comments.parquet final/raw/json/YYYY/MM/11-20/news_comments.parquet final/raw/json/YYYY/MM/21-말일/news_comments.parquet 경로와 파일 내 날짜 정렬 기준은 **dataset_date(댓글 작성일)**입니다. 윤년과 실제 말일을 반영합니다. news_date와 기존 호환용 date는 영상 게시일입니다. 댓글 시계열 집계에 사용하지 마세요. 신규 원본 comment_created_at, video_uploaded_at은 UTC 시각입니다.… See the full description on the dataset page: https://huggingface.co/datasets/MindCastSogang/Youtube_news_comments_analysis_ver2.
YouTube 뉴스 댓글 감정 분석 — 최종 통합본
기존 분석과 2026-10-07 추가 분석을 댓글 생성일 기준으로 통합했습니다. 총 74,136,841개 댓글, 2014-04-21~2026-09-29, 관측 날짜 3,467일.
구조와 날짜
final/raw/json/YYYY/MM/01-10/news_comments.parquet final/raw/json/YYYY/MM/11-20/news_comments.parquet final/raw/json/YYYY/MM/21-말일/news_comments.parquet
- 경로와 파일 내 날짜 정렬 기준은 dataset_date(댓글 작성일)입니다. 윤년과 실제 말일을 반영합니다.
news_date와 기존 호환용date는 영상 게시일입니다. 댓글 시계열 집계에 사용하지 마세요.- 신규 원본
comment_created_at,video_uploaded_at은 UTC 시각입니다. 기존 데이터는 검증 당시의 저장된 날짜를 그대로 유지하며, 이전 수집 코드로 시간대 의미를 확정하지 못한 한계도 유지됩니다. - 관측 댓글이 없는 날짜는 수집 완료 또는 실제 0개를 뜻하지 않습니다.
구성과 스키마
- 기존 분석: 13,055,460개. 추가 분석: 61,081,381개. 합계: 74,136,841개.
- 추가 분석 이전에 기존과 ID·본문·제목·시각이 일치한 3,256,483개는 중복 제외됐으며, 이번 통합에서도 기존/신규 숫자 댓글 ID 교차 중복이 0개임을 확인했습니다.
- 기존 21개 열과 신규 29개 열을 29개 공통 스키마로 맞추고
broadcaster,broadcaster_basis2개 열을 추가했습니다. - 기존 행에 없던 8개 신규 필드는 null입니다. 값을 추정해 채우지 않습니다.
candidate_id는 원래 값을 보존합니다. 기존은 원본 JSON 위치 기반, 신규는mindcast:comment:<id>입니다.- 신규
id및comment_id는 DB 내부 댓글 ID이며 YouTube 문자열 ID가 아닙니다. 영상 고유 ID는 원본에 없으므로 만들지 않습니다. - 댓글 본문·제목·감정 예측 값은 변경하거나 재추론하지 않았습니다. 같은 본문의 서로 다른 댓글도 유지합니다.
전체 컬럼과 자료형은 schema.json을 참고하세요.
방송사 컬럼
broadcaster: MBC, JTBC, 채널A 등. 근거가 없거나 서로 충돌하면unknown.broadcaster_basis: 분류 근거. 기존 데이터는 원본 채널이 확인된 MBC 데이터셋이므로legacy_source_channel_verified입니다.- 신규 데이터는 제목 끝의 발행 방송사 표기, 설명의 저작권 표기 또는 명시적인 방송사 표기를 사용합니다. 원본 채널 ID가 없어 규칙 기반 추정입니다.
- 제목 본문에 KBS·TV조선 등이 언급됐다는 이유만으로 해당 방송사로 분류하지 않습니다.
- 연도/방송사별 수량: yearly_broadcaster_counts.csv.
감정 모델과 집계
기존 KcELECTRA Stage A + Stage B 풍자 감정 어댑터 결과를 보존했습니다. base_emotion_*는 Stage A, primary_emotion_*와 final_emotion_*는 최종 예측입니다. 44개 세부 감정 점수는 sigmoid 다중 라벨 점수로 합이 1이 아니며, 대분류 점수는 대응 세부 점수의 합입니다. aggregated/의 일별·월별 분포는 댓글 작성일 기준 top1 라벨의 빈도와 비중이며, 기존분과 신규분을 모두 포함해 다시 집계했습니다. 기존 모델의 어이없음/한심함 예측 과집중 한계는 그대로입니다.
무결성 검증
- 기존 378개 분석 파일은 원본 SHA256과 행 수를 확인한 뒤 서버에 원래 바이트로 복원 가능한 압축 백업을 보존했습니다. 신규 분석 파일도 서버에 보존했습니다.
- 신규 파일 전체 SHA256, 전체 ID 유일성 및 기존 ID와의 중복 여부를 검사했습니다.
- 각 원본 파일의 행 수와 모든 날짜 구간에 배치된 행 수를 대조했습니다.
- 모든 출력 필드를 길이 접두부로 정규화한 날짜별 SHA256으로 저장 전/재읽기 후 값을 대조했습니다. 재배치에 따른 행 누락·중복·필드 값 변경을 검사했습니다.
- 파일별 SHA256과 건수: file_manifest.json. 전체 보고서: quality.json.
- 학습/평가용 분할은 수행하지 않았습니다. Hugging Face의
train이름은 전체 데이터 로딩을 위한 기본 split 명칭일 뿐입니다.
출처와 재현
code/에 통합·검증 코드를 보존했습니다. 원본 버전과 삭제 계획은 서버 감사 자료에 보존하며, 이전 Hub 버전은 커밋 이력에 남아 있습니다. 원본 데이터 및 분석 결과의 권리는 각 권리자에게 있으며 이 문서가 별도의 재사용 라이선스를 부여하지 않습니다.
월별·파일별 데이터 수량
댓글 작성일(dataset_date) 기준 집계입니다. 총 74,136,841개 댓글 · 382개 파일 · 3,467개 관측 날짜입니다. 관측 일수는 댓글이 저장된 날짜 수이며 수집 완료 일수가 아닙니다. 표에 없는 월·날짜는 실제 댓글 0개로 해석할 수 없습니다. 방송사별 0은 해당 분류로 관측된 행이 없다는 의미입니다. 신규 방송사는 규칙 기반 추정이며 unknown은 미확인입니다.
월별 집계 CSV · 파일별 집계 CSV · 날짜별 집계 CSV
월별 댓글 수와 방송사 분포
파일별 댓글 수와 방송사 분포
<details> <summary>2014년 — 2개 파일, 29개 댓글</summary>
</details>
<details> <summary>2015년 — 1개 파일, 1개 댓글</summary>
</details>
<details> <summary>2016년 — 29개 파일, 257개 댓글</summary>
</details>
<details> <summary>2017년 — 35개 파일, 409개 댓글</summary>
</details>
<details> <summary>2018년 — 36개 파일, 25,693개 댓글</summary>
</details>
<details> <summary>2019년 — 36개 파일, 99,385개 댓글</summary>
</details>
<details> <summary>2020년 — 36개 파일, 556,421개 댓글</summary>
</details>
<details> <summary>2021년 — 36개 파일, 2,708,151개 댓글</summary>
</details>
<details> <summary>2022년 — 36개 파일, 11,203,614개 댓글</summary>
</details>
<details> <summary>2023년 — 36개 파일, 16,008,424개 댓글</summary>
</details>
<details> <summary>2024년 — 36개 파일, 18,827,532개 댓글</summary>
</details>
<details> <summary>2025년 — 36개 파일, 18,430,523개 댓글</summary>
</details>
<details> <summary>2026년 — 27개 파일, 6,276,402개 댓글</summary>
</details>
