디스코드에서 메시지에 혐오표현(성,정치,종교,지역 차별 및 비속어)이 있을때 유연하게 필터링 할수있는 방법이 무엇이 있을까? 라는 고민을 하면서 방법을 찾던 도중 총 2가지의 방안에 대해 생각하였습니다. 첫번째는 데이터 베이스에 비속어와 비속어의 백터값을 저장한다음 특정범위안에서 비슷한 값이 존재할경우 필터링하는 방법 두번째는 한국어로 파인튜닝된 딥러닝 모델을 파인튜닝하여 비속어를 판단하여 필터링하는 방법 " 위의 방법중 유연하게 필터링 할수있는가 " 라는 질문에 부합하는 방법은 두번째 방법이라 생각하여 선택하게 되었습니다. 준비물 파이썬 준비 버전 3.8 이상 필수 라이브러리 test / train 데이터셋 분류 pip install -U scikit-learn 신조어 파악 및 sentence 전처리 ..
