December 28, 2021 · Research Note

한국어 특성과 사업보고서 가독성 측정치

조현권 (성균관대학교)  ·  이준일 (경희대학교)

I. 서론

한글로 쓴 공시 텍스트의 가독성 분석은 영어로 쓴 공시 텍스트 분석에 비해 널리 이루어지지 않고 있습니다. 그 이유 중 하나로 한글 텍스트를 분석할 방법론이 미비하다는 점이 꼽힙니다. 물론 관심 있는 연구자들이 한글 분석 방법론을 꾸준히 개발하고 있으나, 영어와 한국어의 차이 때문에 영어 텍스트에 쓰던 방법론을 한글 텍스트에 그대로 적용하기 어려워 여러 연구가 난항을 겪고 있습니다. 회계/재무 텍스트의 한글 가독성은 정태진 외 (2018)에서 주의 깊게 다루었는데, 이 연구는 Flesch Reading Ease formula (FLESCH), FOG index (FOG), 그리고 사업보고서의 길이 (LENGTH)라는 세 가지 척도로 한글의 가독성을 측정한 바 있습니다.

이 연구에서는 정태진 외 (2018)에서 사용한 세 가지 측정치에 한국어의 특성이 어떤 영향을 미치는지 비교분석합니다. 특히 단어 정의의 어려움, 표음문자, 어미와 조사의 사용이라는 세 가지 특성에 집중했습니다. 분석 결과, FOG index (FOG)와 사업보고서의 길이 (LENGTH)는 다양한 한국어 특성을 조정한 뒤 계산해도 높은 상관관계를 보였으나, Flesch Reading Ease formula는 상관관계가 높지 않았고 때로는 음의 상관관계도 나타났습니다. 따라서 FOG index (FOG)와 사업보고서의 길이 (LENGTH)는 내적 정합성이 있다고 볼 수 있습니다.

이 연구의 결과가 이후 연구에서 가독성 측정치를 선택하는 데 도움이 되기를 기대합니다. 그러나 이 결과가 Fog index와 사업보고서의 길이가 반드시 한국어 가독성을 잘 측정한다는 외적 정합성을 의미하지는 않습니다. 이 부분은 앞으로 더 많은 연구가 이루어져야 합니다.

II. 가독성 측정 방법론과 한글 텍스트의 특성

정태진 외 (2018)에서 사용한 가독성 측정치는 각각 다음과 같이 계산할 수 있습니다.

FLESCH = 206.835 − 84.6 × AWL − 1.015 × ASL

FOG = (ASL + Ratio of complex words) × 0.4 ¹

LENGTH = log(Word_num)

여기서 AWL은 글의 음절수/단어수, ASL은 글의 단어수/문장수이며, complex words는 3음절 이상의 단어로 정의합니다.² Word_num은 글의 전체 단어 수로 측정합니다. 이러한 가독성 측정치는 영어 텍스트에 널리 쓰이는 방법입니다. 다만 이 측정치들을 한글 텍스트에 적용하면, 한국어와 영어의 차이 때문에 다음과 같은 어려움이 생깁니다.

첫째, 단어 수를 측정하기 어렵습니다. 띄어쓰기로 단어가 분명히 구분되는 영어에 비해, 한글은 띄어쓰기가 상대적으로 명확하지 않습니다.³ 따라서 단어 수를 사용하는 측정치의 입력 요소인 AWL, ASL, Word_num은 모두 "단어"를 어떻게 정의하느냐에 따라 달라질 수 있습니다. 이 문제는 FLESCH와 LENGTH에서 더 두드러질 수 있습니다. FOG에서는 띄어쓰기 때문에 단어 수가 늘어나면 복잡한 단어(음절이 많은 단어)의 수가 줄어들기 때문입니다.

둘째, 음절 수로 가독성을 측정하는 데 문제가 있습니다. 영어와 달리 한국어는 한 글자가 한 음절을 이룹니다. 따라서 음절 수를 기계적으로 적용하면 "하였습니다"가 "하였다"보다 가독성이 떨어지는 것으로 측정되지만, 실제로 이 두 단어의 차이 때문에 읽기가 더 힘들어진다고 보기는 어렵습니다. 복잡한 단어의 사용 (FOG index에서 complex words)을 단순히 음절로 측정할 것이 아니라, 어미와 조사 등을 고려해야 한다는 뜻입니다.⁴ 회계 계정명 같은 긴 단어 때문에 복잡한 단어가 늘어난다면, 이는 "가독성"의 문제라기보다 "회계용어 이해"의 어려움이 더 두드러진 것일 수 있습니다.⁵

셋째, 문장 길이 역시 한글의 특성을 고려해야 합니다. "상각후 무형자산"을 "상각한 후의 무형자산"으로 쓰더라도 실질적인 의미나 가독성에 차이가 있다고 보기는 어렵지만, 문장 길이를 기계적으로 적용하면 후자가 40% 더 가독성이 떨어지는 것으로 측정됩니다. 또한 회계용어를 완전히 이해한다는 전제에서는 긴 계정명이 반드시 가독성이 떨어지는 문장을 만든다고 보기 어려운 측면도 있습니다.⁶

이 연구에서는 이러한 한국어의 특성이 가독성 측정치에 미치는 영향을 확인하기 위해, 다음과 같이 한국어 텍스트를 조정하여 살펴보았습니다.

처리 0. 회계용어를 모두 "회계"라는 두 글자로 대체합니다. 사업보고서 독자가 회계용어에 대한 기본 지식을 갖추었다는 전제 아래, 긴 회계용어가 가독성 측정치에 미치는 영향을 최소화하기 위해서입니다.⁷

처리 1. 머신러닝 기반 한글 텍스트 분석 방법론 (Mecab을 사용한 형태소 분석)으로 각 문장을 토큰화하고, 이 토큰의 수로 단어 수를 대체합니다.

처리 2. Part-of-Speech (POS) tagging 기법으로 조사와 어미를 제외한 뒤, 문장 길이와 음절 등을 계산합니다.

처리 3과 4는 각각 0과 1, 그리고 0과 2를 순차적으로 적용한 결과입니다.

다음 예시는 이러한 처리 과정에서 가독성 측정치의 입력값이 어떻게 달라지는지 보여줍니다.

Table 1. Example of Changes in Inputs for Readability Measures

위 예시에서 볼 수 있듯, Mecab으로 형태소 분석을 하면 단어 수가 2배 이상 크게 늘어납니다. 조사와 어미를 제거하면 음절 수가 크게 줄고, 복잡한 단어의 수는 원문 11개에서 최종적으로 0개가 됩니다. 조사가 붙으면 2음절 이상의 모든 단어가 3음절 이상 단어가 되고, 어미가 활용되어도 마찬가지로 3음절 이상 단어가 되는 한국어의 특성 때문입니다.⁹

여기서는 2015년부터 2020년까지 공시된 사업보고서의 공시 텍스트를 분석하여, 앞서 언급한 세 가지 요소에 따른 가독성 측정치 변화의 기초통계량과 이 변화들 사이의 상관관계를 제시합니다. 공시 텍스트에서 표 (Table Tag)는 모두 제외했습니다.

Table 2. Descriptive Statistics of Readability Measures

위 표에서 볼 수 있듯, LENGTH를 제외하면 처리 방법에 따라 값이 상당히 달라집니다. 다만 연구 목적에서는 이러한 변화가 각 기업 공시의 가독성 측정 결과를 체계적으로 바꾸는지가 중요합니다. 즉, 이러한 처리에 따라 가독성에 대한 기업 간 상호 비교 결과가 달라지는지가 관건입니다. 상호 비교에서 가독성의 상대적 우열이 바뀌지 않는다면, 한국어 특성을 반영한 이러한 처리와 관계없이 회귀분석 등에서 가독성 측정치와 다른 변수의 상관관계를 안정적으로 관찰할 수 있기 때문입니다.

Table 3. Correlation between Readability Measures after Treatments

위 표에서 볼 수 있듯, FLESCH는 상관관계가 때로 음수로 바뀌는 등 텍스트 처리에 따라 크게 달라집니다. FOG와 LENGTH는 상관관계가 대체로 0.95 이상으로, 텍스트 처리에 강건함을 확인할 수 있습니다. 눈여겨볼 점은 조사와 어미의 제거가 큰 영향을 주지 않는다는 것입니다 (FOG₂, FOG₄, LENGTH₂, LENGTH₄). 이는 사업보고서의 어미 활용이 상대적으로 일관적이라는 점, 그리고 조사 제거가 가독성 측정에 큰 영향을 미치지 않는다는 점을 시사합니다.

다만 이러한 강건성은 한국어에 가독성 측정치를 적용할 때의 한계를 보여주기도 합니다. 조사와 어미를 제거해 텍스트 길이를 조정했는데도 가독성 측정치의 순서에 큰 변화가 없다는 것은, "텍스트의 길이"가 가독성에 영향을 미친다는 전제가 한국어에서는 잘 작동하지 않을 수 있음을 보여줍니다.

III. 사업보고서 세부 섹션과 가독성 측정치

사업보고서에서 텍스트가 많은 부분은 "사업의 내용", "이사의 경영진단", 그리고 "주석"입니다. 사업보고서 전체의 가독성을 측정할 때 이 세 섹션의 가독성이 각각 큰 영향을 미치는데, 세 섹션이 담고 있는 정보는 서로 상당히 다릅니다. "사업의 내용"은 회사가 영위하는 영업의 내용을, "이사의 경영진단"은 내부자가 바라본 기업의 운영과 전망을, "주석"은 회계처리의 세부 내용을 보고합니다. 여기서는 각 섹션의 텍스트를 따로 추출하여 분석했습니다.

Table 4. Descriptive Statistics of Readability Measures of Each Section

다음 표는 섹션별로 계산한 가독성 측정치에 여러 조정을 적용한 뒤의 상관관계를 보고합니다. 세 패널 모두에서 FLESCH는 상관관계가 유의하지 않거나 유의한 음의 상관관계를 보이는 등, 한국어 특성을 반영해 조정하면 강건하지 못한 모습을 보입니다. FOG와 LENGTH는 상관관계가 0.95 이상으로 강건한 결과를 보입니다. 다만 주석에서 회계용어의 영향이 크다는 점은, 앞으로 주석의 가독성을 측정하는 연구에서 고려해야 할 부분입니다.

Table 5. Correlation between Readability Measures after Treatments within Section

Table 6에서는 전체 사업보고서의 가독성 측정치와 섹션별 가독성 측정치 간의 상관관계를 보고합니다. FLESCH와 FOG는 주석 텍스트의 계수값이 가장 크다는 점을 알 수 있습니다. 앞서 상관관계에서 확인한 것처럼, FLESCH는 음의 상관관계를 보이는 등 강건하지 못합니다. 주석을 사용한 경우에는 FLESCH 역시 유의한 양의 상관관계를 보이는데, 이는 주석 텍스트가 전체 사업보고서의 가독성 측정치에 큰 영향을 미칠 수 있음을 의미합니다.

Table 6. Correlation between Readability and Readability of Each Section

마지막으로, 각 섹션의 가독성 측정치가 다른 섹션의 가독성 측정치에 더해 추가로 미치는 영향을 알아보기 위해, 전체 사업보고서의 가독성을 종속변수로, 섹션별 가독성을 설명변수로 하여 회귀분석을 시행했습니다.

Table 7. The Effects of Section Readability on Total Readability

앞서 상관관계에서 관찰한 것처럼, FLESCH와 FOG는 주석 텍스트의 계수값이 가장 크다는 점을 알 수 있습니다. 이 계수값은 0.3 이상으로, 다른 섹션의 계수값이 최대 0.203인 것에 비해 상당히 큰 영향을 미친다고 볼 수 있습니다. 특히 FOG Index는 다른 섹션인 "사업의 내용"과 "이사의 경영진단"의 계수값이 최대 0.115인 데 비해 주석의 계수값은 0.346입니다. 즉 FOG Index를 사용하면 주석의 가독성이 전체 텍스트의 가독성을 결정하는 가장 주요한 요인이 됩니다. 따라서 연구 목적상 주석이 아닌 다른 텍스트의 가독성이 더 중요하다면, 목적에 맞게 가독성 측정치를 신중히 선정해야 할 것으로 보입니다. LENGTH는 섹션별 가독성이 미치는 영향이 최대 0.126으로, 특정 섹션의 가독성이 전체 가독성 측정에 미치는 영향이 상대적으로 낮음을 알 수 있습니다.

IV. 결론 및 한계점

이 연구에서는 한국어 특성이 FOG와 LENGTH에 미치는 영향은 상당히 크지만, 그 결과들 사이의 상관관계는 높다는 점을 발견했습니다. 따라서 이 두 측정치는 내적 정합성이 높다고 볼 수 있습니다. 다만 이 연구에서 제시한 방법론과 결과에는 다음과 같은 한계가 있습니다.

가장 중요한 한계는, 위 세 방법이 실제로 "한국어 가독성"을 측정하는지에 대해 이 연구로는 결론을 내릴 수 없다는 점입니다. 영어를 대상으로 한 가독성 측정치가 한국어 가독성을 전혀 측정하지 못할 가능성은 여전히 있으며, 이 연구에서 확인한 것은 한국어의 특성이 기존 가독성 측정치에 미치는 영향에 한정됩니다. 둘째, 이 연구에서는 조사와 어미를 제외했으나, 조사나 어미 활용 등이 가독성에 실제로 어떤 영향을 미치는지는 파악하기 어렵습니다. 이 한계는 한국어 기반의 가독성 측정치가 개발되어야 극복될 것입니다. 셋째, 이 연구에서 Mecab으로 띄어쓰기를 처리했지만 이 방법에도 한계가 있어, 띄어쓰기를 제대로 처리하지 못했을 가능성이 있습니다. 넷째, 회계용어를 완전히 대체하기도 어렵습니다. 매각예정자산처럼 계정명은 아니지만 회계용어인 단어가 있으며, 이런 경우는 여전히 결과에 영향을 미칩니다.

References

정태진, 임승연, 이우종, 조미옥. 우리말 사업보고서 가독성 연구의 가능성에 대한 탐색적 연구. 회계학연구. 2018;43(4):37–100.

박은정, 조성준. KoNLPy: 쉽고 간결한 한국어 정보처리 파이썬 패키지. 제26회 한글 및 한국어 정보처리 학술대회 논문집, 2014.

← Archive