실험 설계에 관한 것 - 피셔의 실험 논리

수학 역사상 가장 멋진 부자 관계를 이야기한다면 베르누이 가족을 떠올릴 것이다. 베르누이 가족은 8명의 수학자를 배출했는데, 그 중 3명은 세계적인 수학자이다. 통계학에서는 역사상 최고의 사위 관계도 있습니다. 두 명의 헤비급 통계학자인 로널드 피셔(1890-1962)가 중요한 실험 설계에 기여했습니다. 통계 최적화 분야.

그러나 이러한 중요한 실험 설계의 최적화 방법이 실제로 세계에서 가장 오래된 농업 연구 기지인 로잔이라는 농업 실험 기지와 이를 발명한 곳에서 탄생했다는 사실을 대부분의 사람들은 잘 알지 못할 수도 있습니다. 『연구원을 위한 통계방법』과 『실험설계』에서 실험설계에 대한 자신의 절묘한 생각을 체계적으로 소개한 통계학의 대가 로널드 피셔입니다.

공교롭게도 로널드 피셔의 사위인 조지 박스(George Box)도 피셔의 심오한 통계적 사고를 물려받아 실험 설계와 시계열 모델 분야에서 연구를 발전시켜 큰 성과를 거두었다. 그는 통계 및 빅데이터 업계 실무자들의 고전으로 여겨지는 유명한 명언을 갖고 있다. “모든 모델은 틀렸지만 일부는 유용하다.” Box는 8년 동안 "Evolutionary Operations—A Statistical Method for Process Improvement", "Statistics for Experimenters", "Empirical Modeling and Response Surface Methodology" 등의 저작을 통해 실험 설계에 대한 깊은 이해를 체계적으로 소개했습니다. ICI(Imperial Chemical Industries)에서 인턴십과 근무를 하면서 그와 그의 동료(화학자 및 화학 엔지니어)는 실험 효율성 향상이라는 목적을 달성하기 위해 실험을 설계하고 분석하는 방법을 연구하고 탐구했으며, 개선을 위한 체계적인 방법을 찾는 방법을 제안했습니다. 화학 반응의 수율이 더 빨라집니다.

실험 설계는 처음에는 무당 생산량을 높이기 위해 농업에서 사용되다가 급속히 대중화되어 화학, 의약, 전자, 기계 등 다양한 산업 분야의 생산 및 R&D 활동으로 추진되었습니다. 프로세스, 다양한 산업 전문 연구자들은 실제로 최적화 분야에서 실험 설계 방법의 고유한 장점을 점차 깨닫고 있습니다. 이 글은 체계적으로 왜 실험 설계를 해야 할까요? 실험 설계의 세 가지 주요 원칙, 실험 설계 작업 흐름, 부분 요인 실험을 하는 이유는 무엇입니까? 반응 표면, 순차적 실험 전략 및 실험 설계의 적용 시나리오 측면에서 실험 설계에 대한 간략한 소개입니다.

1. 왜 실험적 디자인인가? ——얼굴 검색인가, 라인 검색인가?

박스는 자신의 저서 '통계학자가 되는 길 - 조지 박스의 회고록'에서 '통계란 과학적 문제를 해결하기 위해 데이터를 생성하고 활용하는 방법에 관한 것'이라고 언급한 바 있다. 이를 위해서는 과학과 과학적 방법에 대한 친숙함이 중요합니다. 과학기술 연구에서는 수많은 변수를 연구해야 하는 경우가 많습니다. "입력 변수" 또는 "요인"으로 변경할 수 있는 변수와 "출력 변수" 또는 "반응 변수"로만 관찰할 수 있는 변수를 호출할 수도 있습니다. 여러 요인의 영향을 받는 시스템을 연구하는 올바른 방법은 한 번에 하나의 요인을 변경하는 것이라고 생각한 적이 있습니다. 그러나 이미 80여년 전 R.A. 피셔(R.A. Fisher)는 이 방법이 너무 비효율적이며 많은 실험적 노력을 낭비한다는 사실을 세상에 밝혔습니다. 실제로 "실험 설계"에서는 여러 요소를 동시에 변경해야 합니다. 그러나 지금도 교실에서는 한 가지 요소를 하나씩 바꾸는 방법을 가르치고 있습니다. 』

지금도 일부 연구자들은 한 번에 하나의 요인을 변경하는 방법(COST라고도 함, 즉 Change One Separate Factor at a Time, Experimental design에 해당함)을 여전히 사용하고 있음을 알 수 있습니다. 최적의 값을 찾기 위해 DOE(Design of Experiments)라고도 합니다. 그러나 한 번에 하나의 요인만 변경하는 이 방법은 분명히 비효율성과 상호작용 효과를 평가할 수 없는 등의 단점이 있어 최적의 값을 놓치기 쉽습니다. .

먼저 그림 1의 사례를 살펴보겠습니다.

연구 결과 한 팀은 자사의 특정 제품의 화학 반응 수율이 관련이 있다는 것을 발견했습니다. 반응기 압력과 촉매 첨가량은 큰 관계가 있습니다. 최적의 공정을 탐색하기 위해 다음과 같은 테스트를 수행했습니다.

1) 촉매 첨가량을 5kg으로 고정하고 반응기를 조정했습니다. 최종적으로 반응기 압력이 750Mpa일 때 수율이 가장 좋은 것으로 결론이 났습니다;

2) 그 후 반응기 압력을 750Mpa로 고정하고 촉매 첨가량을 조정한 후 실시합니다. 여러 테스트 결과 최종적으로 촉매 첨가량은 3kg이 가장 좋은 것으로 결론이 나고,

3) 따라서 연구팀은 반응기는 750Mpa, 촉매 첨가량은 되어야 한다고 믿고 있다. 최고의 전체 생산량을 얻으려면 3kg이 되어야 합니다.

그렇다면 사실은 이 팀이 도달한 결론과 동일한 것인가? 오른쪽의 실험 설계를 통해 얻은 등고선 지도를 보면 실제로 반응기 압력=650Mpa, 촉매 첨가량=3kg일 때 최적점이 발생하는 것을 확실히 볼 수 있으며, 이때의 수율은 91보다 높을 것이며, 첫 번째 방법으로 얻은 최상의 수율은 약 90으로 추정됩니다. 첫 번째 방법은 최상의 값을 놓칠 위험이 있음을 알 수 있습니다. 실제로 위의 그림에서 볼 수 있듯이 첫 번째 방법은 실제로는 선 검색 방법인 반면 실험 설계는 표면 검색 방법입니다. 분명히 선을 통한 검색보다 효율적이고 캡처하기 쉽습니다. 최적의 값. 동시에 실험 설계 방법을 통해 반응 변수와 요인 사이의 매우 직관적인 반응 표면과 등고선 플롯을 얻을 수 있으며, 이는 요인에 따른 반응 변수의 변화 법칙을 더 잘 이해하는 데 도움이 될 수 있습니다.

2. 실험 설계의 세 가지 주요 원칙 - 피셔의 농지

위의 첫 번째 섹션을 통해 DOE가 COST 방법보다 효율적인 이유를 이해하지만 실험 설계를 어떻게 진행해야 할까요? 실험의 효율성과 성공에 직접적인 영향을 미치는 매우 중요한 링크입니다. 로잔 농업 실험장에서 근무한 14년(1919-1933) 동안 Fisher는 수많은 실험 연구를 통해 실험 설계의 보편성의 세 가지 원칙을 요약했습니다. 즉:

( 1) 반복 실험 ;

(2) 무작위화;

(3) 차단.

그러나 일부 전문 서적에서는 이 세 가지 원칙에 대한 해석이 매우 모호할 때가 있습니다. 여기서는 피셔의 농지라는 소설을 통해 이 세 가지 원칙을 또 다른 관점에서 해석해 보겠습니다.

그림 2에서 볼 수 있듯이 피셔는 로잔 농업시험장에서 일할 때 두 종류의 쌀에 대해 신중하고 신중한 생각 끝에 에이커당 수확량에 대한 평가 테스트를 진행했다는 이야기입니다. 그는 마침내 결론을 내렸습니다. 실험 설계의 세 가지 주요 원칙이 도입되어 학계에서 고전으로 간주되었습니다.

① Fisher의 원래 아이디어는 두 개의 논에 A 벼 종자와 B 벼 종자를 심는 것이었고, 그런 다음 어떤 쌀이 무당 수확량이 더 높은지 확인하여 평가 결론을 내릴 수 있습니다;

② 하지만 피셔는 훌륭한 통계학자이므로 잠시 생각한 후 한 점에서 판단하는 것은 엄격하지 않기 때문에 왼쪽과 오른쪽 필드를 각각 4개의 필드로 나눈 다음 A와 B를 심었습니다. 이런 식으로 그는 평균을 얻을 수 있을 뿐만 아니라 두 종류의 쌀 A와 B의 에이커당 수확량뿐만 아니라 무당 수확량의 표준편차도 얻을 수 있으므로 비교가 더욱 설득력이 있습니다.

③ 그러나 예리한 피셔는 곧 깨달았습니다. 위의 테스트 방법에는 여전히 결함이 있다고 생각합니다. 그 이유는 자신의 농업 실험장에서 다년간 일한 경험에 따르면 실험장 농지의 토양 비옥도가 매우 고르지 않기 때문입니다. 는 평균이고 오른쪽 농지의 토양이 더 비옥합니다. 최종 결론이 B 벼의 수확량이 더 높다면, 높은 수확량을 일으키는 것은 벼 종자일까요, 아니면 토양 때문일까요? 높은 수익률? 여기서 두 가지 요소가 혼동되어 고민 끝에 A와 B를 각각 왼쪽 농지에 심고, A와 B 벼는 비옥한 땅과 보통 흙에 심도록 했다. .모든 농지에 균등한 기회를 부여하여 재배하므로 이를 통해 얻은 결과가 보다 합리적일 것입니다.

④ 원래 이 실험계획은 이때 농업시험장이 ​​직접 시행될 수도 있었습니다. 새로 발명된 기계식 파종기가 수동 파종보다 mu당 수확량을 늘리는 데 더 도움이 되는지 평가하는 데 필요한 새로운 작업은 실험 횟수를 줄이기 위해 두 가지 평가를 통합하는 데 필요했습니다. Fisher는 정말 천재였습니다. 그는 이 문제를 해결할 수 있는 완벽한 방법을 빨리 알아냈고, 농지의 절반은 왼쪽과 오른쪽에 수동으로 심고, 나머지 절반은 기계적으로 심었습니다. 실험.

실제로 위의 실험적 논리적 사고 ②, ③, ④에서 Fisher는 반복 실험, 무작위화 및 차단이라는 세 가지 주요 실험 설계 원칙을 매우 완벽하게 창의적으로 적용했습니다. 에이커에 달하는 두 종류의 쌀 품종은 테스트 결과의 타당성과 합리성을 보장하고 최종 과학적 평가 결과를 강력하게 보장합니다.

물론 차단의 기본 원칙은 '그룹화 가능한 사람은 그룹으로 나누고, 그룹으로 나눌 수 없는 사람은 무작위로 뽑는다'는 것이다. 』

3. 실험 설계 및 분석의 작업 흐름

우리는 이미 실험 설계의 장점과 실험 설계의 세 가지 주요 원칙을 알고 있으므로 여기에서는 완전 요인 완전 분석을 사용합니다. 설계의 경우 실험 설계 및 분석의 워크플로를 소개합니다.

그림 3에서 볼 수 있듯이 이는 전형적인 요인 설계 다이어그램으로, 실험 설계자가 세 가지 요인 A, B, C가 반응에 미치는 영향을 연구하려는 모습을 그림에서 볼 수 있습니다. 이를 위해 설계자는 다음과 같은 테스트 계획을 세웠으며, 위의 테스트를 통해 다음 회귀식의 계수를 추정하고자 한다.

위의 회귀식에서 보면 다음과 같은 사실을 명확히 알 수 있다. 추정해야 할 계수는 8개입니다. 따라서 최소 8개의 계수를 추정해야 합니다. 마찬가지로 요인 수가 n인 경우에는 최소 10번의 실험이 필요한 완전 계승화를 수행해야 합니다.

앞서 언급한 실험 설계의 3가지 원칙에 따라 반복 테스트도 해야 하는데, 테스트 횟수를 줄이기 위해 일반적으로 중심점에서 3~4회 반복 테스트를 선택합니다. . 중심점에서 반복성 테스트를 수행하도록 선택하는 경우의 또 다른 이점은 모델에 굽힘이 있는지 여부를 발견할 수 있다는 것입니다. 일반적으로 말하면, 요인의 고차 항을 추가하여 반응 표면을 형성해야 합니다. 즉, 기본적으로 최적의 값을 찾았다는 의미입니다. 물론 굽힘의 경우 모델 매개변수를 추정하기 위해 일부 테스트 포인트를 추가해야 하며 이에 대해서는 나중에 설명합니다.

동시에 실험 순서를 무작위화해야 하는데, 이 경우에는 그룹화가 필요하지 않으므로 이 실험 설계를 기반으로 직접 실험을 수행하고 해당 실험 데이터를 얻을 수 있습니다.

또한 요인의 높은 수준과 낮은 수준을 설정할 때 높은 수준과 낮은 수준을 가능한 한 멀리 설정해야 합니다. 그렇지 않으면 실험의 노이즈로 인해 원래의 유의미한 효과가 사라질 수 있습니다. 또한 테스트 지점을 더 멀리 설정하면 그림 4와 같이 알려지지 않은 프로세스 위치를 탐색하는 데 도움이 될 수도 있습니다.

실험 데이터를 얻은 후에는 기본적으로 다음 프로세스를 따르는 실험 설계 분석을 시작해야 합니다.

실제로 위 워크플로에서 처음 세 단계는 우리는 이미 선형 회귀에 대해 매우 자세히 소개했습니다. 이 회귀 모델에서는 요인(주효과)의 수가 1보다 크고 2차 상호 작용 항이 있다는 점입니다. 계수는 반응 변수에 미치는 영향이 중요한지 여부를 확인하기 위해 테스트됩니다. 동시에 모델에 굽힘이 있는지 또는 적합성이 부족한지 확인하는 것도 필요합니다. 효과가 중요하지 않거나 특정 2차 효과가 중요하지 않은 경우 1차 상호작용 효과가 중요하지 않은 경우 이러한 항목을 제거하고 회귀 분석을 다시 실행해야 합니다.

모델이 개선되고 이상이 없으면 모델 해석 단계로 들어갈 수 있습니다. 이 단계에서는 다음 두 가지 작업을 수행해야 합니다.

(1) 출력 요인 주 효과 플롯과 상호 작용 효과 플롯을 통해 그 유의성을 더욱 검증하고 확인할 수 있습니다.

(2) 등고선 플롯과 반응 표면을 출력함으로써 독립 변수에 따른 반응 변수의 변화 법칙을 보다 직관적으로 이해할 수 있습니다. . , 최적의 설정을 찾는 데 도움이 됩니다.

다음으로 Response Optimizer를 통해 최적의 설정도 찾아보고, 최적값이 원래 설정한 목표에 도달했는지 여부도 판단해야 합니다. 도달했다고 해서 작업이 끝난 것은 아닙니다. 하지만 추가적인 검증 테스트가 필요합니다. 일반적인 접근 방식은 최적 지점에서 3회 이상의 검증 테스트를 수행하는 것입니다. 물론 원래 설정한 목표에 도달하지 못한 경우에도 계속해서 테스트를 중심으로 진행해야 합니다. 미리 정해진 목표가 달성될 때까지 최적의 지점을 설계합니다.

4. 부분 요인 검정을 수행하는 이유는 무엇입니까? ——해상도와 실험 효율성의 균형

앞에서 언급한 것처럼 요인 수가 n개일 때 완전한 요인 설계를 수행해야 한다면 간단한 계산을 통해 최소한 한 번의 실험을 수행해야 합니다. 요인 수가 5개에 도달하면 전체 요인 설계에는 32번의 실험(중심점 제외)이 필요하고, 요인 수가 6개에 도달하면 전체 요인 설계에는 64번의 실험이 필요하다는 것을 알 수 있습니다. 4개의 요인을 예로 들어 실험 설계의 모델 방정식을 다음과 같이 제시합니다.

완전한 요인 설계가 완료되면 상수항 외에 4개의 추정값이 있음을 알 수 있습니다. , 2차 상호작용 효과항*** 6개 항목, 3차 상호작용 효과항*** 4개 항목, 4차 상호작용 효과항*** 1개 항목, 1차 상호작용 효과항*** 1개 항목 중 이러한 항목, 3차 및 3차 상호 작용 효과 항목 위의 상호 작용 항은 실제로 더 이상 실제적으로 중요하지 않습니다. 따라서 실제로 추론해야 하는 매개 변수는 상수 항, 주 효과 항 및 2차 상호 작용 효과 항입니다. 총 11개의 항이 있으므로 실험을 덜 하여 모델 방정식의 상수, 1차 및 2차 항 계수를 동시에 제어할 수 있다는 아이디어를 구현하는 것이 가능합니다. 시간.

실제 작업에서는 자원과 시간의 제약으로 인해 효율성과 시험 비용 관리에 대한 요구가 일반적입니다. 여전히 4가지 요인(A, B, C, D)을 예로 들면, 완전한 요인 설계에는 16번의 실험이 필요하며, 현재 제한 사항에 따라 8번의 실험만 수행할 수 있으므로 이 8번의 실험을 선택하는 방법은 다음과 같습니다. 가장 합리적인 것은 어떻습니까? 분석에 따르면 생성자 D=ABC에 따라 실험을 선택하는 것이 가장 합리적이라는 결론을 내릴 수 있습니다(정의 관계는 ABCD=1, "단어"라고 함). 이는 실험의 직교성을 보장할 뿐만 아니라 디자인할 뿐만 아니라 1차 원리도 보장합니다. 효과는 2차 상호작용 효과와 혼동되지 않았습니다.

일부 요인 실험에서는 생성자가 여러 개(즉, 여러 단어) 있는 상황도 있습니다. 이 경우 모든 단어 중 가장 짧은 단어의 길이를 전체의 분해능으로 정의합니다. 디자인 (해상도), 해상도는 일반적으로 I, II, III, IV 등과 같은 로마 숫자로 표시됩니다. 이전 예에서는 ABCD=1을 사용하여 8개의 실험 배열을 얻었으며 그 해상도는 IV입니다. 이 설계 계획은 보다 일반적으로 해상도 R을 갖는 부분 요인 설계로 기록됩니다. 여기서 k는 요인의 수이고 p는 다음과 같습니다. 생성자 또는 단어의 수입니다.

연구자들이 보다 쉽게 ​​사용할 수 있도록 통계학자들은 부분 요인 실험의 분해능 표를 표 2에 특별히 정리했습니다. 동시에 minitab 또는 jmp 소프트웨어에서는 부분 요인 실험의 설계를 소프트웨어를 통해 직접 생성할 수도 있습니다.

위 표를 보면 요인의 개수를 정할 때 더 높은 해상도를 얻어야 하므로 더 많은 실험을 해야 하므로 실제 작업에서는 연구자가 판단에 따라 선택할 수 있음을 알 수 있다. 해상도와 효율성 사이의 균형을 유지해야 합니다.

5. 반응 표면 방법 및 순차 테스트 전략 - 굽힘 시 선택

반응 표면 방법(RSM)은 일반적으로 다음 상황에 적합합니다.

< p> (1 ) 요인의 수가 작은 경우(보통 3개 이하);

(2) 반응변수의 최대값 또는 최소값을 구하는 것이 필요합니다.

실험 설계에 있어서 일반적으로 반응표면법은 요인 선별 후 전체요인 실험에서 굽힘 현상이 발견될 때 발생하는데, 이때 채택해야 할 전략은 2차 계수를 추가하는 것이다. 모델의 회귀식은 2개 수준을 예로 들면 다음과 같이 표현될 수 있다.

당연히 이때 추정해야 할 매개변수는 2만큼 증가한다(계수). 의 제곱 항), 원래 테스트 포인트가 충분하지 않습니다. 일부 테스트 포인트를 추가하고 선형 회귀를 통해 관련 매개변수를 추정해야 합니다. 이때 가장 효율적인 방법은 순차적 테스트 전략을 사용하여 테스트 포인트를 늘리는 것입니다. 그림 6은 시퀀스를 유지하는 두 가지 중심 복합 설계 방법을 보여줍니다. 물론 반응표면 설계에는 다른 유형의 방법도 포함되지만 중심 합성 경계 설계(CCI) 및 Box-Behnken 설계와 같이 순서를 유지하는 특성은 없습니다.

테스트 포인트를 추가한 후 반응 표면 분석을 수행할 수 있습니다. 분석 과정은 기본적으로 앞서 언급한 실험 설계 분석 과정과 유사하므로 여기서는 다시 설명하지 않습니다.

6. 산업 현장에서의 실험 설계 적용 시나리오 소개

실험 설계는 효율적인 최적화 도구로서 다양한 산업, 특히 화학 산업에서 널리 사용되고 있습니다. 채택된 실험 설계 방법은 제품 제형 설계 및 개발 효율성 향상, 생산 효율성 향상, 제품 수율 향상 등을 위해 사용됩니다. 또한 실험 설계를 사용하여 제품 신뢰성 및 프로세스 견고성을 향상시키는 것은 많은 산업에서 큰 성공을 거두었습니다.

실험 설계를 수행함에 있어서 통계적 사고와 연구자의 전문성과 경험(비통계적 지식)은 실험의 성공을 위해 매우 중요합니다. 그러나 탐색적 연구를 하다 보면 축적된 지식과 경험이 부족하여 평가해야 할 요소의 수가 갑자기 늘어나게 된다는 점을 앞선 논의를 통해 알 수 있다. 전체 요인 설계가 기하급수적으로 증가함에 따라 부분 요인 테스트의 경우에도 테스트 수가 여전히 매우 많으므로 기업의 경우 R&D 비용에 더 큰 부담을 주고 R&D 효율성에 영향을 미칠 것입니다.

Guogong Intelligence와 국내 Wanhua Research Institute의 협력 프로젝트에서 Guogong Intelligence의 데이터 과학 전문가들은 베이지안 최적화 알고리즘을 사용하여 원래 150번의 시도가 필요했던 최적화 작업을 단 3개의 휠 세트** *15번의 실험으로 동일한 효과를 얻을 수 있습니다. 그러나 실험 설계 방법이 기계 학습 알고리즘보다 더 강력한 모델 해석력을 갖고 있다는 점은 부인할 수 없으며, 이는 연구자가 추가 메커니즘 연구를 수행하는 데 중요합니다. 동시에 인공 지능 알고리즘에서도 얻은 데이터 포인트의 지원이 필요합니다. 추가 최적화 및 실험 준비를 위한 예비 실험 설계.

전반적으로 실험 설계는 여전히 화학 및 제약 분야에서 가장 중요한 최적화 도구입니다. 화학 및 제약 분야의 인공 지능 의사 결정 제어 분야의 선두주자로서 Guogong Intelligence는 항상 다양한 통계 모델 알고리즘의 개발 및 적용에 큰 중요성을 부여해 왔습니다. 현재 자사의 데이터 브레인 플랫폼에는 수백 개의 통계 및 분석이 통합되어 있습니다. 기계 학습 알고리즘은 화학, 제약 및 기타 산업에서 널리 사용되어 많은 국내 기업에 막대한 상업적 가치를 창출해 왔습니다.

참고 자료:

[1]. "통계", [미국] William M. Mendenhall 외.

[2]. of Experiments", [미국] Douglas C. Montgomery

[3]. "통계학 석사로 가는 길 - George Box의 회고록", [영국] George E.P. Box

< p> [4]. "6시그마 관리 통계 가이드", Ma Fengshiwai

[5] 실험 설계에 대한 간략한 소개, [미국] Jacqueline K. Telford.