Thời điểm dừng tối ưu cho bài toán quảng cáo và bài toán bán tài sản

Thời điểm dừng tối ưu cho bài toán quảng cáo và bài toán bán tài sản Thời điểm dừng tối ưu cho bài toán quảng cáo và bài toán bán tài sản Thời điểm dừng tối ưu cho bài toán quảng cáo và bài toán bán tài sản Thời điểm dừng tối ưu cho bài toán quảng cáo và bài toán bán tài sản

KIEN THDC CHUiN BJ 4 1.1 Phương trình vi phân ng§.u nhiên

Bài toán thoi điem dung t6i ưu

Gia su (Ω, F, P ) là không gian xác su§t, G ∈ F là σ-trưang con cua F M9t ĐLNN X đưQc g9i là tương thích v6i G n@u X là G-đo đưQc Trong trưang hQp đó ta vi@t X ∈ G.

M9t dãy F n , n = 1, 2, đưQc g9i là m9t dãy tăng các σ-trưang n@u

Cho dãy tăng các σ-trường F_n, dãy các biến ngẫu nhiên (X_n) được gọi là tương thích với dãy (F_n) nếu với mọi n, ta có X_n ∈ F_n Định nghĩa 1.1 ([7]) cho biết rằng, cho biến ngẫu nhiên τ: Ω → {0, 1, , ∞}, ta nói rằng τ là một thời điểm Markov đối với dãy F_n.

Thoi điem Markov τ g9i là thoi điem dilng neu τ hiiu h n hdu chdc chdn.

Ta th§y ri1ng τ là thai đi@m Markov khi và chi khi

Th t� v y,� chung minh suy ra tu các đing thuc sau n

V6i moi thai đi@m dung τ ta đinh nghĩa σ-trưang F τ các bi@n c6 quan sát đưQc cho t6i thai đi@m τ như sau

Ví dụ 1.2 cho (X_n) là dãy các biến ngẫu nhiên và B là một tập Borel của R Gọi τ là thời điểm đầu tiên mà (X_n) rơi vào B, tức là τ(ω) = min {n : X_n(ω) ∈ B} trong trường hợp ω thuộc ∞ n=1 {X_n ∈ B} và τ(ω) = ∞ nếu không có n nào thỏa mãn Khi đó, τ là thời điểm Markov đối với σ-trường xác suất.

Chung minh suy ra tu đing thuc sau n

Sau đây là m9t s6 tính ch§t cua thai đi@m Markov ([7], [8])

1.Gia su τ là thai đi@m Markov đ6i v6i (F n ) khi đó {τ < n} ∈ F n

2.Gia su τ 1 , τ 2 là thai đi@m Markov đ6i v6i (F n ) Khi đó các đi;i lưQng min(τ 1 , τ 2), max(τ 1 , τ 2) và τ 1 + τ 2 cũng là các thai đi@m Markov đ6i v6i (F n ).

3.N@u (τ k ) là dãy các thai đi@m Markov đ6i v6i (F n ) Khi đó inf k τ k , sup k τ k cũng là các thai đi@m Markov đ6i v6i (F n ).

4.Nêu τ là thai đi@m Markov đ6i v6i (F n ) thì τ ∈ F τ Hơn nl1a n@u γ là thai đi@m Markov đ6i v6i (F n ) mà P (γ ≤ τ ) = 1 thì F γ ⊂ F τ

5.N@u (τ k ) , k = 1, 2, là dãy các thai đi@m Markov đ6i v6i (F n ) và τ = inf k τ k thì

Cho G = (G n ), n = 1, 2, là dãy các đi;i lưQng ngau nhiên tương thích v6i dãy (F n ) Ký hii;u M là t p t§t ca các thai đi@m dung và � M là t p t§t ca các� thai đi@m Markov Ký hii;u

Bài toán thoi điem dung t6i ưu

Bài toán thai đi@m dung t6i ưu là bài toán xác đinh thai đi@m dung thoa mãn

Giá trị tối ưu V ∗ được xác định bởi công thức V ∗ = sup EG τ (1.6) với τ thuộc tập hợp M, trong đó τ xác định trên không gian trạng thái Cần lưu ý rằng công thức (1.6) bao gồm hai nhóm yếu tố Để tính giá trị của hàm giá V ∗, chúng ta cần tìm trạng thái tối ưu τ ∗ Để hoàn thành việc tính toán EG τ trong (1.6), cần phải tuân thủ các điều kiện nhất định.

|G k | < ∞ (1.7) v6i G N ≡ 0 khi N = ∞ Khi đó bài toán (1.6) tra thành

Ml).c đích chính cua ph§n này là nghiên cuu bài toán thai đi@m dung t6i ưu (1.8) dùng cách ti@p c n� Martingale.

Xét bài toán thai đi@m dung t6i ưu (1.8) khi N < ∞ Khi đó (1.8) có th@ vi@t

( n n li;i dư6i di;ng như sau

V N = sup EG τ (1.9) n≤τ ≤N, trong đó τ là thời gian dừng và 0 ≤ n ≤ N Để giải quyết bài toán này, chúng ta áp dụng phương pháp quy nạp ngược, trong đó nội dung của phương pháp là xây dựng dãy các biến ngẫu nhiên.

S N 0≤n≤ N bi1ng quy ni;p như sau

Khi đó ton ti;i thai đi@m dung n k v6i 0 ≤ n ≤ N Đinh lý 1.4 ([26]) Xét bài toán thoi điem dilng t8i ưu (1.9) khi đieu kiijn (1.7) đư(Jc thoa mãn Khi đó vdi m9i 0 ≤ n ≤ N ta có

Hơn niia, neu 0 ≤ n ≤ N đư(Jc cho c8 đinh, khi đó chúng ta có: i) Thoi điem dilng τ

N là t8i ưu cho bài toán (1.9). ii) Neu τ ∗ là thoi điem dilng t8i ưu cho bài toán (1.9) thì τ N ≤ τ ∗ h.c.c

1.2.2 Trưong h

t Đ@ cho g9n khi nói v@ l9c (F t ) ta hi@u là xét l9c (

F t , t ∈ R + Đinh nghĩa 1.2 ([7]) Mt;t hàm τ : Ω → [0, ∞) đư(Jc g9i là mt;t thoi điem Markov đ8i vdi l9c (F t ) neu nó là F - đo đư(Jc và vdi m i t ta có

Neu P (τ < ∞) = 1 (τ hiiu h n hdu chdc chdn) thì thoi điem Markov τ đư(Jc g9i là thoi điem dilng.

N@u l9c (F t ) liên tl).c phai thì đi@u kii;n (1.10) tương đương v6i

Ví dv 1.3 Cho X = (X t ) là quá trình liên tl).c và F là m9t t p� đóng trên đưang thing Gia su τ là thai đi@m l§n đ§u tiên (X t ) chi;m vào t p� F nghĩa là τ (ω) = 

 inf {t : X t (ω) ∈ F } n@u ton ti;i t như th@

Khi đó τ là thai đi@m Markov đ6i v6i l9c (F t ).

Th t� v y,� đ$t G = R\F Khi đó G là t p� ma do đó ton ti;i dãy t p� đóng (K n ) sao cho G = ∪ n K n và do X = (X t ) là quá trình liên tl).c nên

Ví dv 1.4 Cho X = (X t ) là quá trình liên tl).c phai và G là m9t t p� ma trên

Q đưang thing Gia su τ là thai đi@m l§n đ§u tiên (X t ) chi;m vào t p� G nghĩa là τ (ω) = 

 inf {t : X t (ω) ∈ G} n@u ton ti;i t như th@

Khi đó n@u l9c (F t ) liên tl).c phai thì τ là thai đi@m Markov đ6i v6i l9c (F t ).

Th t� v y,� đ$t F = R\G Khi đó F là t p� đóng và do X = (X t ) là quá trình liên tl).c phai nên

Suy ra {T < t} ∈ F t và vì l9c (F t ) liên tl).c phai nên ta k@t lu n� τ là thai đi@m Markov.

Cho G = (G t ) t≥0 là m9t quá trình ngau nhiên tương thích v6i l9c (F t ) Tương t\f như trưang hQp thai gian rai ri;c, v6i đi@u kii;n

Chúng ta xét bài toán thai đi@m dung t6i ưu

T = sup t≤τ ≤T EG τ (1.12) trong đó τ là thai đi@m dung và 0 ≤ t ≤ T Đ@ giai bài toán (1.12) ta xét quá trình ngau nhiên S = (S t ) t≥0 đưQc xác đinh như sau

Khi đó ton ti;i thai đi@m dung τ t = inf {s ≥ t : S s = G s } Tương t\f như trưang hQp thai gian rai ri;c ta cũng có Đinh lý sau

Q t Đinh lý 1.5 ([26]) Xét bài toán thoi điem dilng t8i ưu (1.12) vdi gia thiet đieu kiijn (1.11) đư(Jc thoa mãn Hơn niia gia su

P (τ t < ∞) = 1 vdi t ≥ 0 Khi đó vdi m9i t ≥ 0 chúng ta có:

S t = E (G τ t |F t) với M t là loại thời điểm dilng τ thỏa mãn τ ≥ t Nếu t ≥ 0 được xác định, ta có: i) Thời điểm dilng τ t là tối ưu cho bài toán (1.12) ii) Nếu τ ∗ là thời điểm dilng tối ưu cho bài toán (1.12) thì τ t ≤ τ ∗.

T6ng quan v@ m�ng nơ-ron

Khái niệm mạng nơ-ron, bắt nguồn từ cuối thế kỷ 19, được phát triển để mô tả hoạt động của trí tuệ con người Ý tưởng này đã được áp dụng vào các mô hình tính toán tự động, mở ra hướng đi mới cho lĩnh vực trí tuệ nhân tạo.

Perceptron được giới thiệu vào cuối thập kỷ 1950 bởi Friedrich Hayek, người đầu tiên khẳng định ý tưởng về trí tuệ nhân tạo phát triển từ các mạng phân tán gom các đơn vị đơn giản (nơ-ron) Cuối thập kỷ 1940, Donald Hebb đã đưa ra giả thuyết đầu tiên về một cơ chế thần kinh mềm dẻo (neural plasticity) thông qua học Hebbian Học Hebbian được coi là một quy tắc "điển hình" của học không có giám sát và là mô hình cơ bản cho quá trình tiềm năng dài hạn (long-term potentiation).

Perceptron là một mô hình phân loại tuyến tính dùng để phân loại dữ liệu x ∈ R n, xác định các tham số w ∈ R n và b ∈ R, với hàm đầu ra f = wx + b Các tham số của nó được điều chỉnh theo một quy tắc tùy biến (ad-hoc) liên quan đến phương pháp giảm dần ngẫu nhiên (stochastic steepest gradient descent) Perceptron chỉ có khả năng phân loại hoàn hảo một tập dữ liệu mà các lớp khác nhau là phân tách tuyến tính trong không gian đầu vào, và thường thất bại với dữ liệu không thể tách biệt Sự phát triển của thuật toán này ban đầu đã tạo ra một số khám phá quan trọng, vì mối quan hệ của nó đối với các cơ chế sinh học Tuy nhiên, sự phát hiện và điểm yếu này đã khiến các mô hình Perceptron bị bỏ mặc khi các mô hình phi tuyến được phát triển.

Cognitron (1975) là một mạng nơ-ron đa tầng đầu tiên với thuật toán huấn luyện riêng Các chiến lược thần kinh khác nhau có cấu trúc và phương pháp thiết lập riêng, mỗi loại đều có ưu điểm và nhược điểm Mạng chỉ truyền thông tin theo một hướng, trong khi mạng Hopfield (1982) cho phép truyền dữ liệu hai chiều giữa các nơ-ron Vào thập kỷ 1980, xử lý phân tán song song trở nên phổ biến dưới cái tên connectionism Mạng truyền ngược (backpropagation) đã tái xuất hiện nhờ công trình "Learning Internal Representations by Error Propagation" (1986), với việc sử dụng nhiều tầng và hàm sigmoid Huấn luyện diễn ra theo kiểu xu hướng ngẫu nhiên, và việc xác định các tham số tối ưu cho mô hình này không đơn giản Ngày nay, các mạng có cùng kiến trúc với mạng truyền ngược được gọi là mạng Perceptron đa tầng.

Mi;ng truy@n ngưQc đã tạo ra nhiều hứng khởi và gây ra nhiều tranh cãi về việc quy trình học đó có thể thực hiện trong bộ não hay không Một phần nguyên nhân là do chưa tìm ra cơ chế truyền tín hiệu ngược Tuy nhiên, lý do quan trọng nhất là chưa có nguồn tín hiệu "đi" hay tín hiệu "đích" đáng tin cậy.

Hiện nay, các nhà thần kinh học đã khám phá mối liên hệ giữa học tăng cường và hệ thống thưởng dopamine Tuy nhiên, vai trò của dopamine trong quá trình này vẫn đang được nghiên cứu sâu hơn.

1.3.1 Nơ-ron sinh h9c và nơ-ron nhân t�o a) Nơ-ron sinh h9c

Miếng nơ-ron sinh học là một mạng lưới các nơ-ron có kết nối học có liên quan đến nhiều chức năng thuộc hệ thần kinh ngoại biên và hệ thần kinh trung ương Trong ngành thần kinh học, thuật ngữ này thường được dùng để chỉ một nhóm nơ-ron là đối tượng của một nghiên cứu khoa học nhất định Qua nghiên cứu về bộ não, người ta nhận thấy bộ não con người bao gồm khoảng 10 đến 11 nơ-ron tham gia vào khoảng 10 đến 15 kết nối trên các đường truyền Mỗi đường truyền này dài hơn một mét Các nơ-ron có nhiều điểm chung với các tế bào khác trong cơ thể, nhưng chúng cũng sở hữu những khả năng độc đáo mà các tế bào khác không có, đó là khả năng nhận, xử lý và truyền các tín hiệu điện hóa trên các đường mòn nơ-ron, tạo thành hệ thống giao tiếp của bộ não.

Moi nơ-ron sinh h9c có 3 thành ph§n cơ ban:

• Các nhánh vào hình cây (dendrites)

Hình 1.1: Cfu trúc cua mt;t nơ-ron sinh h9c đien hình

Các nhánh hình cây của neuron nhận tín hiệu vào từ các tế bào khác Thân tế bào tổng hợp và xử lý tín hiệu để truyền ra ngoài Tín hiệu được truyền từ thân tế bào này sang neuron khác qua các điểm kết nối gọi là synapse Liên kết giữa các neuron và độ nhạy của mỗi synapse được xác định bởi quá trình hóa học phức tạp Một số cấu trúc của neuron được xác định trước khi sinh ra, trong khi một số khác phát triển thông qua quá trình học Trong suốt cuộc đời, một số liên kết mới được hình thành, trong khi một số khác bị phá hủy.

Nơ-ron sinh học hoạt động bằng cách nhận tín hiệu đầu vào, xử lý các tín hiệu này và tạo ra tín hiệu đầu ra Tín hiệu đầu ra sau đó được truyền đi để trở thành tín hiệu đầu vào cho các nơ-ron khác.

Dựa trên những hiểu biết về nơ-ron sinh học, con người đang xây dựng nơ-ron nhân tạo với hy vọng tạo nên một mô hình mạnh mẽ như bộ não Nơ-ron nhân tạo được phát triển nhằm tái tạo các chức năng của nơ-ron sinh học, mở ra khả năng ứng dụng trong nhiều lĩnh vực công nghệ và trí tuệ nhân tạo.

Mô hình mạng nơ-ron nhân tạo được thiết kế dựa trên các tính chất của mạng nơ-ron sinh học Tuy nhiên, khác với các mô hình tự nhiên, phần lớn các ứng dụng của nó có bản chất kỹ thuật.

M9t nơ-ron là m9t đơn vi xu lý thông tin và là thành ph§n cơ ban cua m9t mi;ng nơ-ron C§u trúc cua m9t nơ-ron đưQc mô ta a hình dư6i.

Các thành ph§n cơ ban cua m9t nơ-ron nhân ti;o bao gom:

T%p các đ§.u vào Là các tín hii;u vào (input signals) cua nơ-ron, các tín hii;u này thưang đưQc đưa vào dư6i di;ng m9t vectơ N chi@u.

Trọng số liên kết (synaptic weight) là một yếu tố quan trọng trong việc truyền tải tín hiệu giữa các nơ-ron, thường được ký hiệu là w Các trọng số này thường được khởi tạo một cách ngẫu nhiên và được cập nhật liên tục trong quá trình học máy.

B9 t6ng (Summing function) Thưang dùng đ@ tính t6ng cua tích các đ§u vào v6i tr9ng s6 liên k@t cua nó.

Ngưang (còn g9i là m9t đ9 li;ch - bias) NgưBng này thưang đưQc đưa vào như m9t thành ph§n cua hàm truy@n.

Hàm truyền (Transfer function) được sử dụng để xác định đầu ra của mỗi nơ-ron, với đầu vào là kết quả của hàm tổng và ngưỡng đã cho Thông thường, đầu ra của nơ-ron được giới hạn trong khoảng [0, 1] hoặc [-1, 1] Các hàm truyền rất đa dạng, bao gồm cả các hàm tuyến tính và phi tuyến Việc lựa chọn hàm truyền phù hợp phụ thuộc vào từng bài toán cụ thể và kinh nghiệm của người thiết kế Đầu ra là tín hiệu đầu ra của một nơ-ron, với mỗi nơ-ron có tối đa một đầu ra.

Tương tự như nơ-ron sinh học, nơ-ron nhân tạo nhận các tín hiệu đầu vào, xử lý chúng thông qua các trọng số liên kết, tính tổng các tích thu được và sau đó gửi kết quả qua hàm truyền, từ đó tạo ra tín hiệu đầu ra, chính là kết quả của hàm truyền.

1.3.2 Mô hình m�ng nơ-ron

Mạng nơ-ron, dù là đơn giản, vẫn có khả năng xử lý thông tin một cách hiệu quả thông qua các chức năng nhất định Sức mạnh của tính toán nơ-ron được thể hiện qua việc kết hợp các nơ-ron trong một kiến trúc đồng nhất Mỗi nơ-ron hoạt động như một mô hình tính toán, được xác định bởi các tham số như kiểu nơ-ron (các nút trong mạng), cấu trúc kết nối (cách thức tổ chức kết nối giữa các nơ-ron) và thuật toán học (phương pháp học cho mạng).

THOI ĐIEM DUNG TOI ƯU CHO BÀI TOÁN

Mô hình bài toán quang cáo

Quảng cáo hiện nay đóng vai trò quan trọng trong việc giúp doanh nghiệp và cá nhân đạt được thành công trong kinh doanh Các doanh nghiệp từ giáo viên dạy học thêm, YouTuber đến các công ty kinh doanh đa cấp đều cần xây dựng chiến lược quảng cáo tối ưu, bao gồm cả quảng cáo trực tuyến và các chiến dịch quảng cáo hiệu quả Đối với các công ty đa cấp, việc truyền thông là rất quan trọng Họ thường tổ chức các hội nghị truyền thông để giới thiệu sản phẩm và mô hình kinh doanh của mình Giá thành ban đầu của sản phẩm thường cao do chi phí cho nhân viên phát triển hệ thống Nếu hệ thống không phát triển thêm, các công ty sẽ phải điều chỉnh cách thức kinh doanh và quảng cáo để cạnh tranh, nếu không sẽ gặp khó khăn trong việc thu hút khách hàng và tiêu thụ sản phẩm.

Trong chương này, chúng tôi phân tích bài toán xây dựng chiến dịch quảng cáo cho hàng hóa A trong bối cảnh thị trường đang trong quá trình thâm nhập Ở đây, N đại diện cho dân số, và n(t) biểu thị số lượng khách hàng tiềm năng sẵn sàng mua sản phẩm A tại thời điểm t.

Hiệu quả của chiến dịch quảng cáo qua truyền thông (E) và hiệu quả của sự lan tỏa và uy tín của sản phẩm (M) đều có ảnh hưởng lớn đến lượng khách hàng Những người yêu thích sản phẩm có thể tạo ra sự quảng bá tích cực, làm tăng số lượng khách hàng, trong khi những người không thích có thể làm xấu đi hình ảnh của sản phẩm trong mắt người tiêu dùng trung lập Nghiên cứu trong tài liệu [15] đã xem xét bài toán tối ưu trong quảng cáo và đưa ra giải pháp thông qua phương pháp sắp xếp.

Các bài toán thai định tối ưu thường được giải bằng phương pháp đổi đo đạc, biến quá trình ngẫu nhiên thành quá trình ngẫu nhiên có tính chất martingale Sau đó, bài toán biên được xác định để tìm đường tối ưu Điểm chính của đường bao với quá trình ngẫu nhiên tăng sẽ là thai định dung và liên quan đến một bài toán phương trình vi phân riêng, từ đó cho ta giá trị cực trị của hàm mục tiêu.

Trong [16] tác gia xét bài toán thai đi@m dung t6i ưu

E e −rτ X τ ] trong đó X(t) là nghii;m cua phương trình vi phân ngau nhiên dX t = a t X t dt + σX t dW t , t ;;? 0 Đưang bao b(t) trong [16] đưQc xác đinh thông qua vii;c giai phương trình tích phân sau:

— ωσu − ω 2 u 1 trong đó đ9 dich chuy@n a là bi@n ngau nhiên nh n� m9t trong hai giá tri a l ho$c a h v6i đ9 bi@n đ9ng σ > 0 là hi1ng s6 cho trư6c, lãi su§t r là hi1ng s6 thoa mãn a l < r < a h , ω = a h σ −a l

Các bài báo đã nêu trình bày các khía cạnh khác nhau của bài toán tối ưu hóa, với điểm chung là cần sử dụng kiến thức sâu rộng về phương trình vi phân ngẫu nhiên, lý thuyết martingale, và các phương trình liên quan Trong chương này, chúng tôi áp dụng phương pháp Monte Carlo và học máy để sắp xếp các quyết định cho một quá trình đầu tư hoặc quảng cáo Ưu điểm của phương pháp này là sử dụng ít biến thể và quá trình ngẫu nhiên, đồng thời dễ dàng áp dụng cho các thị trường có sẵn.

Các mạng nơ-ron có khả năng sắp xếp các hàm quyết định một cách hiệu quả Đặc biệt, chúng có thể tự động điều chỉnh khi có dữ liệu mới, giúp tối ưu hóa quá trình sắp xếp các quyết định, từ đó nâng cao độ chính xác.

Hình 2.1: Mô phong cho thoi điem dilng t8i ưu

Chiến dịch quảng cáo thông qua truyền thông sẽ tác động đến những người chưa phải là khách hàng của công ty, đồng thời lan tỏa thông điệp đến những khách hàng hiện tại Các khách hàng hiện tại sẽ giới thiệu và khuyến cáo những người tiêu dùng chưa phải là khách hàng về sản phẩm, giúp tăng cường sự nhận diện thương hiệu Điều này sẽ tạo ra sự chuyển biến tích cực trong hành vi mua sắm của khách hàng, từ đó xác định được sự phát triển bền vững cho doanh nghiệp.

Phương trình (2.1) mô tả sự tương tác giữa hiệu quả của chiến dịch truyền thông và chất lượng sản phẩm A, với E là hiệu quả và M là chất lượng Khi đặt X(t) = n(t) ∈ [0, 1], phương trình này chuyển thành (2.2), thể hiện mối quan hệ giữa sự thay đổi của X(t) theo thời gian và các yếu tố ảnh hưởng đến nó Trong đó, b = MN và E được phân rã thành hai thành phần, một thành phần xác định rõ ràng.

— − m9t thành ph§n ngau nhiên có đ9 li;ch chuiin ti li; v6i a, tuc là E = a + σadW (t). Khi đó phương trình (2.1) tra thành dX(t) = [a(1 − X(t)) + bX(t)(1 − X(t))]dt + σa(1 − X(t))dW (t) (2.3)

Gia su X(t) là nghii;m cua phương trình vi phân (2.3) G9i F = (F t ) t∈[0,T ] là b9 l9c sinh bai X(t).

Xét hàm liên tl).c g : [0, T ] × R → R, g (t, X t ) là hàm cua thai gian t và thi ph§n

Bài toán đ$t ra là c§n xác đinh thai đi@m τ ∗ , là nghii;m cua bài toán sau f (τ ∗ , X τ ∗ ) = sup E [g (τ, X τ )] τ trong đó τ : Ω → [0, T ] là m9t F - thai đi@m dung, E [g (t, X t )] < ∞.

Giai mô hình

Xét phương trình vi phân ngẫu nhiên (2.3) dX(t) = [a(1 − X(t)) + bX(t)(1 − X(t))]dt + σa(1 − X(t))dW(t), ta có −dX(t) = dZ(t) và do đó dZ(t) = −Z(t)[a + b(1 − Z(t))]dt − σaZ(t)dW(t) Từ đó, ta có phương trình (2.4) dZ(t) = [bZ^2(t) − (a + b)Z(t)]dt − σaZ(t)dW(t) Để giải phương trình (2.4), ta tiếp tục với phương trình (2.5) dZ(t) = [αZ^2(t) + βZ(t)]dt + λZ(t)dW(t), trong đó α, β và λ là các tham số của quá trình ngẫu nhiên X(t) Cuối cùng, ta có Y(t) = Z^−1(t) = 1.

Theo công thuc Itô ([19]) ta có: dY (t) = − 1 dZ(t) + 1 2 λ 2 Z 2 (t)dt

Vì v y� quá trình ngau nhiên Y (t) thoa mãn phương trình sau: dY (t) = (( λ 2 − β

Phương trình cho bai (2.6) là m9t phương trình vi phân ngau nhiên tuy@n tính và có th@ giai đưQc theo các B6 đ@ sau.

B6 đ@ 2.1 Nghiijm cua phương trinh vi phân ngfu nhiên dưdi đây dφ (t) = a 1 φ (t) dt + b 1 φ (t) dW (t) (2.7) có d ng φ (t) exp f(a1 − 1 t + b 1 W

B6 đ@ 2.2 Nghiijm cua phương trình vi phân ngfu nhiên dưdi đây dY (t) = (a 1 Y (t) + c 1) dt + (b 1 Y (t) + d 1) dW (t) (2.9) có d ng

H� qua 2.1 Nghiijm cua phương trình (2.6) có d ng: trong đó

Chung minh Thay a 1 trong (2.9) bai λ 2 − β; c 1 bai −α; b 1 bai −λ và d 1 = 0 ta thu đưQc (2.10) D

H� qua 2.2 Nghiijm cua phương trình (2.5) có d ng:

Chung minh Thay Y (t) trong (2.10) bai

1 ta thu đưQc (2.11) D Đinh lý 2.1 Nghiijm cua phương trình (2.4) có d ng:

Chung minh D\fa vào Hi; qua 2.2 ta có đi@u phai chung minh D

X§.p xi thoi điem dung t6i ưu b�ng m�ng nơ-ron 39

Trong phần này, chúng ta sẽ giải quyết bài toán đã nêu ở phần 2.1, nhằm xác định trạng thái tối ưu τ ∗ Bài toán được định nghĩa bởi biểu thức f (τ ∗ , X τ ∗ ) = sup E [g (τ, X τ )], với τ: Ω → [0, T] là một hàm F-thời gian liên tục và yêu cầu E [g (t, X t )] phải hữu hạn.

Rai ri;c húa quỏ trỡnh ngau nhiờn X t bai N + 1 đi@m chia 0 = t 0 < t 1 < ã ã ã < t N

= T Khi đó ta có đưQc giá tri cua các th@ hii;n cua quá trình ngau nhiên (2.3) ti;i các đi@m rai ri;c như sau

X t n+1 = X t n + [a (1 − X t n ) + bX t n (1 − X t n )] (t n+1 − t n ) + σa (1 − X t n ) (w t n+1 − w t n ) Nghii;m cua bài toán (2.13) đưQc x§p xi bai nghii;m cua bài toán sau

J (τ ∗ , X τ ∗ ) = sup {E [g (τ, X τ )]} (2.14) trong đú τ : Ω → {t 0 , t 1 , t 2 , ã ã ã , t N } là m9t F - thai đi@m dung.

1} Khi đó, thai đi@m τ n đưQc xác đinh bai

(2.15) se nh n giá tri trong � t p � {n, n + 1, , N } và do đó τ 1 ∈ {1, 2, , N } Ta g9i T n là t p� các thai đi@m dung trong t p� {n, n + 1, , N } Trong (2.15) ta th§y n@u m ∈ {1, 2, , N } là giá tri đ§u tiên thoa mãn α m (X m ) = 1 thì τ 1

Để xác định bài toán tối ưu, chúng ta cần tìm giá trị nhỏ nhất của m trong tập hợp {1, 2, , N} sao cho α m (X m ) = 1 Để làm điều này, chúng ta áp dụng nguyên lý quy hồi động, bắt đầu từ trạng thái τ N = N và sau đó xem xét các trạng thái trong khoảng từ τ n + 1 đến τ N − 1.

1 D\fa vào k@t qua v@ kỳ v9ng cua hàm ml).c tiêu trong giai đoi;n tu n + 1 đ@n N , a thai đi@m n ta quy@t đinh dung li;i n@u giá tri cua hàm ml).c tiêu ti;i thai đi@m n l6n hơn giá tri kỳ v9ng tính toán đưQc trong giai đoi;n n + 1 đ@n N , ngưQc li;i ta ti@p tl).c gi�t lùi v@ thai đi@m n − 1 sau đó l$p li;i quá trình so sánh và đưa ra quy@t đinh. Đinh lý sau đây cho ta bi@t sau moi bư6c lùi thì giá tri kỳ v9ng cua hàm ml).c tiêu ti@n g§n hơn đ@n c\fc đi;i cua nó so v6i bư6c trư6c đó. Đinh lý 2.2 Đr;t V n = sup Eg (τ, X τ ), vdi τ n+1 τ

(1 − α j (X j )) cho trưdc, t n t i hàm α n : R → {0, 1} sao cho vdi thoi điem dilng τ n = nα n (X n )+ τ n+1 (1 − α n (X n )) thì bft đ ng thitc sau đư(Jc thoa mãn

Chung minh Đ$t R = V n+1 − Eg (τ n+1 , X τ n+1 ), ton ti;i hàm m n : R → R thoa mãn

Theo tính ch§t Markov cua X ta có m n (X n ) = E [g (τ n+1 , X τ n+1 ) |F n ].

Ký hii;u D = {g (n, X n ) ;;? m n (X n )},D đưQc g9i là t p� dung và

D c = {g (n, X n ) < m n (X n )} là t p� ti@p tl).c Ký hii;u E = {τ = n} là bi@n c6 quá trình quang cáo dung ti;i thai đi@m n Ta th§y D và E đ@u thu9c F n và E [I D ] = E [I E ] ; E [I D c ] = E [I E c ].

G9i τ ∈ T n là m9t thai đi@m c6 đinh Ta có τ n = n 1 D + τ n+1 I D c ∈ T n và τ = τ n+1 I E + τ I E c ∈

Tu đây ta thu đưQc

Eg (τ n , X τ n ) ;;? V n − R = V n − (V n+1 − E[g(τ n+1 , X τ n+1 )] hay là V n − Eg (τ n , X τ n ) � V n+1 − Eg (τ n+1 , X τ n+1 )

� c = E [g (τ, X ) I ] − R τ E và đó là đi@u phai chung minh D Trong chung minh Đinh lý 2.2, τ n = n I D + τ n+1 (1 − 1 D ), như v y� là I D = α n (X n ) trong đó α n và thai đi@m

(1 − α j (X j )) đo đưQc v6i F n k=n j=n Đinh nghĩa 2.1 Các hàm tuyen tính a θ : R → R q 1 , a θ

R q I−2 → R q I−1 và a θ : R q I−1 → R đư(Jc xác đinh như sau: a θ : R m → R p a θ (x) = A i x + b i ; i = 1, 2, , I trong đó x ∈ R m ; A i ∈ R p.m ; b i ∈ R p ; i

Hàm max ϕ j : R j → R j được định nghĩa như sau: ϕ j (x 1, , x j) = max(x, 0) Hàm sigmoid σ : R → (0, 1) được xác định bởi công thức σ(x) = 1 / (1 + e^(-x)) Chúng ta sẽ áp dụng các hàm α n (X n) với n = 0, 1, 2, , N để tạo thành một dãy hợp thành từ các hàm phi tuyến, hàm max và hàm sigmoid.

1 j Đinh lý 2.3 Vdi n ∈ {0, 1, ã ã ã , N − 1} và thoi điem dilng τ n+1 ∈ T n+1 cho trưdc Khi đó vdi m9i hlng s8 ε > 0 cho trưdc, t n t i hàm α θ n = I [0,∞) ◦ a θ n ◦ ϕ q ◦ a ◦ ã ã ã ◦ ϕ q ◦ a (2.17) n sao cho

N trong đó M là tiJp tft ca các hàm đo đư(Jc α : R → {0, 1}, q là tfng s8 các tham s8 cua hàm α θ n

Chung minh C6 đinh ε > 0, theo đinh nghĩa cua supremum, ton ti;i hàm α� : R → {0, 1} sao cho

(2.18) α có th@ đưQc vi@t dư6i di;ng α = I A v6i A là t p� Borel A = {x ∈ R : α (x)

= 1} Khi đó ton ti;i t p� B ⊆ A sao cho

(2.19) Đ$t ρ B (x) = inf x y là khoang cách gil1a x và t p� B Khi đó hàm s6 y∈B b j : R → [−1, 1] b j (x) = max {1 − jρ B (x) , −1} ; j ∈ N là hàm liên tl).c và lim j→∞ b j (x) = I B (x) − I B c (x). n n n

Suy ra theo đinh lý h9i tl) làm tr9i Lebesgue ton ti;i j 0 ∈ N đu l6n sao cho

Theo Đinh lý 1 trong [20 ] hàm b j 0 (x) có th@ đưQc x§p xi bai hàm p : R → R cho bai r s p (x) (a i x + b i ) + −

Mà I [0,∞) ◦ p có th@ vi@t dư6i di;ng α θ n = I [0,∞) ◦ a θ n ◦ ϕ q ◦ a ◦ ã ã ã ◦ ϕ q ◦ a v6i I ;;? 2 n I I−1 I−1 1 1

Tu (2.18), (2.19), (2.20)và (2.21) suy ra sup θ n ∈R q E g (n, X n ) α θ n (X n ) + g (τ n+1 ,

N Đinh lý đã đưQc chung minh D

H� qua 2.3 Thoi điem dilng τ 1 ∈ T1 cho bMi τ 1 = t h o a mãn N k=1 n n k j

Ta th§y hàm α n (x) trong (2.17) đưQc bi@u dien bi1ng mi;ng nơ-ron gom 1 l6p iin, 1 l6p vào, 1 l6p ra.

Ta c§n xây d\fng m9t dãy các mi;ng nơ-ron { α θ n

N đ@ x§p xi các quy@t đinh đã đưQc xác đinh.

Xét mi;ng nơ-ron Φ θ n = ψ ◦ a θ n ◦ ϕ q

◦ ã ã ã ◦ ϕ q 1 ◦ a 1 Φ θ n (x) là hàm liên tl).c theo θ n nên ch9n đưQc θ n ∈ R n sao cho

Giai thu%t giai bài toán thoi điem dung t6i ưu

Chúng tôi giới thiệu giải pháp tối ưu cho bài toán thai định bằng cách sắp xếp các quyết định dựa trên mạng nơ-ron và kỳ vọng của hàm mục tiêu Mỗi bước lặp được sắp xếp bằng mô phỏng Monte-Carlo.

Sau khi hoàn thiện, chúng ta đã thiết lập các tham số tối ưu cho các mô hình neuron, phù hợp với mỗi thay đổi của quá trình ngẫu nhiên Điều này cho phép chúng ta sử dụng các mô hình neuron một cách hiệu quả hơn trong các ứng dụng khác nhau.

− n n= dung a các thai đi@m n = 1, 2, , N Trư6c h@t 1 α θ N ≡ 1 v6i b9 tham s6 θ N ∈

N ron này đ@ tính toán quy@t đinh dung hay không dung ti;i thai đi@m n khi có thông tin v@ X 1 , X 2 , , X n

Thu%t toán 2.1 X§p xi lai giai cho bài toán thai đi@m dung t6i ưu

• Mô phong K th@ hii;n cua quá trình X(t) t i n+1 i + a (

• Khai ti;o θ đưQc ch9n sao cho α N ≡ 1

4: Ti;o l p� mi;ng nơ-ron Φ θ n,j = ψ ◦ a θ n,j

Như v y� sau khi ư6c lưQng đưQc α θ 1 , α θ 2 , ã ã ã , α θ N ta tớnh g (0, x 0).

N@u g (0, x 0) ;;? L� 1 thì dung ngay, ngưQc li;i tính α θ 1 (X 1) N@u α θ 1 (X 1) = 1 thì τ 1 = 1 dung ti;i n = 1, ngưQc li;i α θ 1 (X 1) = 0 thì tính ti@p α θ 2 (X 2)

KEt qua mô phong

Chúng tôi mô phỏng quá trình ngẫu nhiên X(t) với các tham số a = 0.4, b = 0.5, N = 600, σ = 0.04 và chọn hàm mục tiêu g(t, X_t) = X_t Sau khi huấn luyện với K = 1000, quy định độc lập của X(t) và 500 bước lặp, chúng tôi tìm tham số tối ưu cho mỗi miền và thu được 600 miền nơ-ron đã sắp xếp Giá trị trung bình của hàm mục tiêu được so sánh với giá trị của hàm mục tiêu tại điểm 0 Với các giá trị của chuỗi X_1, X_2, , X_N lần lượt qua α θ_1, α θ_2, , α θ_N, nếu kết quả đầu tiên là 1 thì đó là thỏa mãn dung.

Hình 2.2: Thoi điem dilng thu đư(Jc là τ ∗ = 137; X (τ ∗ ) 0.321177633918076

KEt lu%n chương 2

Trong chương này, chúng tôi đã nghiên cứu giải pháp cho một hệ phương trình vi phân ngẫu nhiên và xác định các quyết định tối ưu bằng mạng nơ-ron nhiều lớp thông qua quá trình huấn luyện và thực hiện mô phỏng Monte-Carlo Chúng tôi đã chứng minh rằng các kết quả thu được từ việc xác định bằng mạng nơ-ron sai khác một giá trị ε > 0 tùy ý so với giá trị tối ưu lý thuyết Quá trình mô phỏng ngẫu nhiên đã được thực hiện để phân tích một sản phẩm của công ty và tối ưu hóa chiến dịch quảng cáo Kết quả cho thấy các quyết định thu được đều đạt được các tiêu chí tối ưu Tuy nhiên, để đạt được độ chính xác cao hơn, cần phải tối ưu hóa quá trình ngẫu nhiên "min" hơn (N tăng), dẫn đến việc cần nhiều mạng nơ-ron hơn và số tham số trong mỗi mạng cũng phải tăng lên Do đó, việc xác định các quyết định bằng nơ-ron nhân tạo cần có máy tính tốc độ cao và hệ thống dữ liệu lớn để huấn luyện mạng tốt hơn.

THOI ĐIEM DUNG TOI ƯU CHO BÀI TOÁN BÁN TÀI SAN 50

Bài toán bán tài san t6i ưu và loi giai

Gia sư giá bán của một tài sản là quá trình ngẫu nhiên $X_t$ được mô hình hóa bằng chuyển động Brown theo phương trình $dX_t = \alpha X_t dt + \sigma X_t dW_t$, với $t \geq 0$ Trong đó, $\{W_t\}$ là chuyển động Brown tiêu chuẩn và quá trình $X_t$ độc lập với $\alpha$ trên không gian xác suất $(\Omega, F, P)$ Chúng ta cũng giả sử rằng

Tăng trưởng là biên ngẫu nhiên nằm giữa hai giá trị a1 và a2, với điều kiện a1 < r < a2, trong đó r ≥ 0 là hệ số lợi suất và X0 là giá trị tài sản ban đầu Giả sử chủ tài sản muốn bán tài sản của mình nhưng không biết được độ trưởng của nó.

Bang 3.1: Phân b8 ban đdu cua đt; trư(Jt à à 1 à 2

Xác su§t π 1-π giỏ ca là à 1 hay à 2 chi bi@t phõn b6 lỳc ban đĐu như trong Bang 3.1.

Ml).c đích cua chu sa hl1u là mu6n bán v6i giá có kỳ v9ng cao nh§t và ml).c đích cua bài toán này cũng là như v�y V@ m$t toán h9c ta ký hii;u

{F X t∈[0;∞)là σ-trưang sinh bai X (quá trình giá ca) và chu sa hl1u ch9n F X - thai đi@m dung τ v6i τ ∈ [0; ∞)

V = sup E e −rτ X τ (3.2) τ ∈T đi;t đưQc ti;i m9t thai đi@m dung xác đinh thu9c t p� T là t p� các F X - thai đi@m dung.

V6i t ≥ 0, đ$t π t = P à = à 1|F X là xỏc suĐt cú đi@u kii;n mà đ9 trưQt nh n� giỏ tri nho ti;i thai đi@m t, do đú 1 − π t = P à = à 2|F X

Theo Đinh lý 7.12 và Đinh lý 9.1, quá trình giá X_t được mô hình hóa bằng phương trình vi phân ngẫu nhiên dX_t = [α_1 π_t + (1 - π_t) α_2] X_t dt + σX_t dW_t Đồng thời, quá trình niềm tin π_t thỏa mãn phương trình dπ_t = -ωπ_t (1 - π_t) dW_t, trong đó ω = (α_2 - α_1) / σ W là quá trình chuyển động Brown định nghĩa bởi dW_t Để giảm độ chiều của bài toán, ta định nghĩa quá trình Z_t với phương trình dZ_t = - (σ + ωπ_t) dt + dW_t.

( và đ9 đo xác su§t m6i dQ Q v6i đi;o hàm Radon-Nikodym đưQc đinh nghĩa bai

Để chọn λ sao cho điều kiện 2 − λ − r < 0 và −2(2 − λ − r) − ω² > 0 được thỏa mãn, theo Định lý Girsanov, Z trở thành chuyển động Brown với độ đo Q Chúng ta xác định quá trình ngẫu nhiên mới π_t với công thức dΦ = ω²πΦ dt + 1 dπ = ω²πΦ dt − ωπ_t(1 − π_t)dW_t, trong đó (1 − π_t)² là yếu tố quan trọng trong quá trình này.

= ω 2 π t Φ t dt − ωΦ t dW t = ω 2 π t Φ t dt − ωΦ t (dZ t + (ωπ t + σ) dt)

Bi@u dien X theo Z cho ta

V6i đ9 đo Q thì X t và Φ t đ@u là chuy@n đ9ng Brown hình h9c Hơn nl1a, σ-trưang sinh bai Z và X là trùng nhau [21].

Bây gia đ@ xây d\fng các tính toán trên đ9 đo m6i chúng ta đinh nghĩa quá trình θ t exp f 1 t

E Q e (à l −λ−r)τ (1 + Φ ) 1 + φ trong đó τ là thoi điem dilng thích nghi vdi bt; l9c F X , x = X 0 , φ = Φ0 = π ,

E Q là kỳ v9ng theo đt; đo Q.

Xét quá trình ngau nhiên d θ t θ t

Theo công thuc Itô ta có e (à l −λ)t x dK t (1 + φ)X

Vì θ t = K t h.c.c nên chúng ta có:

Mi;nh đ@ đưQc chung minh D

Theo Mi;nh đ@ trên ta có

Khi giá trị Φ t tăng lên, khả năng thu hồi giảm Giả sử tồn tại B ∈ (0; ∞) sao cho thời gian dừng τ B = inf {t ≥ 0 : Φ t ≥ B} là thời gian dừng tối ưu cho bài toán Định nghĩa F = E Q e (à l −λ−r)τ (1 + Φ τ ), theo lý thuyết thời gian dừng tối ưu, (F, B) là kết quả của bài toán biên.

F (1) = 0 (3.12) trong đó LF = ω 2 φ 2 F − σωφF là toán tu vi phân

Như v y� F là nghii;m cua phương trình vi phân ω 2

2 φ F − σωφF + (à 2 − λ − r) F = 0 (3.13) Đây là phương trình Cauchy-Euler có phương trình đ$c trưng ω 2

Do đó g(x) có hai nghii;m x 1 < 0 < 1 < x 2 do đó nghii;m t6ng quát cua phương trình (3.13) có di;ng

F (φ) = C 1 φ x 1 + C 2 φ x 2 , 0 < φ < B (3.15) trong đó C 1, C 2 và B đưQc xác đinh duy nh§t bai các đi@u kii;n (3.9)-(3.11).

C 1 x 1 + C 2 x 2 = 0 và đi@u kii;n F(B) = 1 cho C 1 x 1 B x 1 −1 + C 2 x 2 B x 2 −1 1 Tu đó suy ra

B Thay C 1 và C 2 tu (3.16) vào bi@u thuc trên ta có

Chúng ta có phương trình đ@ xác đinh B như sau x 1 x 2 B x 1 −1 − x 1 x 2 B x 2 −1 + x 2 (x 1 − 1) B x 1 + x 1 (1 − x 2) B x 2 = 0 (3.17) Đinh lý 3.1 Phương trình (3.17) có nghiijm duy nhft B ∈ (1; ∞).

Ta th§y h(1) = −x 2 + x 1 < 0 và lim t→∞ h(t) > 0 do x 1 (1 − x 2) > 0.

Do đó phương trình h(t) = 0 có nghii;m B ∈ (1; +∞).

−x x — 1 = − 2( à 2 −λ−r) − 1 = − 2( à 2 −λ−r)−ω > 0 do cách ch9n λ, do đó h(t) ≥ h(1) > 0.

Vì th@ h(t) là hàm tăng trên (1; +∞) Tu đó suy ra phương trình (3.17 ) có nghii;m duy nh§t.

 1 + φ, φ ≥ B vdi B > 1 là nghiijm duy nhft cua phương trình x 1 x 2 − x 1 x 2 B x 2 −x 1 + x 2 (x 1 − 1) B + x 1 (1 − x 2) B x 2 −x 1 +1 = 0

C 1 và C 2 đư(Jc xác đinh trong (3.16) và thoi điem dilng τ B = inf {t ≥ 0 : Φ t ≥ B} là thoi điem dilng t8i ưu cua (3.7).

Chung minh Gia su B là nghii;m duy nh§t cua phương trình (3.17), đinh

2 ω 2 ω 2 nghĩa hàm G bai công thuc

Ta có G(φ) ≥ 1 + φ, và G(φ) > 1 + φ khi và chi khi φ < B.

Quá trình Y_t được mô tả bởi phương trình vi phân ngẫu nhiên dY_t = e^(α2 − λ − r)t (α2 − λ − r + (α1 − λ − r)Φ_t) I{Φ > B} dt − e^(α2 − λ − r)t ωΦ_t G(Φ_t) dZ_t, với Y luôn âm, cho thấy Y là super-martingale và Y_t∧τ_B là martingale Tại thời điểm τ, chúng ta có thể bắt đầu thực hiện các phân tích tiếp theo.

N@u τ = τ B thì (3.18) tra thành đing thuc

Tu đó suy ra F (φ) = G(φ) D Đinh lý 3.3 Đr;t φ π

Khi đó hàm giá V đư(Jc cho bMi công thitc

Hơn niia, thoi điem dilng τ B = inf { t ≥ 0 : π t ≥ B là thoi điem dilng t8i ưu cua bài toán (3.2). Đinh lý 3.4 Hàm giá V là hàm giam theo π.

N@u φ ≥ 1 hàm h(φ) := x 1 (1 − x 2) φ x 2 −x 1 +1 x 1 x 2 − x 1 x 2 φ x 2 −x 1 + x 2 (x 1 − 1) φ là hàm tăng v6i 1 ≤ φ < B suy ra h(φ) ≤ 0.

= [x 2 (x 1 − 1) + x 1 (1 − x 2)] φ = (x 1 − x 2) φ < 0 Đi@u này cho th§y V giam theo φ và φ là hàm tăng theo π.

Ta có đi@u phai chung minh D

X§.p xi đưong bao t6i ưu b�ng m�ng nơ-ron

Xem xét quá trình ngẫu nhiên {x_t | t = 0, 1, 2, } với các giá trị nằm trong không gian trạng thái R^d, xác định trên không gian xác suất (Ω, F, P) Mỗi biến ngẫu nhiên x_t được mô tả bởi một σ-trường Borel liên kết với R^d, ký hiệu là B_R^d Ký hiệu σ-trường của các thông tin sinh ra bởi các biến ngẫu nhiên {x_0, x_1, , x_t} là F_T ∈ F Gọi U là tập hợp các trạng thái dung Bây giờ, ta xem xét bài toán trạng thái dung trên không gian xác suất (Ω, F, P) với quá trình ngẫu nhiên {x_t | t = 0, 1, 2, } và các hàm giá g: R^d → R, G: R^d → R tương ứng với các trạng thái tiệm cận và trạng thái kết thúc Như vậy, kỳ vọng giá tương ứng với

C thai đi@m dung τ đưQc cho bai: τ

0 α t g (x t ) + αG (x τ ) trong đó G (x τ ) nh n� giá tri 0 n@u τ = ∞ M9t thai đi@m dung t6i ưu τ ∗ là thai đi@m thoa mãn: τ

Sau đây ta nhic li;i khái nii;m xích Markov có tính Ergodic cho quá trình ngau nhiên rai ri;c x t

Gia su {x t |t = 0, 1, 2, } là xích Markov rai ri;c và thu§n nh§t, R d là không gian tri;ng thái, các ph§n tu cua nó đưQc ký hii;u là i, j, k, (có chi s6 ho$c không).

Khi đó, tính Markov và tính thu§n nh§t cua x t có nghĩa là: p ij = P (x n+1 = j | x n = i)

Ma trận xác suất chuyển (P = (p ij)) là một công cụ quan trọng trong lý thuyết xác suất, dùng để mô tả xác suất chuyển từ trạng thái này sang trạng thái khác trong một quá trình Cụ thể, p ij đại diện cho xác suất có điều kiện tại thời điểm hiện tại (i) chuyển sang trạng thái j tại thời điểm tiếp theo (n + 1).

Chú ý ri1ng tu công thuc xác su§t d§y đu suy ra ma tr n� P = (p ij ) có tính ch§t

Ma tr n� có tính ch§t như th@ đưQc g9i là ma tr n� ngau nhiên

Xác suất chuyển trạng thái sau n bước được định nghĩa theo công thức p i (n) = P (x n+m = j | x m = i) = P (x n = j | x 0 = i) Công thức này mô tả xác suất chuyển từ trạng thái i sang trạng thái j sau n bước, với p (1) = p ij Chúng ta cũng quy ước p (0) = 1 khi i = j và p (0) = 0 khi i ≠ j.

0 n@u i /= j và đ$t P (n) = p (n) Đó là ma tr�n xác su§t chuy@n sau n bư6c.

Phân ph6i hl1u hi;n chi@u cua xích Markov đưQc tính theo công thuc sau:

Phân phối của một biến ngẫu nhiên được xác định bởi công thức p(n) = P(x_n = j) với n = 0, 1, 2, và j thuộc R^d Đặt Π(n) = p(n), j thuộc R^d và Π = Π(0) là phân phối ban đầu của biến ngẫu nhiên Theo Định nghĩa 3.1 ([9]), một chuỗi Markov được coi là có tính Ergodic nếu với mọi j thuộc R.

(n ) ij không ph thut;c vào i và thoa mãn các đieu kiijn: π j > 0 ∀j ∈ R d , j∈R d π j = 1. Đinh nghĩa 3.2 Xét hij phương trình x j i∈R d x i p ij

Nghiijm π = (π 1 , π 2 , ) hay π = π j , j ∈ R d cua hij phương trình đư(Jc g9i là phân ph8i dilng (hay bft bien) cua xích Markov vdi ma triJn xác suft chuyen

Định lý 3.5 cho biết rằng, trong một chuỗi Markov với không gian trạng thái R^d và ma trận xác suất chuyển P = (p_ij), xác suất vào trạng thái j khi n tiến đến vô cùng là π_j = lim n→∞ p(n), không phụ thuộc vào trạng thái ban đầu i.

Khi đó, chúng ta có các kết quả sau: i) Với j∈R, tổng π j ≤ 1 và π j = tổng i∈R d π i p ij ii) Hor;c π j = 0 với mọi j ∈ R d, và hor;c j∈E π j = 1 iii) Nếu π j = 0, thì không tồn tại phân phối đều, do đó phương trình hij x j = tổng i∈R d x i p ij không có nghiệm.

Còn neu như j R d π j = 1 thì π = (π 1 , π 2 , ) là phân ph8i dilng duy nhft, titc là π = ( π j , j ∈ R d là nghiijm duy nhft cua hij phương trình trên.

Ti@p theo ta đưa ra các gia thi@t cho quá trình ngau nhiên x t

Gia thiEt 1: Quá trình {x t |t = 0, 1, 2, } là xích Markov có tính Ergodic.

Do tính Ergodic nên quá trình ngau nhiên se là quá trình dung và E [J (x 0)]

= E [J (x t )] Th t v y, theo Đinh lý � � 3.5 ton ti;i π = π j , j ∈ R d là phân ph6i dung duy nh§t N@u ta l§y π = π j , j ∈ R d là phân ph6i ban đ§u cua xích Markov, tuc là π j = P (x 0 = j) ; j ∈ R d

= P (x n = j) = π j , tuc là x 0 , x 1 , x n , phân ph6i xác su§t như nhau.

Tu đó ta có phân ph6i đong thai cua các bi@n ngau nhiên x k , x k+1 , , x k+m không phl) thu9c vào k đ6i v6i m9i m hay x t là quá trình dung. i j

Tính ch§t Markov cua x t cho th§y ri1ng ton ti;i m9t phân b6 xác su§t P :

P [x t+1 ∈ A|F t ] = P (x t , A) v6i m9i A ∈ B R d và v6i m9i thai đi@m t Do đó v6i m9i hàm Borel J : R d → R ta có

Bây gia ta đinh nghĩa m9t toán tu ánh xi; tu m9t hàm đ@n m9t hàm khác như sau:

Quá trình xác suất π: B R d → [0, 1] được định nghĩa sao cho P[x t ∈ A] = π(A) với mọi A ∈ B R d và mọi thời điểm t Tính chất Ergodic cho thấy rằng phân bố này là phân bố bền vững duy nhất Chúng ta định nghĩa không gian Hilbert L 2(π) của các hàm xác định trên R d với tích vô hạn (J, J) π = E[J(x 0) J(x 0)] và chuẩn ||J|| π = E[J^2(x 0)], được xác định theo phân bố xác suất π J được định nghĩa là một hàm liên tục dưới phân bố xác suất π.

Gia thiEt 2: Các hàm giá g và G là nhl1ng hàm trong L 2(π).

Gia thiEt 3: Hi; s6 chi@t kh§u α ∈ (0, 1).

Ta đinh nghĩa toán tu T xác đinh bai: TJ = max {G, g + αPJ}.

∗ là thai đi@m dung t6i ưu khi và chi khi:

B6 đ@ 3.1 Vdi gia thiet 1, ta có \PJ\ π ≤ \J\ π ,∀J ∈ L 2 (π).

Chung minh Áp dl).ng b§t đing thuc Jensen, v6i m9i J ∈ L 2(π) ta có

B6 đ@ 3.2 Vdi các gia thiet 1-3, ta có TJ − TJ π ≤ α J − J π ∀J, J ∈ L 2 (π).

Chung minh Ta có b§t đing thuc sau

|max {c 1 , c 3} − max {c 2 , c 3}| ≤ |c 1 − c 2| Khi đó ∀x ∈ R d và ∀J, J ∈ L 2(π) ta có

|(TJ)(x) − (TJ)(x)| ≤ α|(PJ)(x) − (PJ)(x)| Để chứng minh điều này, ta cần xác định rằng T là một toán tử có tính chất đặc trưng, do đó tồn tại duy nhất điểm bất động J ∗ thuộc L 2 (π).

Ta đinh nghĩa toán tu T ∗ xác đinh bai

B6 đ@ 3.3 Vdi các gia thiet 1-3, ta có T ∗ J − T ∗ J π ≤ α J − J π , ∀J, J ∈

L 2 (π) Hơn niia J ∗ ∈ L 2(π) là điem bft đt;ng cua T ∗

J = TJ hay Tu đó ta có π

 g(x) + (αPJ ∗ ) (x), n@u ngưQc li;i nghĩa là J ∗ ae(π)

= T J Đinh lý 3.6 Vdi các gia thiet 1-3 các phát bieu sau là đúng:

1 T n t i duy nhft hàm thoa mãn phương trình J ∗ ae(π)

2.Thoi điem dilng τ ∗ xác đinh bMi τ ∗ = min {t|G(x t ) ≥ J ∗ (x t )} là thoi điem dilng t8i ưu.

Chung minh Ph§n 1 cua đinh lý đưQc suy ra tr\fc ti@p tu B6 đ@ 3.2 Ta có

Như v y� J τ ∗là m9t đi@m b§t đ9ng cua T ∗ , trong khi đó theo B6 đ@ 3.3 T ∗ có đi@m b§t đ9ng duy nh§t là J ∗ và do đó ae(π)

∗ Đ@ chung minh ph§n 2 cua đinh lý ta có v6i n là s6 nguyên không âm thì sup E [J τ

V6i C là m9t hi1ng s6 nào đó và đ9c l p� v6i n Áp dl).ng quy tic quy hoi;ch đ9ng ta có sup J τ∧n (x) = (T n G) (x), x R d τ ∈U

Và do v y� sup J τ∧n ( ) là hàm đo đưQc Áp dl).ng b§t đing thuc Jensen ta có: τ ∈U sup E J τ∧n (x 0)]

K@t hQp v6i tính bi ch$n cua sup E [J τ (x 0)] ta có: τ ∈U sup E [J τ (x 0)] E [(T n G) (x 0)] + α n C τ ∈U

Vì T là toán tu co trong L 2 (π) do v�y T n G h9i tl) v@ J ∗ m9t cách h§u chic chin.

Cu6i cùng ta có: lim n→∞

Vì v y� τ ∗ là thai đi@m dung t6i ưu D Đ$t Q ∗ (x) = g(x) + (αPJ ∗ ) (x) Vì J ∗ = max {G, Q ∗ } nên min {t|G (x t ) ≥ J ∗ (x t )} = min {t|G (x t ) ≥ max {G (x t ) , Q ∗ (x t )}}

J ∗ ton ti;i và duy nh§t nhưng ta không th@ tìm đưQc di;ng tưang minh cua nó

Chúng tôi sẽ sắp xếp Q* bằng cách sử dụng một mạng nơ-ron thông qua quá trình sắp xếp ngẫu nhiên liên tiếp Không gian các mạng nơ-ron 2 lớp sẽ được ký hiệu là G9i NN θ.

Xét m9t mi;ng nơ-ron Q θ (x t ) ∈ NN θ phl) thu9c tham s6 θ.

Thu t� toán sau đây cho phép ta ư6c lưQng các tham s6 cua mi;ng nơ-ron đ@ có th@ x§p xi v6i Q ∗

Thu%t toán 3.1 X§p xi lai giai cho bài toán thai đi@m dung t6i ưu

H9i tl) cua thu t toán trên là � θ ∗ (xem Đinh lý 3.8 a ph§n sau) Xét thai đi@m dung τ˜ xác đinh bai τ˜ = inf t G (x t ) ≥ Q θ ∗(x t ) se x§p xi cho thai đi@m dung τ ∗

1 V6i bĐt kỡ s6 th\fc dương q, ton ti;i hi1ng s6 à q sao cho v6i m9i x và t ta cú

2 Ton ti;i các đi;i lưQng vô hư6ng C 1 , q 1 sao cho v6i m9i hàm J thoa mãn

(1 + \x\ q 2 v6i đi;i lưQng vô hư6ng C 2 , q 2 nào đó thì lúc đó ta có

3 Ton ti;i các hi1ng s6 q, C sao cho v6i m9i x ∈ R d ta có

4 T6c đ9 h9c γ t là dãy không tăng và đươc xác đinh trư6c thoa mãn các đi@u kii;n sau:

G9i NN θ là không gian các mi;ng nơ-ron, ta g9i ΠQ là hình chi@u cua Q trên

NN θ , nghĩa là ΠQ = arg min

Q − Q và toán tu F đưQc xác đinh như sau

B6 đ@ 3.4 Vdi các gia thiet 1- 3 toán tu F thoa mãn đieu kiijn

Hơn niia Q ∗ là điem bft đt;ng duy nhft cua F trong L 2 (π).

Như v y� F là toán tu co trên không gian L 2 (π) nên ton ti;i duy nh§t đi@m b§t đ9ng Theo đinh lý 3.6ta có ae(π)

J = TJ ae(π) g + αPJ ∗ ae(π) = g + αP max {G, g + αPJ ∗ }

B6 đ@ 3.5 Vdi các gia thiet 1- 4 toán tu ΠF thoa mãn đieu kiijn ΠFQ − ΠFQ π ≤ α Q − Q π ; ∀Q, Q ∈ L 2 (π)

Hơn niia Q θ là điem bft đt;ng duy nhft cua ΠF trong L 2 (π) và thoa mãn:

Chung minh Vì toán tu chi@u là không là toán tu ma r9ng nên ΠFQ − ΠFQ π ≤ FQ − FQ π ≤ α Q − Q π

Vì mi@n chi@u cua Π là các mi;ng nơ ron nên đi@m b§t đ9ng cua ΠF có di;ng Q θ Theo tính ch§t cua phép chi@u ta có

Theo đinh lý Pythagorean ta có θ ∗ θ ∗

Cho trư6c θ ∗ thu đưQc tu thu�t toán x§p xi, ta đinh nghĩa thai đi@m dung τ là thai đi@m xác đinh bai τ = min { t|G(x t ) ≥ Q θ ∗(x t )

Ta đinh nghĩa các toán tu H và F như sau:

B6 đ@ sau đây cho th§y F là toán tu co và có đi@m b§t đ9ng duy nh§t là

B6 đ@ 3.6 Vdi các gia thiet til 1-4 vdi m9i Q, Q ∈ L 2 (π) ta có

Hơn niia Q = g + αP J τr là điem bft đt;ng duy nhft cua F trong L 2 (π).

Chung minh Do tính dung cua chuoi và b§t đing thuc Jensen ta có

= 1 Q ∗ − Q τr Theo đinh nghĩa cua F và F ta có F (

Q θ ∗ Áp dl).ng b§t đing thuc α

B6 đ@ 3.7 Vdi các gia thiet 1-4, thoi điem dilng τ thoa mãn

Ta li;i chú ý ri1ng Q ∗ (x) = g(x) + (αP J ∗ ) (x) và Q = g + αP J τr cho nên α

2 π π π tam giác và các B6 đ@ 3.4 và 3.6 ta có

Xét m9t x§p xi ngau nhiên θ t+1 = θ t + γ t s (z t , θ t ) v6i hàm s : R 2d × R K → R K cho bai: v6i z = (x, y). s(z, θ) = ∇ θ Q θ (x)(g(x) + α max{Q θ (y), G(y)} − Q θ (x))

B6 đ@ 3.8 ([13]) Vdi các gia thiêt 1 – 4 ta có (θ θ) s(θ) < 0, θ sθ�= 0 θ� và Đinh lý 3.7 ([13]) Xét mt;t xfp xi ngfu nhiên θ t+1 = θ t + γ t s (z t , θ t ) vdi hàm s : R 2d × R K → R K nào đó thoa mãn các gia thiet sau:

1 {z t |t = 0, 1, 2, ã ã ã} là mt;t xớch Markov cú tớnh Ergodic nhiJn giỏ tri trờn R 2d

2 Vdi bft kỡ s8 th1_c dương q, t n t i hlng s8 à q sao cho vdi m9i x và t ta cú

3 T8c đt; h9c γ t là dãy không tăng và đư(Jc xác đinh trưdc thoa mãn các đieu kiijn sau: ∞ γ t = ∞; ∞ γ 2 = ∞ t=0 t=0

Khi đó θ t ht;i t đen θ. Đinh lý 3.8 Vdi các gia thiet trên ta có:

1 Giai thuiJt xfp xi ht;i t mt;t cách hdu chdc chdn nghĩa là lim t→∞ θ t = θ ∗ (h.c.c)

2.Giá tri ht;i t θ ∗ là nghiijm duy nhft cua phương trình ΠF (

4.G9i τ là thoi điem xác đinh bMi τ = min { t|G(x t ) ≥ Q θ ∗(x t ) khi đó 1 E

Chung minh Các đi@u kii;n 1, 2 và 3 trong đinh lý de dàng đưQc thoa mãn v6i các dl1 kii;n cua thu t� toán.

\θ\ Như v y� đi@u kii;n 4 và 5 trong Đinh lý 3.7 đưQc thoa mãn.

Tu đó ton ti;i các hi1ng s6 C 2 , q 2 sao cho s(z, θ) − s(z, θ¯) ≤ C 2 θ − θ¯ (

1 + \z\ q 2 Như v y� đi@u kii;n 6 đưQc thoa mãn.

Tu gia thi@t 5 ta có

Vì v y� gia thi@t 7 đưQc thoa mãn Gia thi@t 8 đưQc cho bai B6 đ@ 3.8 Như v y� các đii;u kii;n cua đinh lý đưQc thoa mãn nên ph§n 1 cua đinh lý đưQc chung minh.

Ph§n 2 đưQc suy ra tu Đinh lý 7 3 và B6 đ@ 3.5 Ph§n 3 đưQc suy ra tu B6 đ@

3.6 và ph§n 4 cua đinh lý đưQc suy ra tu B6 đ@ 3.7 D

KEt qua mô phong

Trong ml).c này chúng tôi mô phong quá trình giá ca cua m9t tài san à 1 = 0.08; à 2 = 0.1; r = 0.09; σ = 0.35; ω = (à 1 − à 2) /σ

Hình 3.1: Thoi điem bán và giá bán t8i ưu τ B = 120; X (τ B ) = 1.4474

Hình 3.2: Thoi điem và giá bán t8i ưu τ B = 300; X (τ B ) = 2.4888

Hình 3.3: Thoi điem và giá bán t8i ưu τ B = 300; X (τ B ) = 3.0850

KEt lu%n chương 3

Trong chương này, chúng tôi phân tích bài toán tối ưu hóa việc bán tài sản trong bối cảnh tăng giá, sử dụng quá trình Markov với hai trạng thái là tăng giá và giảm giá Kết quả cho thấy các ngưỡng quyết định cho quá trình xác suất hội nghị, từ đó giúp xác định thời điểm bán tài sản Các kết quả đạt được là khả quan và đã được kiểm tra trên dữ liệu mô phỏng, chứng minh tính chính xác của chúng Đồng thời, chúng tôi cũng khám phá một phương pháp tiếp cận khác thông qua học máy, cụ thể là việc sử dụng mạng nơ-ron đa lớp Sau khi huấn luyện mạng nơ-ron với dữ liệu, chúng tôi có thể đưa ra quyết định bán tài sản dựa trên các phân tích này.

Nhitng đóng góp mai cua lu9,n án:

Lu n� án đã xem xét hai bài toán th\fc t@ đó là:

1 Bài toán xác đinh thai đi@m dung t6i ưu cho m9t chi@n dich quang cáo Thi ph§n (ti@m năng) cua công ty đang xét v@ m9t san phiim A nào đó đưQc mô ta bi1ng m9t phương trình vi phân ngau nhiên dư6i tác đ9ng cua chi@n dich quang cáo thông qua truy@n thông cũng như s\f truy@n mii;ng cua các khách hàng đã có cua công ty Hàm ml).c tiêu là m9t hàm liên tl).c xác đinh trên thai gian t và thi ph§n đi;t đưQc cua chi@n dich quang cáo.

2 Bài toán tìm thai đi@m dung t6i ưu cho quá trình bán tài san v6i t6c đ9 tăng giá là quá trình Markov rai ri;c hai tri;ng thái (tăng giá và giam giá).

Ti@n hành giai mô hình và ki@m tra trên dl1 lii;u mô phong cho th§y tính đúng đin cua các k@t qua tìm đưQc.

Xem xét m9t cách ti@p c n� khác cho bài toán thai đi@m dung t6i ưu đó là ti@p c n� h9c máy.

CÁC CÔNG TRÌNH KHOA HQC ĐÃ CÔNG BO

[CT1] Nguyen Khac Minh, Nguyen Thanh Trung, Pham Van Khanh (2018),

“THE OPTIMAL STOPPING TIME FOR SELLING AN ASSET WHEN

IT IS UNCERTAIN WHETHER THE PRICE PROCESS IS INCREASING

OR DECREASING WHEN THE HORIZON IS INFINITE”, American Journal of Operations Research, 8, pp 82-91.

[CT2] Nguyen Thanh Trung (2018), “MODELING ELECTION PROBLEM BY A

STOCHASTIC DIFERENTIAL EQUATION”, American Journal of Oper- ations Research, 8, pp 441-447.

[CT3] Nguyen Thành Trung, Phan Vi@t Thư, Phi;m Văn Khánh, “SlJ DUNG TIEP

CAN HOC MÁY ĐE XÁC ĐJNH THOI ĐIEM DUNG TOI ƯU CHO M◊T

CHIEN DJCH QUANG CÁO”, T p chí Ung d ng Toán h9c, S6 2, T p�XVII (2019).

Phi;m Th@ Anh (2015) đã nghiên cứu về điểm bất động và điểm trùng nhau của toán tử hoàn toàn ngẫu nhiên và ít ngẫu nhiên Luận án tiến sĩ toán học này được thực hiện tại Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội.

[2] Ti; Ng9c Ánh (2012), Mt;t s8 vfn đe ve phương trình ngfu nhiên, Lu n án� ti@n sĩ toán h9c, Trưang Đi;i h9c Khoa h9c T\f nhiên, Đi;i h9c Qu6c gia, Hà N9i.

[3] Bùi Hoàng Khánh, Lê Duy Hưng, Hoàng Mi;nh Khôi (2010), Báo cáo -

M ng Neural và Ung d ng, Nhà xu§t ban Đi;i h9c Qu6c gia, Hà N9i.

[4] Nguyen Vi@t Phú, Nguyen Duy Ti@n (2004), Cơ sM lý thuyet xác suft, Nhà xu§t ban Đi;i h9c Qu6c gia, Hà N9i.

[5] Tr§n Hùng Thao (2000), Tích phân ngfu nhiên và phương trình vi phân ngfu nhiên, Nhà xu§t ban Khoa h9c và Ky thu t,� Hà N9i.

[6] Đ$ng Hùng Thing (2013), Xác suft nâng cao, Nhà xu§t ban Đi;i h9c Qu6c gia, Hà N9i.

[7] Đ$ng Hùng Thing (2007), Giáo trình xác suft: Quá trình ngfu nhiên và tính toán ngfu nhiên, Nhà xu§t ban Đi;i h9c Qu6c gia, Hà N9i.

[8] Nguyen Duy Ti@n, Vũ Vi@t Yên (2000), Lý thuyet xác suft, Nhà xu§t ban

[9] Nguyen Duy Ti@n (2000), Các mô hình xác suft và itng d ng phdn 1: Xích

Markov và itng d ng, Nhà xu§t ban Đi;i h9c Qu6c gia, Hà N9i.

[10] Nguyen Duy Ti@n, Đ$ng Hùng Thing (2001), Các mô hình xác suft và itng d ng phdn 2: Quá trình dilng và itng d ng, Nhà xu§t ban Đi;i h9c Qu6c gia, Hà N9i.

[11] Đ$ng Minh Tu§n (2011), "Đánh giá lưQc đo thu t� toán chl1 ký s6 t p� th@",

T p chí Nghiên citu KHCN Quân s1_,13(6).

[12] Arnold L (1974), Stochastic Differential Equations: Theory and Applica- tions, Wiley, Hoboken, New Jersey.

[13] A Benveniste and M Metivier and P Priouret (1990), Adaptive Algorithms and Stochastic Approximations, Berlin, Germany, Springer-Verlag.

[14] Chen E and Simonovits G and Krosnick J.A and Pasek J (2014), "The Impact of Candidate Name Order on Election Outcomes in North Dakota",

[15] Christos V Nikolopoulos and Athanassios N Yannacopoulos (2010), "A model for optimal stopping in advertisement", Nonlinear Analysis Real

[16] Khanh P (2012), "Optimal Stopping Time for Holding an Asset", American

Journal of Operations Research, 2, pp 527-535.

[17] Khanh P (2014), "Optimal Stopping Time to Buy an Asset When Growth Rate Is a Two-State Markov Chain", American Journal of Operations Re- search, 4, pp 132-141.

[18] Khanh P (2015), "When to Sell an Asset Where Its Drift Drops from a High Value to a Smaller One", American Journal of Operations Research,

[19] Ksendal B (2003), "Stochastic Differential Equations: An Introduction with Applications", Springer, 27, pp 379-395.

Định dạng
Số trang	108
Dung lượng	774,18 KB