Statistics
| Branch: | Revision:

ffmpeg / libavcodec / x86 / x86util.asm @ 2966cc18

History | View | Annotate | Download (12.9 KB)

1
;*****************************************************************************
2
;* x86util.asm
3
;*****************************************************************************
4
;* Copyright (C) 2008 x264 project
5
;*
6
;* Authors: Holger Lubitz <holger@lubitz.org>
7
;*          Loren Merritt <lorenm@u.washington.edu>
8
;*
9
;* This program is free software; you can redistribute it and/or modify
10
;* it under the terms of the GNU General Public License as published by
11
;* the Free Software Foundation; either version 2 of the License, or
12
;* (at your option) any later version.
13
;*
14
;* This program is distributed in the hope that it will be useful,
15
;* but WITHOUT ANY WARRANTY; without even the implied warranty of
16
;* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17
;* GNU General Public License for more details.
18
;*
19
;* You should have received a copy of the GNU General Public License
20
;* along with this program; if not, write to the Free Software
21
;* Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02111, USA.
22
;*****************************************************************************
23

    
24
%assign FENC_STRIDE 16
25
%assign FDEC_STRIDE 32
26

    
27
%macro SBUTTERFLY 4
28
    mova      m%4, m%2
29
    punpckl%1 m%2, m%3
30
    punpckh%1 m%4, m%3
31
    SWAP %3, %4
32
%endmacro
33

    
34
%macro SBUTTERFLY2 4
35
    mova      m%4, m%2
36
    punpckh%1 m%2, m%3
37
    punpckl%1 m%4, m%3
38
    SWAP %2, %4, %3
39
%endmacro
40

    
41
%macro TRANSPOSE4x4W 5
42
    SBUTTERFLY wd, %1, %2, %5
43
    SBUTTERFLY wd, %3, %4, %5
44
    SBUTTERFLY dq, %1, %3, %5
45
    SBUTTERFLY dq, %2, %4, %5
46
    SWAP %2, %3
47
%endmacro
48

    
49
%macro TRANSPOSE2x4x4W 5
50
    SBUTTERFLY wd,  %1, %2, %5
51
    SBUTTERFLY wd,  %3, %4, %5
52
    SBUTTERFLY dq,  %1, %3, %5
53
    SBUTTERFLY dq,  %2, %4, %5
54
    SBUTTERFLY qdq, %1, %2, %5
55
    SBUTTERFLY qdq, %3, %4, %5
56
%endmacro
57

    
58
%macro TRANSPOSE4x4D 5
59
    SBUTTERFLY dq,  %1, %2, %5
60
    SBUTTERFLY dq,  %3, %4, %5
61
    SBUTTERFLY qdq, %1, %3, %5
62
    SBUTTERFLY qdq, %2, %4, %5
63
    SWAP %2, %3
64
%endmacro
65

    
66
%macro TRANSPOSE8x8W 9-11
67
%ifdef ARCH_X86_64
68
    SBUTTERFLY wd,  %1, %2, %9
69
    SBUTTERFLY wd,  %3, %4, %9
70
    SBUTTERFLY wd,  %5, %6, %9
71
    SBUTTERFLY wd,  %7, %8, %9
72
    SBUTTERFLY dq,  %1, %3, %9
73
    SBUTTERFLY dq,  %2, %4, %9
74
    SBUTTERFLY dq,  %5, %7, %9
75
    SBUTTERFLY dq,  %6, %8, %9
76
    SBUTTERFLY qdq, %1, %5, %9
77
    SBUTTERFLY qdq, %2, %6, %9
78
    SBUTTERFLY qdq, %3, %7, %9
79
    SBUTTERFLY qdq, %4, %8, %9
80
    SWAP %2, %5
81
    SWAP %4, %7
82
%else
83
; in:  m0..m7, unless %11 in which case m6 is in %9
84
; out: m0..m7, unless %11 in which case m4 is in %10
85
; spills into %9 and %10
86
%if %0<11
87
    movdqa %9, m%7
88
%endif
89
    SBUTTERFLY wd,  %1, %2, %7
90
    movdqa %10, m%2
91
    movdqa m%7, %9
92
    SBUTTERFLY wd,  %3, %4, %2
93
    SBUTTERFLY wd,  %5, %6, %2
94
    SBUTTERFLY wd,  %7, %8, %2
95
    SBUTTERFLY dq,  %1, %3, %2
96
    movdqa %9, m%3
97
    movdqa m%2, %10
98
    SBUTTERFLY dq,  %2, %4, %3
99
    SBUTTERFLY dq,  %5, %7, %3
100
    SBUTTERFLY dq,  %6, %8, %3
101
    SBUTTERFLY qdq, %1, %5, %3
102
    SBUTTERFLY qdq, %2, %6, %3
103
    movdqa %10, m%2
104
    movdqa m%3, %9
105
    SBUTTERFLY qdq, %3, %7, %2
106
    SBUTTERFLY qdq, %4, %8, %2
107
    SWAP %2, %5
108
    SWAP %4, %7
109
%if %0<11
110
    movdqa m%5, %10
111
%endif
112
%endif
113
%endmacro
114

    
115
%macro ABS1_MMX 2    ; a, tmp
116
    pxor    %2, %2
117
    psubw   %2, %1
118
    pmaxsw  %1, %2
119
%endmacro
120

    
121
%macro ABS2_MMX 4    ; a, b, tmp0, tmp1
122
    pxor    %3, %3
123
    pxor    %4, %4
124
    psubw   %3, %1
125
    psubw   %4, %2
126
    pmaxsw  %1, %3
127
    pmaxsw  %2, %4
128
%endmacro
129

    
130
%macro ABS1_SSSE3 2
131
    pabsw   %1, %1
132
%endmacro
133

    
134
%macro ABS2_SSSE3 4
135
    pabsw   %1, %1
136
    pabsw   %2, %2
137
%endmacro
138

    
139
%macro ABSB_MMX 2
140
    pxor    %2, %2
141
    psubb   %2, %1
142
    pminub  %1, %2
143
%endmacro
144

    
145
%macro ABSB2_MMX 4
146
    pxor    %3, %3
147
    pxor    %4, %4
148
    psubb   %3, %1
149
    psubb   %4, %2
150
    pminub  %1, %3
151
    pminub  %2, %4
152
%endmacro
153

    
154
%macro ABSB_SSSE3 2
155
    pabsb   %1, %1
156
%endmacro
157

    
158
%macro ABSB2_SSSE3 4
159
    pabsb   %1, %1
160
    pabsb   %2, %2
161
%endmacro
162

    
163
%macro ABS4 6
164
    ABS2 %1, %2, %5, %6
165
    ABS2 %3, %4, %5, %6
166
%endmacro
167

    
168
%define ABS1 ABS1_MMX
169
%define ABS2 ABS2_MMX
170
%define ABSB ABSB_MMX
171
%define ABSB2 ABSB2_MMX
172

    
173
%macro SPLATB_MMX 3
174
    movd      %1, [%2-3] ;to avoid crossing a cacheline
175
    punpcklbw %1, %1
176
%if mmsize==16
177
    pshuflw   %1, %1, 0xff
178
    punpcklqdq %1, %1
179
%else
180
    pshufw    %1, %1, 0xff
181
%endif
182
%endmacro
183

    
184
%macro SPLATB_SSSE3 3
185
    movd      %1, [%2-3]
186
    pshufb    %1, %3
187
%endmacro
188

    
189
%macro PALIGNR_MMX 4
190
    %ifnidn %4, %2
191
    mova    %4, %2
192
    %endif
193
    %if mmsize == 8
194
    psllq   %1, (8-%3)*8
195
    psrlq   %4, %3*8
196
    %else
197
    pslldq  %1, 16-%3
198
    psrldq  %4, %3
199
    %endif
200
    por     %1, %4
201
%endmacro
202

    
203
%macro PALIGNR_SSSE3 4
204
    palignr %1, %2, %3
205
%endmacro
206

    
207
%macro DEINTB 5 ; mask, reg1, mask, reg2, optional src to fill masks from
208
%ifnum %5
209
    mova   m%1, m%5
210
    mova   m%3, m%5
211
%else
212
    mova   m%1, %5
213
    mova   m%3, m%1
214
%endif
215
    pand   m%1, m%2 ; dst .. y6 .. y4
216
    pand   m%3, m%4 ; src .. y6 .. y4
217
    psrlw  m%2, 8   ; dst .. y7 .. y5
218
    psrlw  m%4, 8   ; src .. y7 .. y5
219
%endmacro
220

    
221
%macro SUMSUB_BA 2-3
222
%if %0==2
223
    paddw   %1, %2
224
    paddw   %2, %2
225
    psubw   %2, %1
226
%else
227
    mova    %3, %1
228
    paddw   %1, %2
229
    psubw   %2, %3
230
%endif
231
%endmacro
232

    
233
%macro SUMSUB_BADC 4-5
234
%if %0==5
235
    SUMSUB_BA %1, %2, %5
236
    SUMSUB_BA %3, %4, %5
237
%else
238
    paddw   %1, %2
239
    paddw   %3, %4
240
    paddw   %2, %2
241
    paddw   %4, %4
242
    psubw   %2, %1
243
    psubw   %4, %3
244
%endif
245
%endmacro
246

    
247
%macro HADAMARD4_V 4+
248
    SUMSUB_BADC %1, %2, %3, %4
249
    SUMSUB_BADC %1, %3, %2, %4
250
%endmacro
251

    
252
%macro HADAMARD8_V 8+
253
    SUMSUB_BADC %1, %2, %3, %4
254
    SUMSUB_BADC %5, %6, %7, %8
255
    SUMSUB_BADC %1, %3, %2, %4
256
    SUMSUB_BADC %5, %7, %6, %8
257
    SUMSUB_BADC %1, %5, %2, %6
258
    SUMSUB_BADC %3, %7, %4, %8
259
%endmacro
260

    
261
%macro TRANS_SSE2 5-6
262
; TRANSPOSE2x2
263
; %1: transpose width (d/q) - use SBUTTERFLY qdq for dq
264
; %2: ord/unord (for compat with sse4, unused)
265
; %3/%4: source regs
266
; %5/%6: tmp regs
267
%ifidn %1, d
268
%define mask [mask_10]
269
%define shift 16
270
%elifidn %1, q
271
%define mask [mask_1100]
272
%define shift 32
273
%endif
274
%if %0==6 ; less dependency if we have two tmp
275
    mova   m%5, mask   ; ff00
276
    mova   m%6, m%4    ; x5x4
277
    psll%1 m%4, shift  ; x4..
278
    pand   m%6, m%5    ; x5..
279
    pandn  m%5, m%3    ; ..x0
280
    psrl%1 m%3, shift  ; ..x1
281
    por    m%4, m%5    ; x4x0
282
    por    m%3, m%6    ; x5x1
283
%else ; more dependency, one insn less. sometimes faster, sometimes not
284
    mova   m%5, m%4    ; x5x4
285
    psll%1 m%4, shift  ; x4..
286
    pxor   m%4, m%3    ; (x4^x1)x0
287
    pand   m%4, mask   ; (x4^x1)..
288
    pxor   m%3, m%4    ; x4x0
289
    psrl%1 m%4, shift  ; ..(x1^x4)
290
    pxor   m%5, m%4    ; x5x1
291
    SWAP   %4, %3, %5
292
%endif
293
%endmacro
294

    
295
%macro TRANS_SSE4 5-6 ; see above
296
%ifidn %1, d
297
    mova   m%5, m%3
298
%ifidn %2, ord
299
    psrl%1 m%3, 16
300
%endif
301
    pblendw m%3, m%4, 10101010b
302
    psll%1 m%4, 16
303
%ifidn %2, ord
304
    pblendw m%4, m%5, 01010101b
305
%else
306
    psrl%1 m%5, 16
307
    por    m%4, m%5
308
%endif
309
%elifidn %1, q
310
    mova   m%5, m%3
311
    shufps m%3, m%4, 10001000b
312
    shufps m%5, m%4, 11011101b
313
    SWAP   %4, %5
314
%endif
315
%endmacro
316

    
317
%macro HADAMARD 5-6
318
; %1=distance in words (0 for vertical pass, 1/2/4 for horizontal passes)
319
; %2=sumsub/max/amax (sum and diff / maximum / maximum of absolutes)
320
; %3/%4: regs
321
; %5(%6): tmpregs
322
%if %1!=0 ; have to reorder stuff for horizontal op
323
    %ifidn %2, sumsub
324
         %define ORDER ord
325
         ; sumsub needs order because a-b != b-a unless a=b
326
    %else
327
         %define ORDER unord
328
         ; if we just max, order doesn't matter (allows pblendw+or in sse4)
329
    %endif
330
    %if %1==1
331
         TRANS d, ORDER, %3, %4, %5, %6
332
    %elif %1==2
333
         %if mmsize==8
334
             SBUTTERFLY dq, %3, %4, %5
335
         %else
336
             TRANS q, ORDER, %3, %4, %5, %6
337
         %endif
338
    %elif %1==4
339
         SBUTTERFLY qdq, %3, %4, %5
340
    %endif
341
%endif
342
%ifidn %2, sumsub
343
    SUMSUB_BA m%3, m%4, m%5
344
%else
345
    %ifidn %2, amax
346
        %if %0==6
347
            ABS2 m%3, m%4, m%5, m%6
348
        %else
349
            ABS1 m%3, m%5
350
            ABS1 m%4, m%5
351
        %endif
352
    %endif
353
    pmaxsw m%3, m%4
354
%endif
355
%endmacro
356

    
357

    
358
%macro HADAMARD2_2D 6-7 sumsub
359
    HADAMARD 0, sumsub, %1, %2, %5
360
    HADAMARD 0, sumsub, %3, %4, %5
361
    SBUTTERFLY %6, %1, %2, %5
362
%ifnum %7
363
    HADAMARD 0, amax, %1, %2, %5, %7
364
%else
365
    HADAMARD 0, %7, %1, %2, %5
366
%endif
367
    SBUTTERFLY %6, %3, %4, %5
368
%ifnum %7
369
    HADAMARD 0, amax, %3, %4, %5, %7
370
%else
371
    HADAMARD 0, %7, %3, %4, %5
372
%endif
373
%endmacro
374

    
375
%macro HADAMARD4_2D 5-6 sumsub
376
    HADAMARD2_2D %1, %2, %3, %4, %5, wd
377
    HADAMARD2_2D %1, %3, %2, %4, %5, dq, %6
378
    SWAP %2, %3
379
%endmacro
380

    
381
%macro HADAMARD4_2D_SSE 5-6 sumsub
382
    HADAMARD  0, sumsub, %1, %2, %5 ; 1st V row 0 + 1
383
    HADAMARD  0, sumsub, %3, %4, %5 ; 1st V row 2 + 3
384
    SBUTTERFLY   wd, %1, %2, %5     ; %1: m0 1+0 %2: m1 1+0
385
    SBUTTERFLY   wd, %3, %4, %5     ; %3: m0 3+2 %4: m1 3+2
386
    HADAMARD2_2D %1, %3, %2, %4, %5, dq
387
    SBUTTERFLY  qdq, %1, %2, %5
388
    HADAMARD  0, %6, %1, %2, %5     ; 2nd H m1/m0 row 0+1
389
    SBUTTERFLY  qdq, %3, %4, %5
390
    HADAMARD  0, %6, %3, %4, %5     ; 2nd H m1/m0 row 2+3
391
%endmacro
392

    
393
%macro HADAMARD8_2D 9-10 sumsub
394
    HADAMARD2_2D %1, %2, %3, %4, %9, wd
395
    HADAMARD2_2D %5, %6, %7, %8, %9, wd
396
    HADAMARD2_2D %1, %3, %2, %4, %9, dq
397
    HADAMARD2_2D %5, %7, %6, %8, %9, dq
398
    HADAMARD2_2D %1, %5, %3, %7, %9, qdq, %10
399
    HADAMARD2_2D %2, %6, %4, %8, %9, qdq, %10
400
%ifnidn %10, amax
401
    SWAP %2, %5
402
    SWAP %4, %7
403
%endif
404
%endmacro
405

    
406
%macro SUMSUB2_AB 3
407
    mova    %3, %1
408
    paddw   %1, %1
409
    paddw   %1, %2
410
    psubw   %3, %2
411
    psubw   %3, %2
412
%endmacro
413

    
414
%macro SUMSUB2_BA 3
415
    mova    m%3, m%1
416
    paddw   m%1, m%2
417
    paddw   m%1, m%2
418
    psubw   m%2, m%3
419
    psubw   m%2, m%3
420
%endmacro
421

    
422
%macro SUMSUBD2_AB 4
423
    mova    %4, %1
424
    mova    %3, %2
425
    psraw   %2, 1  ; %2: %2>>1
426
    psraw   %1, 1  ; %1: %1>>1
427
    paddw   %2, %4 ; %2: %2>>1+%1
428
    psubw   %1, %3 ; %1: %1>>1-%2
429
%endmacro
430

    
431
%macro DCT4_1D 5
432
%ifnum %5
433
    SUMSUB_BADC m%4, m%1, m%3, m%2; m%5
434
    SUMSUB_BA   m%3, m%4, m%5
435
    SUMSUB2_AB  m%1, m%2, m%5
436
    SWAP %1, %3, %4, %5, %2
437
%else
438
    SUMSUB_BADC m%4, m%1, m%3, m%2
439
    SUMSUB_BA   m%3, m%4
440
    mova       [%5], m%2
441
    SUMSUB2_AB m%1, [%5], m%2
442
    SWAP %1, %3, %4, %2
443
%endif
444
%endmacro
445

    
446
%macro IDCT4_1D 5-6
447
%ifnum %5
448
    SUMSUBD2_AB m%2, m%4, m%6, m%5
449
    ; %2: %2>>1-%4 %4: %2+%4>>1
450
    SUMSUB_BA   m%3, m%1, m%6
451
    ; %3: %1+%3 %1: %1-%3
452
    SUMSUB_BADC m%4, m%3, m%2, m%1, m%6
453
    ; %4: %1+%3 + (%2+%4>>1)
454
    ; %3: %1+%3 - (%2+%4>>1)
455
    ; %2: %1-%3 + (%2>>1-%4)
456
    ; %1: %1-%3 - (%2>>1-%4)
457
%else
458
    SUMSUBD2_AB m%2, m%4, [%5], [%5+16]
459
    SUMSUB_BA   m%3, m%1
460
    SUMSUB_BADC m%4, m%3, m%2, m%1
461
%endif
462
    SWAP %1, %4, %3
463
    ; %1: %1+%3 + (%2+%4>>1) row0
464
    ; %2: %1-%3 + (%2>>1-%4) row1
465
    ; %3: %1-%3 - (%2>>1-%4) row2
466
    ; %4: %1+%3 - (%2+%4>>1) row3
467
%endmacro
468

    
469

    
470
%macro LOAD_DIFF 5
471
%ifidn %3, none
472
    movh       %1, %4
473
    movh       %2, %5
474
    punpcklbw  %1, %2
475
    punpcklbw  %2, %2
476
    psubw      %1, %2
477
%else
478
    movh       %1, %4
479
    punpcklbw  %1, %3
480
    movh       %2, %5
481
    punpcklbw  %2, %3
482
    psubw      %1, %2
483
%endif
484
%endmacro
485

    
486
%macro LOAD_DIFF8x4_SSE2 8
487
    LOAD_DIFF  m%1, m%5, m%6, [%7+%1*FENC_STRIDE], [%8+%1*FDEC_STRIDE]
488
    LOAD_DIFF  m%2, m%5, m%6, [%7+%2*FENC_STRIDE], [%8+%2*FDEC_STRIDE]
489
    LOAD_DIFF  m%3, m%5, m%6, [%7+%3*FENC_STRIDE], [%8+%3*FDEC_STRIDE]
490
    LOAD_DIFF  m%4, m%5, m%6, [%7+%4*FENC_STRIDE], [%8+%4*FDEC_STRIDE]
491
%endmacro
492

    
493
%macro LOAD_DIFF8x4_SSSE3 8 ; 4x dst, 1x tmp, 1x mul, 2x ptr
494
    movh       m%2, [%8+%1*FDEC_STRIDE]
495
    movh       m%1, [%7+%1*FENC_STRIDE]
496
    punpcklbw  m%1, m%2
497
    movh       m%3, [%8+%2*FDEC_STRIDE]
498
    movh       m%2, [%7+%2*FENC_STRIDE]
499
    punpcklbw  m%2, m%3
500
    movh       m%4, [%8+%3*FDEC_STRIDE]
501
    movh       m%3, [%7+%3*FENC_STRIDE]
502
    punpcklbw  m%3, m%4
503
    movh       m%5, [%8+%4*FDEC_STRIDE]
504
    movh       m%4, [%7+%4*FENC_STRIDE]
505
    punpcklbw  m%4, m%5
506
    pmaddubsw  m%1, m%6
507
    pmaddubsw  m%2, m%6
508
    pmaddubsw  m%3, m%6
509
    pmaddubsw  m%4, m%6
510
%endmacro
511

    
512
%macro STORE_DCT 6
513
    movq   [%5+%6+ 0], m%1
514
    movq   [%5+%6+ 8], m%2
515
    movq   [%5+%6+16], m%3
516
    movq   [%5+%6+24], m%4
517
    movhps [%5+%6+32], m%1
518
    movhps [%5+%6+40], m%2
519
    movhps [%5+%6+48], m%3
520
    movhps [%5+%6+56], m%4
521
%endmacro
522

    
523
%macro STORE_IDCT 4
524
    movhps [r0-4*FDEC_STRIDE], %1
525
    movh   [r0-3*FDEC_STRIDE], %1
526
    movhps [r0-2*FDEC_STRIDE], %2
527
    movh   [r0-1*FDEC_STRIDE], %2
528
    movhps [r0+0*FDEC_STRIDE], %3
529
    movh   [r0+1*FDEC_STRIDE], %3
530
    movhps [r0+2*FDEC_STRIDE], %4
531
    movh   [r0+3*FDEC_STRIDE], %4
532
%endmacro
533

    
534
%macro LOAD_DIFF_8x4P 7-10 r0,r2,0 ; 4x dest, 2x temp, 2x pointer, increment?
535
    LOAD_DIFF m%1, m%5, m%7, [%8],      [%9]
536
    LOAD_DIFF m%2, m%6, m%7, [%8+r1],   [%9+r3]
537
    LOAD_DIFF m%3, m%5, m%7, [%8+2*r1], [%9+2*r3]
538
    LOAD_DIFF m%4, m%6, m%7, [%8+r4],   [%9+r5]
539
%if %10
540
    lea %8, [%8+4*r1]
541
    lea %9, [%9+4*r3]
542
%endif
543
%endmacro
544

    
545
%macro DIFFx2 6-7
546
    movh       %3, %5
547
    punpcklbw  %3, %4
548
    psraw      %1, 6
549
    paddsw     %1, %3
550
    movh       %3, %6
551
    punpcklbw  %3, %4
552
    psraw      %2, 6
553
    paddsw     %2, %3
554
    packuswb   %2, %1
555
%endmacro
556

    
557
%macro STORE_DIFF 4
558
    movh       %2, %4
559
    punpcklbw  %2, %3
560
    psraw      %1, 6
561
    paddsw     %1, %2
562
    packuswb   %1, %1
563
    movh       %4, %1
564
%endmacro