sysext: install in rootbindir, remove template from unit

This reverts commit 71ad75f30641b90f9ca0088869f164d9d085430f.

udev: use DEFINE_MAIN_FUNCTION in cdrom_id

This was failing s390x ubuntu ci due to an old version of binutils;
the binutils package in use for ubuntu ci tests has been updated and
the build no longer fails, so this can use the macro again.

Fixes: #18165

tree-wide: ignore messages with too long control data

Apparently SELinux inserts control data into AF_UNIX datagrams where we
don't expect it, thus miscalculating the control data. This looks like
something to fix in SELinux, but we still should handle this gracefully
and just drop the offending datagram and continue.

recvmsg_safe() actually already drops the datagram, it's just a matter
of actually ignoring EXFULL (which it generates if control data is too
large) in the right places.

This does this wherever an AF_UNIX/SOCK_DGRAM socket is used with
recvmsg_safe() that is not just internal communication.

Fixes: #17795
Follow-up for: 3691bcf3c5eebdcca5b4f1c51c745441c57a6cd1

Revert "test-functions: make sure we test our own libudev instead of the host libudev"

This reverts commit 73484ecff90f2cc235d827c0e955999bffe64dd0.

3976f372ae91e1cbe5ff9873aadfc2c43400452e moved libudev.so to be built in the
main directory, so this addition to $LD_LIBRARY_PATH is now obsolete.

After that commit, we build the following shared libraries:

build/libnss_myhostname.so.2
build/libnss_mymachines.so.2
build/libnss_resolve.so.2
build/libnss_systemd.so.2
build/libsystemd.so.0.30.0
build/libudev.so.1.7.0
build/pam_systemd.so
build/pam_systemd_home.so
build/src/boot/efi/stub.so
build/src/boot/efi/systemd_boot.so
build/src/shared/libsystemd-shared-247.so

EFI stubs don't matter, and libsystemd-shared-nnn.so is loaded through rpath,
and is doesn't need to and shouldn't be in $LD_LIBRARY_PATH. In effect, we only
ever need to add the main build directory to the search path.

markdown: fix comment

Follow-up for 2d816c9804c1d565797faff85c0fdbfb15f1e9d5

markdown: suggest backticks around uname -a output

Fixes: #18238

execute: for processes where creds logic is turned off, don't pass creds path to namespace logic

Otherwise, the namespace logic will try to mount a dir that doesn't
actually exist.

Fixes: #18116

Merge pull request #18307 from poettering/import-verity-download

importd: when downloading raw image, also download .roothash.p7s and .verity along with it

import: refactor how we do gpg validation

Let's split out the actual gpg logic into a helper function, so that we
can add alternative validations later on.

import: optionally pull .verity + .roothash.p7s data when downloading

We already had support for downlading a .nspawn and a .roothash file,
let's make the set complete, and also download .verity + roothash.p7s if
it exists, as nspawn consumes that.

Since there are now four kinds of additional resources to acquire, let's
introduce a PullFlags flags value for this instead of separate 'bool'
variables, it's just too many to always pass those around on the
function parameter list.

import: ignore non-successful HTTP codes for collecing image metadata

Previously we'd collect the data from redirects too, which wasn't
particularly terrible, since these typically don't carry the data we
were interested in, but it's still incorrect to do so.

import: turn on HTTP logging in debug mode

import: small memory management simplification

import: reset PullJob properly

Properly reset all fields that have to do with the current GET job when
we restart things. Previously we freed/reset only some stuff, leaking
some memory even.

import: rework how verification works

Previously the PullJob object took internal care of rerequested the
SHA256SUMS file, if requesting <image>.sha256 didn't work. This was a
weird a non-abstraction only used when actually getting the checksum
files.

Let's move this out of the PullJob, so that it is generic again, and
does roughly the same stuff for all resources it is used for: let's
define a generic .on_not_found() handler that can be set on a PullJob
object, and is called whenever with see HTTP 404, and may be used to
provide a new URL to try if the first didn't work.

This is also preparation for later work to support PKCS#7 signatures
instead of gpg signatures, where a similar logic is needed, and we thus
should have a generic infrastructure place.

This gets rid of the VerificationStyle field in the PullJob object:
instead of storing this non-generic field we just derive the same
information from the URL itself, which is safe, since we generated it
ourselves earlier.

import: use TAKE_PTR() where available

import: make scope of variable smaller

import: comment indent fix

fs-util/rm-rf: improve remove+free destructors to take and return NULL

Let#s make these helpers useful even without _cleanup_ logic, to destory
arbitary fields: make them OK wiht a NULL pointer as input, and always
return one as output.

network: add support to RoutingPolicyRule lookup table name

Merge pull request #18181 from poettering/sysext

systemd-sysext as a method of merging simple OS extensions into /usr and /opt

Merge pull request #18129 from keszybz/envvars

Allow control characters in environment variable values

homed: fix build without p11kit

homectl-pkcs11.c: In function 'identity_add_pkcs11_key_data':
homectl-pkcs11.c:155:13: error: implicit declaration of function 'pkcs11_acquire_certificate' [-Werror=implicit-function-declaration]

Restores the P11KIT compile-time test that was removed in 2289a78473282902db1108168df6414ae7d91b2f
("homed: move pkcs11 LUKS glue into shared code").

systemctl: warn when importing environment variables with control characters

I don't think it is useful to warn about about environemnt variables where the user
explicitly configured some value. If they went through the effort of escaping the cc
to include it in the setting (e.g. Environment="VAR=\efoo"), and we pass this through,
there isn't anything to warn about. This also applies to 'systemctl set-environment',
where the variable name and value are passed as arguments.

The only case where the warning *might* be useful is where the user might be
surprised by the value. This occurs when importing variables from the inherited
environment, i.e. in 'systemctl import-environment'. In not convinced that this is
useful, since the user better control their shell environment anyway.

$ systemctl import-environment
Calling import-environment without a list of variable names is deprecated.
Environment variable $LESS_TERMCAP_mb contains control characters, importing anyway.
Environment variable $LESS_TERMCAP_md contains control characters, importing anyway.
Environment variable $LESS_TERMCAP_me contains control characters, importing anyway.
Environment variable $LESS_TERMCAP_se contains control characters, importing anyway.
Environment variable $LESS_TERMCAP_so contains control characters, importing anyway.
Environment variable $LESS_TERMCAP_ue contains control characters, importing anyway.
Environment variable $LESS_TERMCAP_us contains control characters, importing anyway.
Environment variable $ZZZ contains control characters, importing anyway.

Allow control characters in environment variable values

So far, we would allow certain control characters (NL since
b4346b9a77bc6129dd3e, TAB since 6294aa76d818e831de45), but not others. Having
other control characters in environment variable *value* is expected and widely
used, for various prompts like $LESS, $LESS_TERMCAP_*, and other similar
variables. The typical environment exported by bash already contains a dozen or
so such variables, so programs need to handle them.

We handle then correctly too, for example in 'systemctl show-environment',
since 804ee07c1370d49aa9a. But we would still disallow setting such variables
by the user, in unit file Environment= and in set-environment/import-environment
operations. This is unexpected and confusing and doesn't help with anything
because such variables are present in the environment through other means.

When printing such variables, 'show-environment' escapes all special
characters, so variables with control characters are plainly visible.
In other uses, e.g. 'cat -v' can be used in similar fashion. This would already
need to be done to suppress color codes starting with \[.

Note that we still forbid invalid utf-8 with this patch. (Control characters
are valid, since they are valid 7-bit ascii.) I'm not sure if we should do
that, but since people haven't been actually asking for invalid utf-8, and only
for control characters, and invalid utf-8 causes other issues, I think it's OK
to leave this unchanged.

Fixes #4446, https://gitlab.gnome.org/GNOME/gnome-session/-/issues/45.

systemctl: print a warning when trying to import a nonexistent variable

I was quite confused what is happening:
$ XXX=xxx
$ systemctl --user import-environment XXX
$ systemctl --user show-environment | grep XXX
(nothing)

Obviously, 'export XXX' was missing. Without any indication why the
export is not happening, this can be hard to figure out.

Another option would be to error out. But so far we didn't, and doing
that could break some script which optimistically tries to export some
variables, if present.

sysext: install in /usr/lib/systemd/ for now

This is a brand new binary, and the CI packaging doesn't pick it up,
causing the upstream testrun to fail (sysext is pulled in by the unit).

meson: bindir is the default install_dir, no need to mention it

test: improve a log message while building test images

update TODO

man: mention SYSEXT_LEVEL in os-release(5)

sysext: use parse_extension_release and reject extension if not found

os-release: add support for /usr/lib/extension-release.d/

Add helpers to look for extension-release.$NAME files in
/usr/lib/extension-release.d/ following the same pattern as os-release.

sysext: add verity boilerplate

machine-image: properly support searching for images below some --root= path

systemd-sysext supports --root= for everything but the image discovery.
Fix that.

man: add man page for systemd-sysext

units: add systemd-sysext.service unit for auto-activating extensions at boot

We'll leave this as opt-in (i.e. a unit that must be enabled
explicitly), since this is supposed to be a debug/developer feature
primarily, and thus no be around in regular production systems.

sysext: new tool for managing "system extensions" for /usr/ + /opt/

Merge pull request #18294 from ssahani/net-2

tree wide use ensure_put

Merge pull request #18300 from yuwata/analyze-verify-18252

analyze: resolve executable path if it is relative

udev: Use TAKE_PTR

udev-rules: Use ordered_hashmap_ensure_put

sysusers: use ordered_hashmap_ensure_put

Merge pull request #18303 from yuwata/verity-cleanup

veritysetup-generator: drop unused struct and variable

Merge pull request #18038 from yuwata/meson-split

meson: various cleanups

Merge pull request #18267 from lucaswerkmeister/truncate

Two StandardOutput=truncate:file improvements

Merge pull request #18299 from ssahani/ensure-put

More use of hashmap_ensure_put and ordered_hashmap_ensure_put

TODO: fix typo

veritysetup-generator: drop unused struct and variable

Follow-ups for 08b04ec7e72b7327b4803809732b1b8fce8dd069.

This also drops unnecessary inclusion.

Fixes CID#1443889.

meson: move several definitions related libsystemd to src/libsystemd/meson.build

meson: use static_libsystemd_pic

meson: add missing license header

meson: move test or fuzzer definitions to relevant meson.build in subdirectories

meson: drop unused variable

meson: drop unnecessary files from test definitions

meson: drop unnecessary libraries from journal related tests

meson: slightly disentangle code dependencies

But, still sd-id128 is used in src/basic.

meson: sort inclusion of meson.build files in subdirectories

meson: move libjournal_core definition to src/journal/meson.build

meson: move libudev related definitions to src/libudev/meson.build

Also, this makes libudev.so built in build directory.

meson: move and gather find_program()

meson: drop redundant source files in executable()

meson: move source file list for systemd-xdg-autostart-generator and its tests

meson: move source file list for busctl

meson: move source file list for systemd-cryptenroll

meson: move source file list for systemd-cryptsetup

meson: show standalone-binaries setting in the summary

meson: use condition argument in test definition

meson: drop redundant directory specification in additional source files

meson: move definition of systemctl source files

meson: introduce libtimesyncd_core library

meson: enable several tests even if the relevant features are disabled

meson: fix indentation

meson: drop unnecessary variable declarations

meson: drop unnecessary loop

test: drop bus-util.h from sd-bus

To drop src/shared from include directories to build libsystemd.so later.

efi: create symbolic link to efi/loader-feature.h

To drop src/boot/efi from include directories for binaries later.

util: move several DNS related definitions to src/basic/dns-def.h

DNS_HOSTNAME_MAX is used by sd-resolve, but it was defined in
src/shared/dns-domain.h. The library libsystemd should be independent
of source files under src/shared.

util: move unit-file.[ch] to src/basic

As basic/path-lookup.[ch] depend on them.

util: move parse_syscall_and_errno() to seccomp-util.c

This makes parse-util.c independent of seccomp-util.c, which is located
in src/shared.

fuzzers: move several fuzzers

meson: fix indentation

meson: make the second and third elements of tests or fuzzers optional

Then, we can shorten many test definitions.

test: move test-umount.c to src/shutdown

Then, we can drop src/shutdown from include directories later.

core: move several source files to src/shared

As, the files are used by many executables, fstab-generator, remount-fs,
machine-id-setup, and etc.
With this change, the total size of the relevant executables and
libshared slightly decreases.

Before:
```
$ ll systemd-fstab-generator systemd-remount-fs systemd-machine-id-setup systemd-shutdown systemd-nspawn systemd src/shared/libsystemd-shared-247.so
-rwxrwxr-x 1 watanabe watanabe 7577800 Jan  5 13:35 src/shared/libsystemd-shared-247.so
-rwxrwxr-x 1 watanabe watanabe 4608360 Jan  5 13:35 systemd
-rwxrwxr-x 1 watanabe watanabe  117240 Jan  5 13:35 systemd-fstab-generator
-rwxrwxr-x 1 watanabe watanabe   61576 Jan  5 13:35 systemd-machine-id-setup
-rwxrwxr-x 1 watanabe watanabe  853080 Jan  5 13:35 systemd-nspawn
-rwxrwxr-x 1 watanabe watanabe   70600 Jan  5 13:35 systemd-remount-fs
-rwxrwxr-x 1 watanabe watanabe  172624 Jan  5 13:35 systemd-shutdown
```
Total: 13461280

After:
```
$ ll systemd-fstab-generator systemd-remount-fs systemd-machine-id-setup systemd-shutdown systemd-nspawn systemd src/shared/libsystemd-shared-247.so
-rwxrwxr-x 1 watanabe watanabe 7658336 Jan  5 13:32 src/shared/libsystemd-shared-247.so
-rwxrwxr-x 1 watanabe watanabe 4523560 Jan  5 13:32 systemd
-rwxrwxr-x 1 watanabe watanabe   78288 Jan  5 13:32 systemd-fstab-generator
-rwxrwxr-x 1 watanabe watanabe   30984 Jan  5 13:32 systemd-machine-id-setup
-rwxrwxr-x 1 watanabe watanabe  840384 Jan  5 13:32 systemd-nspawn
-rwxrwxr-x 1 watanabe watanabe   39104 Jan  5 13:32 systemd-remount-fs
-rwxrwxr-x 1 watanabe watanabe  117160 Jan  5 13:32 systemd-shutdown
```
Total: 13287816

test: rewrite test-sd-device-thread.c to depend only on libsystemd

Similarly, this makes test-udev-device-thread.c depend only on libudev.

test: move tests for libudev into src/libudev

time-wait-sync: move time-wait-sync.c -> src/timesync/wait-sync.c

As wait-online is located under src/network.

xdg: move tests for xdg-autostart-generator

Then, we can drop src/xdg-autostart-generator from include directories
later.

meson.build: drop unused variable

test: move test-systemd-tmpfiles.py from src/test to test

As the other test scripts, e.g. test-sysusers.sh, are located under
test rather than src/test.

login: move src/login/logind-acl.[ch] -> src/shared/devnode-acl.[ch]

The files are used by logind and udevd. And the functions in the files
are not specific to logind, and quite general enough to move to
libshared.

tmpfiles: move offline-passwd.[ch] to src/tmpfiles

offline-passwd.[ch] are only used by systemd-tmpfiles and the relevant
test. And are not included in libshared. So, it is not suitable to
located under src/shared.

sd-journal: move source files for sd-journal to src/libsystemd/sd-journal

analyze: resolve executable path if it is relative

Fixes #18252.

path-util: also check absolute path is a directory or not in find_executable()

Merge pull request #17228 from bluca/bind_path_runtime

core: add systemctl and DBUS method to bind mount new paths without service restart

man: document effects of concurrent truncation

Co-authored-by: Lennart Poettering <lennart@poettering.net>

import: use - hashmap_ensure_put

core: execute - use hashmap_ensure_put